用 SO-VITS-SVC 打造 AI 歌姬,零基礎也能輕鬆上手!

更新於 發佈於 閱讀時間約 6 分鐘

SO-VITS-SVC 實戰經驗分享:從零開始打造我的專屬AI歌手




AI 唱歌系列之一開始的契機


讓 AI 用我的聲音唱歌:SO-VITS-SVC 入坑之旅


大家好!我從來沒想過自己會掉進 AI 這個深坑,結果我偏偏一頭栽進去了!從完全不懂什麼叫「命令行」、什麼是Python ,跌跌撞撞、重來無數次,花了很多的時間和錢(畢竟我那拉胯的電腦跟蝸牛一樣,只能靠雲端幫忙跑模型)。當然也得說清楚,這是一段「你以為會崩潰,沒想到更崩潰」的學習旅程。

網路上雖然零零散散有些指導,但對像我這樣的 AI 蒟蒻來說就像看天書。所以,我才決定扛起分享的重任,跟大家聊聊我的入坑心得。

raw-image

此圖是我用ideogram2.0所生成。



什麼原因讓我開始?


說到我踏入這個坑的理由,那得追溯到幾年前一個唱歌 APP(名字我就不說了,贊助我再考慮廣告 XD)。當時下載來玩了一下,後來沒多久就棄用了。不過我一直很愛唱歌又很愛聽歌,雖然唱得像音癡,但這款 APP 還是一直霸占著我的手機記憶體,像清不掉的口香糖一樣。

一開始,我很懷疑:「機器人?唱人類的歌?你怕不是只會機械音『嗡嗡嗡』吧?」但耐不住好奇心(這玩意兒害死貓,更有效地害死了我)。於是試了試,哎唷,就是這麼一試啊,我成功用自己的聲音挖了個坑,然後自己跳進去了。

系統要求我唱 4-5 首歌,來給 AI 做學習數據。等了十分鐘後,APP 彈出一個通知:「AI 訓練完成。」我的好奇心瞬間爆棚,點開它唱的第一首歌的瞬間,我腦子只飄過幾個大字:這也唱得太好了吧!而且,居然連那種常見的「沒感情 機械感」都幾乎察覺不到!


驚艷的體驗


我以為自己能批評一下技術沒做到位,結果 AI 硬是把我的耳朵震懵了。學了不到十首歌,它居然能做到 90% 還原我的聲音,甚至唱到我平時會走音、破音的地方都感覺唱的比我好!老實說,有點受到打擊呀(天哪,比真人還真人!)。

我又試了幾種不同類型的歌,AI 唱得都相當不錯。快歌、慢歌、抒情歌,我還給它來段 RAP!(結果是AI不太會RAP~)。於是,我樂呵呵地把 AI 唱的歌發給朋友們試聽,還一本正經地問:「你們覺得像我的聲音嗎?」結果朋友都以為是我本人唱的。

這一刻,我腦補了無數個場景:我的 AI 歌姬可以唱周杰倫、可以唱 Adele,還可以初音?甚至唱幾句廣告詞都行!簡直是全能選手,給虛擬角色一個靈魂,實現你無限的聲音夢想!

這簡直打開了我新世界的大門!原來AI技術已經發展到如此地步,可以創造出如此真實又富有情感的歌聲!

但完美背後總有瑕疵——這款 APP 功能雖強,不過有個小硬傷:只能在 APP 裡玩。對於這一點,作為一個愛找麻煩給自己的人,我開始思考:「我能不能把 AI 翻唱帶出 APP 呢?」然後,我就像掉進兔子洞的愛麗絲,進入了 AI 技術的奇幻世界。



AI 的四大應用領域:


除了唱歌,AI 早就燒遍了藝術圈與科技界。看看它們在以下這四大領域有多逆天:

1.繪圖(AI繪圖/生成美術):

  • 用 GANs 和擴散模型搞了一堆畫作出來。畫得比神還神,但偶爾也會翻車,畫出一些「鬼畜」作品。不信?讓它畫個「普通人吃飯」試試看!

2.寫作(AI文本生成):

  • GPT 系列簡直無敵,可以幫你寫情書、寫作業,寫請假條,樣樣精通。以後老闆可能要擔心員工用 AI 寫辭職信了!

3.影片生成(AI影像生成/編輯):

  • 動畫、特效、影片混剪,簡直是視覺盛宴。以後演員可能只需要擺擺 Pose,剩下的都交給 AI 就好。

4.聲音學習(AI聲音生成/處理):。

  • AI 配音、AI 音樂,已經不是什麼新鮮事了。但 AI 唱歌?這可是個深坑!小心你的 AI 歌姬比你更吸粉!。




後記:SO-VITS-SVC 的魅力


在連續數個不眠之夜後,我的注意力全被一款項目吸引了:SO-VITS-SVC

它是一款開源的 AI 唱歌模型,免費又好用,給我無限的想像空間。

有些人總是把 AI 唱歌模型和 AI 說話模型搞混,雖然它們都屬於聲音克隆技術,但用途可是天差地別啊!如果你想讓 AI 開啟歌神模式,那就得乖乖選擇專門的唱歌模型來訓練,否則效果可能會讓你懷疑人生;而如果只是想讓 AI 說幾句話,那就不用這麼麻煩,不需要派唱歌模型上場,說話模型就可以滿足你所有需求。

順帶一提,這款唱歌模型對硬體的要求可不低,沒有點家底的電腦,可能連 AI 都會嫌棄你!(我就是被嫌棄的那位..),跑是可以跑,但是一步要600多秒.....走了2步我就果斷放棄本地訓練了。


接下來我會分階段分享 SO-VITS-SVC 的訓練方法、調參技巧、以及我遇到的各種問題和解決方案,幫助你從零開始打造自己的 AI 歌姬」。


下一篇我會分享如何準備訓練數據、環境部署以及如何選擇合適的雲端平台」。


PS:第一次寫心得文章,有點小緊張,比我的 AI 第一次唱歌還緊張。如果文章有任何問題,歡迎指教!,謝謝觀看文章的你們。


Hello~ 歡迎來到Soul in the system。我主要研究心理學,但對於AI很有興趣,這裡目前主要是分享關於AI的各種知識,將來希望能分享心理學。 心理學跟AI是可以連結的,歡迎同好~
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
你可能也想看
Google News 追蹤
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
PopPop AI 推出的免費線上音效產生器可以將文字轉換為各種聲音,包括自然、人類、樂器、環境和特殊效果等。支援多種語言,使用者可以輸入中文描述創建音效,並可直接播放聆聽和下載音訊。
Thumbnail
使用AI寫歌確實是一個新興的創作方法。 以下是使用AI寫歌的基本步驟和所需能力: 步驟: 1. 選擇AI工具:挑選適合的AI歌曲創作工具或平台。 2. 輸入初始參數:設定風格、情感、主題等基本參數。 3. 生成初稿:讓AI生成歌曲的初始版本,包括旋律和歌詞。 4. 審核和編輯:檢查AI生
Thumbnail
在網路世界初出茅廬時,不管你的文章內容多有價值,大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架,快速吸引你的觀眾,讓你的內容更具影響力。
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
我很少用AI程式來設計擬真人像, 因為失敗率真的太高。
Thumbnail
如何運用A I這個工具,以人為本,不是讓AI主導你的人生。
Thumbnail
要如何做到無須任何額外訓練樣本就能做到"跨語言"的語音生成,這聽起來很不可思議對吧? 但這就是本篇論文取得的成就,不僅如此,該有的功能,如調整情感,口音節奏,停頓語調這些功能也不在話下。跟著我一起用探秘還有獨立思考的眼光來分析這篇論文,這會是很有趣的旅程。
Thumbnail
微軟攜手音樂創作領域的人工智慧新創Suno AI,微軟把Suno AI的音樂創作技術整合到自家大熱聊天機器人Copilot中,只要在輸入框中輸入想要生成的音樂主題或風格,Copilot就能為你創作一首帶有歌詞、人聲及伴奏的音樂。
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
PopPop AI 推出的免費線上音效產生器可以將文字轉換為各種聲音,包括自然、人類、樂器、環境和特殊效果等。支援多種語言,使用者可以輸入中文描述創建音效,並可直接播放聆聽和下載音訊。
Thumbnail
使用AI寫歌確實是一個新興的創作方法。 以下是使用AI寫歌的基本步驟和所需能力: 步驟: 1. 選擇AI工具:挑選適合的AI歌曲創作工具或平台。 2. 輸入初始參數:設定風格、情感、主題等基本參數。 3. 生成初稿:讓AI生成歌曲的初始版本,包括旋律和歌詞。 4. 審核和編輯:檢查AI生
Thumbnail
在網路世界初出茅廬時,不管你的文章內容多有價值,大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架,快速吸引你的觀眾,讓你的內容更具影響力。
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
我很少用AI程式來設計擬真人像, 因為失敗率真的太高。
Thumbnail
如何運用A I這個工具,以人為本,不是讓AI主導你的人生。
Thumbnail
要如何做到無須任何額外訓練樣本就能做到"跨語言"的語音生成,這聽起來很不可思議對吧? 但這就是本篇論文取得的成就,不僅如此,該有的功能,如調整情感,口音節奏,停頓語調這些功能也不在話下。跟著我一起用探秘還有獨立思考的眼光來分析這篇論文,這會是很有趣的旅程。
Thumbnail
微軟攜手音樂創作領域的人工智慧新創Suno AI,微軟把Suno AI的音樂創作技術整合到自家大熱聊天機器人Copilot中,只要在輸入框中輸入想要生成的音樂主題或風格,Copilot就能為你創作一首帶有歌詞、人聲及伴奏的音樂。