用 SO-VITS-SVC 打造 AI 歌姬,零基礎也能輕鬆上手!-數據集的錄製與準備

更新於 2024/12/24閱讀時間約 5 分鐘




SO-VITS-SVC實戰經驗分享:從零開始打造我的專屬AI歌手




AI唱歌系列之三-數據集的錄製與準備



raw-image



1. 錄製數據集

如要訓練自己的聲音模型,需要自己錄製數據。步驟如下:



基本要求


數據量需求:

raw-image








錄音環境準備:選擇安靜地方,避免空曠空間(容易有回音)。


錄音內容建議:

  • 自己熟悉且能完整演唱的歌曲。
  • 不同風格的曲目,快慢都要有,包含高低音(提高模型適應性)。
  • 情感表現豐富的歌曲,豐富的情感變化。
  • 2-4分鐘/首。
  • 最好10-15首不同歌曲。


※注意事項:

  • 無背景音樂、混響、和聲的乾聲。
  • 完整演唱選定歌曲,自然的情感演繹。
  • 保持穩定的音質和音量,避免忽大忽小聲。
  • 確保安靜的錄音環境。


避免:

  • 混入任何說話聲音。
  • 加入伴奏音樂。
  • 使用帶回音的環境。
  • 音量過大失真。



2. 數據集處理

提取人聲的順序流程是分離伴奏——去除和聲——去除混響和回聲。



2-1.伴奏分離

如果使用的是帶伴奏的歌曲作為數據集,請一定要將人聲分離出來。分離人聲及伴奏推薦使用Ultimate Vocal Remover 5(UVR 5),下載對應的處理模型。

可使用的分離伴奏方法,擇一使用:

  1. 人聲去除器和AI智慧伴奏分離器 | LALAL.AI。效果還不錯,但不是免費的。
    ※使用方法可參考:LALALAI使用方法。
  2. 使用火山引擎 SAMI 技術。可參考SAMI文檔。
  3. 剪映專業版(有VIP)。沒有VIP的可使用剪映專業版+錄屏(沒有聲音損失)。
  4. 使用 UVR5 - MDX23C-InstVoc HQ 模型。
raw-image


  1. 使用 Ripple 分離人聲。(蘋果用戶專享)



2-2.去除和聲

  1. 使用 UVR5 的去除和聲模型(以下三個擇其一)
  • UVR-BVE-4B_SN-44100-1 (Instrumental Only)。
  • 6_HP_Karaoke-UVR (Vocals Only)(没有5激烈)。
  • 5_HP_Karaoke-UVR (Vocals Only) (比6激進,有可能會過頭)。
  1. Hit'n'Mix RipX 手動分離出人聲(非必要别用,費時費力)。



2-3.去混響和回聲

  1. 使用 UVR5 的去混響模型(以下三個擇其一)。
  • UVR-De-Echo-Normal選No Echo Only(輕度混響)。
  • UVR-De-Echo-Aggressive選No Echo Only(重度混響)。
  • UVR-De-Echo-Dereverb選No Echo Only(遇到變態的混響可以用)。
raw-image








※ 注意:使用 UVR5 請確保 UVR 版本是最新的,否則可能無法下載所需模型。



2-4.數據集結構與命名規範


1.數據集目錄結構:

  • 數據都處理好之後,可先使用重命名軟件,把檔案名稱都統一,之後的預處理比較不會出錯。
  • 都處理好後,要將數據集放入dataset_raw目錄。
  • 請按照以下文件結構,並且命名只能有英文、數字以及windows允许的特殊符號。
dataset_raw
├───speaker0
│ ├───xxx1-xxx1.wav
│ ├───...
│ └───Lxx-0xx8.wav
└───speaker1
├───xx2-0xxx2.wav
├───...
└───xxx7-xxx007.wav


2.檔案命名規範:

  • 對於每一個音訊檔案的名稱並沒有格式的限制(000001.wav~999999.wav之類的命名方式也是合法的),不過檔案類型必須是wav。
  • 可以自訂說話者名稱。
dataset_raw
└───suijiSUI
├───1.wav
├───...
└───25788785-20221210-200143-856_01_(Vocals)_0_0.wav


如果追求更精確的選曲,可參考

選擇適合的歌曲和評估方法。


結語:

透過上述步驟與工具,您可以有效準備高質量的數據集,為訓練專屬聲音模型奠定基礎。記得遵循命名規範與工具使用建議,確保整個流程順利進行。

avatar-img
3會員
3內容數
Hello~ 歡迎來到Soul in the system。我主要研究心理學,但對於AI很有興趣,這裡目前主要是分享關於AI的各種知識,將來希望能分享心理學。 心理學跟AI是可以連結的,歡迎同好~
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Violet的沙龍 的其他內容
本篇文章分享瞭如何從零開始使用SO-VITS-SVC構建專屬AI歌手的實戰經驗。重點介紹了數據集的準備和環境的部署,包括硬體需求、Python環境設置及模型訓練的注意事項。作者還分享了雲端訓練和本地訓練的對比,並提醒讀者規範使用資料集避免侵權問題。透過這篇文章,您將獲得構建AI音樂模型的指引和技巧。
本篇文章分享瞭如何從零開始使用SO-VITS-SVC構建專屬AI歌手的實戰經驗。重點介紹了數據集的準備和環境的部署,包括硬體需求、Python環境設置及模型訓練的注意事項。作者還分享了雲端訓練和本地訓練的對比,並提醒讀者規範使用資料集避免侵權問題。透過這篇文章,您將獲得構建AI音樂模型的指引和技巧。
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
Free Online AI Vocal Remover & Isolator 是一個線上音訊分離工具,運用 AI 技術精準辨識人聲和樂器並自動消除噪音,輸出高品質清晰音訊。上傳音樂或影片即可獲得人聲和伴奏音樂,支援抓取社群影音檔案,提交連結可以免費下載高品質MP3。
Thumbnail
本文介紹了AI助手在數據收集和訓練過程中的工作原理和不斷進步的過程。關注的內容包括從公開的網絡資源、書籍、文章等渠道收集數據,數據的清洗和結構化處理,知識庫的增量更新以及訓練算法和模型的優化。如果大家對AI助手的發展還有任何其他感興趣的話題或建議,歡迎隨時告訴我們,讓我們共同探索,攜手進步。
Thumbnail
使用AI寫歌確實是一個新興的創作方法。 以下是使用AI寫歌的基本步驟和所需能力: 步驟: 1. 選擇AI工具:挑選適合的AI歌曲創作工具或平台。 2. 輸入初始參數:設定風格、情感、主題等基本參數。 3. 生成初稿:讓AI生成歌曲的初始版本,包括旋律和歌詞。 4. 審核和編輯:檢查AI生
Thumbnail
「人工智障計畫」也執行了好一段時間了,關於這個專案中文字轉語音的方案,在之前的筆記中也有稍微提到,為了達成能自訂聲線,並且能完全離線運作兩個條件,我已經做過了不少嘗試。
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
使用人工智慧生成模型可以創作各種媒體內容,MusicGen Web 是一個基於瀏覽器的免費 AI 音樂生成工具,訪問網頁,輸入文字描述即可創作獨特的音樂,包括流行、爵士、電子、古典等多種風格。
Thumbnail
Suno AI 是一款基於人工智能的音樂生成工具,使用深度學習技術訓練出的人工神經網絡模型,能讓任何人免費使用文字描述生成對應的音樂作品。本文介紹了Suno AI的特點、用法、影響和用途,並展望了人工智能在音樂創作中的潛在作用。
Thumbnail
Suno 是一款免費的 AI 音樂生成工具,只要輸入文字就能輕鬆作曲,無論是英文、中文歌曲,都能依照指定風格生成一首歌曲,最近開放 V3 模型,可以使用V3 模型生成 2 分鐘的歌曲,沒有任何音樂知識,也能輕鬆創作。
Thumbnail
這篇文章整理了多種好用的AI工具,涵蓋了聲音與音樂相關的AI、影音、圖像生成編輯工具和AI搜尋引擎等領域,幫助你節省時間和解放創意與生產力。
Thumbnail
微軟攜手音樂創作領域的人工智慧新創Suno AI,微軟把Suno AI的音樂創作技術整合到自家大熱聊天機器人Copilot中,只要在輸入框中輸入想要生成的音樂主題或風格,Copilot就能為你創作一首帶有歌詞、人聲及伴奏的音樂。
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
Free Online AI Vocal Remover & Isolator 是一個線上音訊分離工具,運用 AI 技術精準辨識人聲和樂器並自動消除噪音,輸出高品質清晰音訊。上傳音樂或影片即可獲得人聲和伴奏音樂,支援抓取社群影音檔案,提交連結可以免費下載高品質MP3。
Thumbnail
本文介紹了AI助手在數據收集和訓練過程中的工作原理和不斷進步的過程。關注的內容包括從公開的網絡資源、書籍、文章等渠道收集數據,數據的清洗和結構化處理,知識庫的增量更新以及訓練算法和模型的優化。如果大家對AI助手的發展還有任何其他感興趣的話題或建議,歡迎隨時告訴我們,讓我們共同探索,攜手進步。
Thumbnail
使用AI寫歌確實是一個新興的創作方法。 以下是使用AI寫歌的基本步驟和所需能力: 步驟: 1. 選擇AI工具:挑選適合的AI歌曲創作工具或平台。 2. 輸入初始參數:設定風格、情感、主題等基本參數。 3. 生成初稿:讓AI生成歌曲的初始版本,包括旋律和歌詞。 4. 審核和編輯:檢查AI生
Thumbnail
「人工智障計畫」也執行了好一段時間了,關於這個專案中文字轉語音的方案,在之前的筆記中也有稍微提到,為了達成能自訂聲線,並且能完全離線運作兩個條件,我已經做過了不少嘗試。
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
使用人工智慧生成模型可以創作各種媒體內容,MusicGen Web 是一個基於瀏覽器的免費 AI 音樂生成工具,訪問網頁,輸入文字描述即可創作獨特的音樂,包括流行、爵士、電子、古典等多種風格。
Thumbnail
Suno AI 是一款基於人工智能的音樂生成工具,使用深度學習技術訓練出的人工神經網絡模型,能讓任何人免費使用文字描述生成對應的音樂作品。本文介紹了Suno AI的特點、用法、影響和用途,並展望了人工智能在音樂創作中的潛在作用。
Thumbnail
Suno 是一款免費的 AI 音樂生成工具,只要輸入文字就能輕鬆作曲,無論是英文、中文歌曲,都能依照指定風格生成一首歌曲,最近開放 V3 模型,可以使用V3 模型生成 2 分鐘的歌曲,沒有任何音樂知識,也能輕鬆創作。
Thumbnail
這篇文章整理了多種好用的AI工具,涵蓋了聲音與音樂相關的AI、影音、圖像生成編輯工具和AI搜尋引擎等領域,幫助你節省時間和解放創意與生產力。
Thumbnail
微軟攜手音樂創作領域的人工智慧新創Suno AI,微軟把Suno AI的音樂創作技術整合到自家大熱聊天機器人Copilot中,只要在輸入框中輸入想要生成的音樂主題或風格,Copilot就能為你創作一首帶有歌詞、人聲及伴奏的音樂。