利用 AI 翻唱，打造屬於你的虛擬歌手

#AI翻唱 #AIcover #AICoverSong #AI音樂 #虛擬歌手 #AIVoice #翻唱

AI翻唱技術崛起

前幾年YT上出現大量的AI孫燕姿翻唱，​主要是利用AI把一位歌手過去大量唱歌的語氣、聲調、音色等數據分析，接著整合成一個聲音庫，之後使用者只要提供一段聲音，AI就可以從聲音庫中找出合適對應的拼湊出一整首歌，不過當時的技術並不穩定，在唱到高音、Rap的片段會出錯。

合併的軌道

接下來我會跟大家分享如何用AI打造出一個虛擬偶像。

為什麼「虛擬歌手」正在成為個人創作者的新選項？

虛擬偶像成功案例

前陣子K-Pop獵魔女團爆紅，不論是Huntr/x girl還是Sojaboy，都是動畫電影虛構出來的偶像團體，然而他們的音樂當中Soda Pop、Your Idol、Golden、Takedown四首歌直接打敗Blankpink、Aespa霸榜的音樂，一舉衝上前10名，而且連續霸榜很長一段時間。

在Huntr/x girl跟Sojaboy之前，就有這種虛擬偶像的先例了，比如用藍綠色雙馬尾為代表的初音未來，以及其整個家族鏡音、巡音等。

虛擬偶像不同於真實的偶像，不會捲入誹聞、負面新聞、炎上，他們沒有自己的想法，自然也不會主動得罪誰，頂多有人看不順眼。雖然大家都知道他們不是真的，可是也因為這樣更容易讓人產生比真人更親和的感覺。

但這些虛擬偶像都有超高的技術門檻，你必須要讓好幾個動畫師工作好幾個禮拜，才能做出來，更不要提分鏡、編曲、角色造型設計、3D建模、材質貼圖、渲染、骨架動態、配音、配樂、特效等，想要做這樣的內容實在太難了。就連V-tuber本身都是需要一定的資本才能開始執行。

可是自從AI出現後，打造虛擬偶像、虛擬網紅的技術門檻就大幅下降，也有成功的案例，主要都是在IG發跡，因為IG對每個帳號的起始流量相對公平，而且不會突然給你限流。

這個AI網紅粉絲數達50萬

打造AI虛擬偶像/歌手4大重點：

不用露臉

因為外型可以自由塑造，只要你會用AI就可以產生專屬虛擬偶像，所以可以不受先天的外型與年齡限制，每個人都可以做虛擬偶像。

AI翻唱

一個聲線就能代表一個角色，而現在的AI翻唱技術成熟，你可以不用自己租錄音室錄音，大幅降低了成本與技術需求。當然如果你本身就是音樂專業的話，也可以反其道而行，使用AI包裝你自己的音樂創作。這次操作分享的範例是Pop Pop AI，註冊可以免費使用。

AI音樂

隨著AI音樂工具平台出現，想產生音樂不需要學編曲、MIDI、配樂等。可參考AI音樂平台：SUNO、Flexclip、Artlist.io、Udio，但要注意AI產生音樂任何人都可以使用，因此想要靠這個打造虛擬歌手重點在於角色塑造。

角色塑造

做AI虛擬歌手的時候，我們其實不是在做翻唱，而是在「經營一個聲音角色」，你需要給這個角色個性、固定的外表、固定的聲音，不能每次都像不同人，還有固定的曲風，讓觀眾覺得這就是一個人。

AI 翻唱 ≠ 抄歌：虛擬歌手的核心價值是「角色設定」

為什麼單純 AI 翻唱很難累積粉絲？

網路上的AI翻唱非常多，但為什麼幾乎都無法累積粉絲呢？過去我曾經連續用AI翻唱各種在SUNO產生的音樂、老歌，大量上傳至一個空的帳號，可是結果並不理想，以觀眾的角度來看，這只是眾多AI產物其中之一，沒有特色，聲音也不穩定，加上只有AI圖片沒動態，這個圖片的破綻也蠻多的，所以最後不了了之。

虛擬歌手需要的三個元素

所以打造AI虛擬歌手要成功，需要掌握3個主要元素，並且穩定產生內容。

聲音個性（聲線、情緒、唱腔）

打造AI虛擬歌手的重點不是在於產生大量的AI翻唱音樂，而是塑造AI虛擬歌手的個性與「人性」，讓觀眾覺得這不僅是一個AI產物，他/她是一個有個性，跟我們一樣的人。

而歌手最重要的就是聲線、唱腔，聲線一定要固定，不能每次都像不同人，也不能完全沒有特色，AI歌手有一個優點，在高音表現上絕對非常穩定且優秀，你不用擔心它唱走音，只要有一首給它當作「翻唱」的歌即可。

人設世界觀（年齡、性格、背景）

你的虛擬偶像設定是什麼？是年輕女孩還是有一點歷練的女性？是型男還是斯文類型？這會影響到你要如何產生風格穩定的AI歌曲，畢竟你不會想要讓一個聲音沉穩的女歌手唱甜甜愛情歌，對吧？或是讓聲音低沉、高亢的男生獨唱Soda Pop，那會很奇怪。

同時我們要思考這個角色的背景是什麼？它有什麼背景設定呢？背景可以理解為這個角色在它的世界，它是怎麼樣的人、來自哪裡、有哪些困擾、會遇到哪些事，這會影響到這個IP吸引到什麼樣受眾。比如這個Money Back My Home就是以一個不符合刻板印象的現代打扮如來為主角，並且用低沉的嗓音、諷的歌詞刺唱出人世間的苦，吸引到的肯定是對生活辛苦有同感的人。

穩定輸出的風格選歌

想要打造偶像/歌手，絕對不能好幾個月才更新一次，那些真正的歌手、偶像如何經營自己的社群帳號，我們就要跟著做。

以Jolin為例，她平均一周更新1~2次，當然我們不可能像大明星頻繁產出這種高規格內容，只是可以借鏡。

接著歌曲的產生需要有一個主要的風格，根據我的實測使用熱門歌曲翻唱到Shorts對流量的影響太大，會被限流、影響整個頻道，所以我們需要拆解某一個要參考的歌手或偶像的元素，接著建構出一個全新、完整的偶像，包含穿著風格、品味、曲風、剪輯風格、分鏡等。

成功的關鍵不是「像誰」，而是「記得住」

從 AI 翻唱開始，虛擬歌手的實際製作流程

接下來我們以為參考，給想嘗試的人一個清楚路線圖。

Step 1：選擇適合的 AI 翻唱工具與聲線

先在AI音樂平台產生特定風格音樂，比如：SUNO、Flexclip、Artlist.io、Udio，再到AI翻唱平台(比如：Pop Pop ai)統一翻唱之後的聲音、音色。

這邊我以一個我目前剛開始經營的AI虛擬偶像為範例。

這個虛擬偶像的名字叫Elora，我利用Gemini將她的資料完整化，在這裡對於外貌描述不滿意沒關係，AI本來在人臉的辨識方面功能就還不夠齊全，這個步驟主要是希望讓Gemini幫我抓到這個IP的標籤，得到以下的參數與角色設定。

Step 2：挑選「符合角色性格」的歌曲

接著我讓Gemini參考Blackpink、Babymonster的曲風撰寫歌詞與風格Prompts(提示詞)，貼到AI音樂平台產生了一個音樂，這邊是以SUNO為例。

備註：SUNO的音樂在沒有付費訂閱之前，不可以上傳到SUNO以外的平台。

我這邊產生的音樂可以在這裡試聽：https://suno.com/s/L9RPseGfJmBgfa5V

Step 3：AI翻唱統一歌聲

接著因為AI音樂平台的歌聲過於單一，我們要找一個聲音，可以參考這個網站Pop Pop AI，會員每日可免費產生AI音樂翻唱。

前往網站

這裡有很多種聲音，從動畫聲音到歌手、名人都有，上傳要翻唱的聲音片段可以翻唱。

如果想要讓翻唱的AI合唱或是提升AI翻唱品質，可以把音樂跟人聲分離再個別讓AI翻唱，然後用免費剪輯軟體合併，前面分享的Blackpink翻唱就是這樣做的喔。

合併多個AI翻唱之後效果會更好

這是去除背景音樂之後的AI翻唱效果：試聽

Step 4：搭配靜態或簡單動態視覺（角色圖、簡易動畫）

然後我們請Gemini產生分鏡，內容不見得可以一步到位。

因為歌詞、角色設定都是Gemini產生的，不需要花時間整理所有資料給Gemini，接著我們把視覺內容欄位的文字轉換成AI可以理解的語言，看使用的是什麼AI，假如是剪映的話需要轉換成簡體中文提升準確率。

接著以某幾張圖片反覆產生唱歌、跳舞、看向鏡頭等不同動作的影片，再把片段串聯起來。

Step 5：發佈到平台（Shorts / Reels / TikTok）

如果已經有IG、YT、TK帳號，要先看原本的內容是否會影響，不然建議重新創辦一個新的帳號，頻道名稱與簡介可以用Gemini產生，也可以自己想一個。

重點不是一次做到完美，而是能不能持續產出

常見迷思與現實問題

AI 翻唱會不會侵權？

AI翻唱會不會侵權的主要因素在於原始音樂，假如使用現成的熱門音樂翻唱，且該音樂沒有授權你使用的上傳平台，就會導致版權問題。即便有授權，未來停止授權之後，你的音樂也會被限流或要求禁音。流行音樂的授權時效通常比較短，所以盡可能不要用流行音樂。

假如使用AI音樂，平台不會偵測到版權問題。但是未來依然有可能因為AI音樂使用了某個創作者的創作餵養AI，而導致你連帶被影響，甚至可能提出訴訟。但由於跨國訴訟難度很高，AI音樂平台使用的幾乎都是歐美的音樂，在台灣使用對方不太可能為了一點錢對你提告，通常會以email告知有版權問題要求你下架影片，或者要你訂閱對方委託的素材庫一年，所以一定要留聯絡方式在你的AI虛擬偶像社群中。

聲線是不是一定要很像真人？

其實現在的AI音樂聲音非常擬真，與真人已經非常接近了，AI翻唱技術也對成熟，不太會像以前的AI一樣假假的。

沒有音樂背景可以做嗎？

這次分享的操作不需要任何基礎都可以嘗試，只需要找到你想要的音樂風格Prompt，並且產生的圖像接近即可。

技術只是工具，定位與選擇才是門檻

最後，大家如果有興趣可以去嘗試看看，遇到問題也可以留言或Email詢問。