美空雲雀死後 30週年，靠AI人工智慧在NHK紅白死而復生

可以在這裡看到「AI美空雲雀」演唱新曲《在那之後》。注意，你看到的畫面不是美空雲雀本人，而是透過CG電腦合成出來的影像，就連聲音都是合成出來的。

聲音合成＋機器深度學習

「AI美空雲雀」採用YAMAHA的「VOCALOID:AI」聲音合成技術，利用機器深度學習（deep learning）的方式，將美空雲雀生前演唱的音檔進行分析，找出美空雲雀歌聲及演唱方式的波形特徵，打造一套只要輸入一段符合美空雲雀音域範圍的樂譜，就可以近似完美地仿造出美空雲雀歌聲的效果。

在這之前，「VOCALOID:AI」最為人所知的應用實例就是初音未來（初音ミク）。然而，「VOCALOID:AI」充其量只是聲音合成技術，如果想要模擬出美空雲雀的聲線，就必須要仰賴AI人工智慧的深度學習，找出美空雲雀生前演唱時的音色、顫音、抑揚頓挫等演唱技巧的特色，才有辦法模擬出美空雲雀的聲線。

由於深度學習是從事前輸進的資料找出規則，並依照這些歸納出來的規則設計出一套演算法，如果沒有辦法輸入足夠多的資訊，就沒有辦法得出的仿真度很高的成品。這次之所以能利用「VOCALOID:AI」搭配AI人工智慧的深度學習模擬出美空雲雀的聲線，這都有賴於美空雲雀生前累積夠多音檔資料，得以讓AI人工智慧歸納出美空雲雀演唱時的波形特徵，再套用在「VOCALOID:AI」合成出美空雲雀的聲音。

在日本コロムビア釋出的《在那之後》歌曲MV當中，可以聽到「AI美空雲雀」的演唱和口白，畫面則是搭配美空雲雀生前演唱時的影像，及自從美空雲雀 1989年死後（平成元年）一直到 2019年歷年重要事件的片段。

找死後30年的現役演歌歌手幫忙

除了美空雲雀的聲音之外，NHK在〈靠AI復活的美空雲雀〉節目上還結合了CG電腦動畫打造出 1:1大小的美空雲雀 4K影像。至於「AI美空雲雀」在紅白上的演出，則找來演歌歌手天童芳美（天童よしみ）模仿美空雲雀演唱時的動作，讓電腦進行路徑追蹤，掌握「AI美空雲雀」演唱時的肢體動作。

不僅如此，2019年的紅白歌合戰還要挑戰讓「AI美空雲雀」演唱新曲《在那之後（あれから，暫譯）》。這首曲子是由美空雲雀生前最後一首單曲《川流不息（川の流れのように）》的作詞家秋元康從 200首候選曲當中挑出最適合「AI美空雲雀」的曲子。「AI美空雲雀」在紅白歌合戰上的服裝，則由美空雲雀晚年正記標誌的「不死鳥」造型師森英惠負責。

這次表演的困難之處，就是「AI美空雲雀」不是只有唱歌而已，而是在間奏穿插口白。要讓「AI美空雲雀」唱歌與說話，其實分別需要兩套演算法，分別輸入美空雲雀唱歌時的音檔或對話時的音檔，才能讓仿真度最大化。而且輸入的歌曲音檔，還要從伴奏或和音當中抓出美空雲雀的聲音（也就是把配樂當作雜訊過濾掉），沒有一定的聲音處理技術沒有辦法達成這次的任務。

《在那之後（あれから）》日文・中文歌詞對照

演唱：美空ひばり（AI歌唱）

作曲：佐藤嘉風

作詞︰秋元康

中文翻譯：張 郁婕

--

夕陽が　また沈んで行く　　　　　　　｜　夕陽再次落下

あっという間の一日　　　　　　　　　｜　稍縱即逝的一天

どこかに大事な何かを　　　　　　　　｜　好似忘記把重要的東西

置き忘れたような自分の影　　　　　　｜　遺忘在某處的我的身影

地平線は変わらないのに　　　　　　　｜　地平線不曾改變

静かに移ろう景色　　　　　　　　　　｜　風景靜靜地變化

生きるというのは別れを知ること　　　｜　活著，讓人知道離別

愛しい人よ　　　　　　　　　　　　　｜　親愛的人啊

あれから　どうしていましたか？　　　｜　在那之後，過得如何啊？

私も歳を取りました　　　　　　　　　｜　我也老了

今でも　昔の歌を　　　　　　　　　　｜　即便是現在，想到以前的歌

気づくと　口ずさんでいます　　　　　｜　注意到的時候，已經在哼著唱了

振り向けば幸せな時代でしたね　　　　｜　回想起來那真是幸福的時代啊，對吧

いくつか　星が煌めいて　　　　　　　｜　有幾顆星星閃爍著光芒

後悔さえ美しい　　　　　　　　　　　｜　後悔是美麗的

今日できなかった何かが　　　　　　　｜　今天沒有辦法做到的事

明日はできるような気がして来る　　　｜　覺得等到明天就一定能做到

長い道を歩き続けて　　　　　　　　　｜　在漫長的道路上持續地走

ようやくたどり着けそう　　　　　　　｜　好像就快到達終點

生まれた瞬間から追いかけて来たのは　｜　從出生的那一刻直到現在

母のその背中　　　　　　　　　　　　｜　才追上母親的身影

あれから　元気でいましたか？　　　　｜　在那之後，你過得好嗎？

随分　月日が経ちました　　　　　　　｜　過了好一段時間了

何度も歌った歌を　　　　　　　　　　｜　已經唱了好幾次的歌

もう一度　歌いたくなります　　　　　｜　現在還想再唱一次

そう誰も大切な思い出が人生　　　　　｜　每一個人都有重要的回憶才是人生

「お久しぶりです。あなたのことをずっと見ていましたよ。頑張りましたね。さあ 私の分まで、まだまだ、頑張って」

口白：「好久不見，我一直在（天上）看著你喔。這段時間真的很努力呢！好了，包含我的份，請繼續加油下去吧」

なぜだか　涙が止まらない　　　　　　｜　不知為何，淚流不止

心がただ震えています　　　　　　　　｜　我的心一直在顫抖

あれから　どうしていましたか？　　　｜　在那之後，過得如何啊？

私も歳を取りました　　　　　　　　　｜　我也老了

今でも　昔の歌を　　　　　　　　　　｜　即便是現在，想到以前的歌

気づくと　口ずさんでいます　　　　　｜　注意到的時候，已經在哼著唱了

振り向けば幸せな時代でしたね　　　　｜　回想起來那真是幸福的時代啊，對吧

在日本コロムビア釋出的這支影片中，只聞「AI美空雲雀」之聲不見其人，畫面中只有北野武、Lily Franky、EXILE ATSUSHI、指原莉乃、村上虹郎與中島セナ當今還活著的藝人，聽著「AI美空雲雀」的新曲《在那之後》做出反應，並在影片最後發表心得。北野武表示：「覺得這接近美空雲雀的最高傑作，是很好的歌。」指原莉乃則在聽歌的時候流下眼淚，最後說道：「想著現在不在身邊的人聽著這首歌，而忍不住流淚。」

「AI美空雲雀」是誰的？

這一次「AI美空雲雀」登上NHK，也引起外界注意到AI人工智慧的應用在法律上的問題。

以「AI美空雲雀」來說，最大的問題就是利用AI人工智慧打造出來的「AI美空雲雀」到底是屬於誰的？是打造這套AI人工智慧的工程師？還是美空雲雀的遺族？利用「AI美空雲雀」的名義發表新單曲，著作權又屬於誰的？這一次的「AI美空雲雀」計畫經過美空雲雀的遺族同意，整個計畫也是由美空雲雀的養子加藤和也負責管理，所以在法律上沒有問題。

「重現真人」之前，要先取得同意

像是「AI美空雲雀」這樣，利用AI人工智慧「重現真人」的技術稱之為「digital human（デジタルヒューマン）」。這一次參與「AI美空雲雀」計畫的成員當中，其中一家企業是 2018年新創立的stu.inc。在成立stu.inc之前，該公司的成員就曾經「重現」過已故的X JAPAN團員hide等多名音樂人士。

stu.inc的CEO黑田貴泰接受時指出，想要「重現」已經過世的故人，其關鍵掌握在遺族手中。黑田貴泰以過去「重現」已故hide為例，hide在生前曾經預告「有一天將以虛擬人物的方式復活」，也就是取得hide生前同意。

利用AI人工智慧「重現真人」之前，是否能取得被「重現」的當事人同意是一大重點。其中一個案例是，2018年的超級盃中場秀上投影了在 2016年過世的「王子」（Prince Rogers Nelson）生前影像，遭到不少粉絲和演出人員反彈。「王子」在生前便一直主張藝術家必須要能夠掌握自己的作品和形象，而不能交由市場決定。在 2018年超級盃中場秀爭議爆發之後，更有人翻出「王子」在 1998年一場採訪時曾經表明對虛擬實境抱持反對的態度，但當時的表演，最終不了了之。

這是「AI美空雲雀」最新單曲《在那之後》的專輯封面，可以看到在美空雲雀的名字底下有加上「AI歌唱」，在專輯封面左下角還有打上「VOCALOID:AI」的文字。圖片出處：日本コロムビア株式会社新聞稿

還有法律問題沒解決⋯⋯

以美空雲雀來說，美空雲雀過世時的 1989年，雖然已有錄影錄音技術，但未必能想到在未來某一天居然可以利用這些影像資料讓人在虛擬世界「起死回生」。

這一次「AI美空雲雀」計畫雖然經過美空雲雀遺族的同意，但事情並沒有這麼簡單。因為人一定會隨著時間有所變化，那這一次要「重現」出來的樣貌究竟要選美空雲雀在哪個時期的外型或聲線，目前雖然是以按照遺族的希望進行設計，那這樣設計出來的成品究竟是屬於一次性的娛樂計畫，還是長期讓美空雲雀以「AI美空雲雀」的方式復活？這部分都還有待解決。

熟知著作權法律問題的律師福井健策擔心，不管是「重現」像美空雲雀這樣的名人，或是已經過世的市井小民，往後如果遺族可以輕鬆利用AI人工智慧讓已經過世的家人或情人在虛擬世界「起死回生」，很有可能造成人們無法走出親人過世的傷痛，沉浸在「親人或許還沒有死」的虛擬世界裡，難辨虛實。

福井健策接著提到，當今利用AI人工智慧的「深偽技術（deepfake，另譯為「深假」）」，剪接他人頭像到色情片上成為「deepfake假A片」在網路上散佈已成問題。福井健策表示，現行法律上只有禁止「侵犯他人名譽或隱私」，所以「在不侵犯故人名譽或隱私」的情況下利用AI人工智慧將死去的人「復活」，在法律上應該是可行的。但利用AI人工智慧「讓死者在虛擬世界復活」的權利歸誰？又允許做到哪些程度，目前在社會上並沒有共識。

福井健策希望能藉由「AI美空雲雀」喚起大家對這個議題的重視。

關於deepfake「假A片」的討論，可以參考友站【DQ地球圖輯隊】的文章《把他人臉孔轉移到色情片上 deepfake「假A片」惹議》

距離實現「digital human」還差一步 stu.inc的CEO黑田貴泰接著說道，在開發AI人工智慧的領域裡，「digital human」的目標並不是只有「重現故人」而已。現在像Siri這些個人語音助理軟體可以做到「很有人味」的聲音，但這些個人語音助理並沒有「外型」。「digital human」的下一步，就是要做到可以看到表情變化「很有人味」的外型。 利用AI人工智慧打造出有豐富表情變化的虛擬人物，最廣為人知的例子當屬初音未來或近年成為日本網路話題的「虛擬YouTuber（virtual YouTuber，簡稱VTuber）」。但不管是初音未來或是VTuber，在這些虛擬角色的背後還是需要真人賦予這些角色個性。以初音未來來說，背後的「真人」就是負責將樂譜輸進「VOCALOID:AI」，讓「VOCALOID:AI」進行聲音合成的人。正因為初音未來或VTuber背後有真人負責操控，初音未來或VTuber才能表現出大家想要的樣子。 「digital human」的目標是希望在未來的某一天，這些虛擬影像的背後並不需要「真人」操控，而能由AI人工智慧自行運作，只是現階段AI人工智慧的技術還沒有走到那一步。 關於虛擬YouTuber的介紹，歡迎參考友站【DQ地球圖輯隊】的文章《日本2018網路流行語第一名 ：VTuber》。 參考資料 “紅白出場”AI美空ひばり「気持ち悪さ」の正体 法規制は必要か “AI美空ひばり”きょうの紅白歌合戦に登場 新曲「あれから」披露 “AI美空ひばり”の紅白新曲｢あれから｣が音楽業界で注目の理由 Nスぺ5min.「AIでよみがえる美空ひばり」 紅白で話題｢AI美空ひばり｣の“中の人”の1社が語る｢デジタルヒューマン｣の可能性