人工智慧在音樂分析與創作的應用—2018臺北數位藝術節紀實

「人工智慧（AI）」發展至今早已逐漸擴及到各個層面，Pepper機器人、統一超商的無人便利商店、萬芳醫院的醫療機器人、無人小巴士、自動駕駛、華碩的Zenbo…等等，我們的工作、生活已逐漸佈滿這項科技的蹤跡。

「人工智慧」從識別圖像、語音，再來與圍棋手進行比賽，近年Google也讓AI踏入藝術領域，開始作畫、寫詩、譜曲。關於AI的討論越來越多，我們也常在報章雜誌上看到相關報導，但往往因為太過片段的內容，讓人誤以為它是憑空出現的技術，不少人也因為不瞭解而產生過度的想像，甚至帶來焦慮，認為AI即將取代人類。11/24這天，由來自中研院資訊科學研究所，專長為訊號處理、機器學習與音樂資訊檢索的蘇黎博士，聚焦音樂層面，與我們分享關於AI的研究成果，以及他對於AI的觀點。

AI不是一夕之間，源頭也是人工的。

其實AI並不是最近幾年才出現，早在2001年就開始應用在音樂上，當時主要運用於模擬及創造音樂，即讓AI作為音樂聆聽者的「自動採譜」技術及演唱者的「自動跟譜」技術。

「自動採譜」是讓電腦在聽到音樂家的現場演奏後，能夠用樂譜重現；「自動跟譜」技術則是讓電腦在理解樂譜之後，能夠與人互動。而第三階段則是讓電腦作為教育者的「評論修正」技術，像是調整初學者演奏的錯音，或是預測歌唱比賽的優勝者，甚至與大數據一同運用，分析受眾喜好、讓行銷更精準。而近幾年最讓人津津樂道的，則是不少科技龍頭開始讓AI作為創作者，進行編曲和作曲。

到底人工智慧怎麼突然間就擁有了創作的能力？其實這一切都是來自於「機器學習」。

「簡單來說就是不斷地餵給電腦很多跟音樂有關的資料X及樂譜Y，再透過一連串的數學運算去做出對應的模型。」蘇黎博士接著說。

同樣是透過電腦理解後轉化的過程，「自動採譜」與手機語音辨識類似，卻因為音樂的組成複雜，在加入AI技術時也相對困難。蘇黎博士說：「音樂的情緒、曲風等等都會因為時間的長短而有影響。」目前的技術能將聲音訊號轉為Midi讓機器學習，但因為機器還沒辦法理解人類的「音樂語言」，也因此無法呈現音樂的情緒變化。

現階段「自動採譜」最常被運用的地方是在於文化的保存，像是布農族的八部合音，這些口耳相傳的民族音樂，經由AI紀錄下來，與民族音樂學家人工採譜的相似度極高，可省下學者的時間，讓音樂研究能有更多的可能。

而「自動對譜」技術則是人機互動演奏音樂的基礎。目前的運用是AI能即時呈現演奏家的演奏進度，以及細微的速度變化，讓演奏會的演出形式有更多可能。另一個運用則是作為走音救星，透過將不專業的人聲與專業人聲交叉，自動調整速度及音高。

第三個面向「評論修正」最有趣的地方，就是可以透過AI將伴奏轉換，使原本的音樂風格轉變為另一種曲風。但若是要轉換為爵士曲風，對AI來說就不容易，因為爵士的核心是隨性，缺乏規則，這也是人工智慧的盲點：「長時間的相關性」。現階段的AI在音樂上可以理解片段的音樂，判斷下一小節的情況，但無法理解音樂的章法，進而做出全面性的預測。其次則是可以改變音色，直接套用素材庫的樂器音色，在做鋼琴轉換為吉他時，還能夠呈現吉他撥弦時音高出現的時間差。

人工智慧雖然能夠做出我們以往無法想像的事情，但在創作這方面，是無法透過訓練就學會的。呼應蘇黎博士開頭提到，人工智慧始終還是「人工」，機器需要透過人類的訓練，像人類一樣經過學習才能夠進行反饋。但它與人不同的地方則是不會疲憊、可以不斷的進行學習，這也進而加快了應用的時間。而牽涉到聯想及整合的時候，它依舊無法取代人類；人類在聽音樂時產生的觀點，也是人工智慧無法想到的。

人工智慧在音樂上後續的發展重點為何？是否真的會取代人類？蘇黎博士以工業革命做為比喻：「當時機器的出現讓手工轉為自動，現在的AI就好比機器，是用來節省人類在製造音樂上所花費的時間。」AI始終是個工具，而懂得使用工具的人就不會被取代。

「未來最低階的勞工可能會變成替機器做教材的標記員吧！」蘇黎博士打趣地提出關於未來世界的預測。

時間：2018 / 11 / 22 ~ 12 / 01
地點：松菸文創園區5號倉庫、北向製菸工廠（免費入場）