【Google MusicLM】只要文字與圖片就能生成音樂的AI工具

更新於 發佈於 閱讀時間約 9 分鐘

音樂屬性魔法師MusicLM

時至今日,文字不僅能生成圖像,還能生成音樂了。不會畫畫,不會作曲,只要出張嘴,就能當魔法師,還是自帶畫畫與音樂屬性的魔法師。
Google 今年1月推出的 MusicLM 是一種可以藉由文本自動生成音樂的AI工具,想去試玩的人可以點選以下連結註冊加入審核名單,審核通過即可開始試用。
Google Music LM註冊畫面
Google的MusicLM 號稱擁有大量AI 模型以及長達28萬小時的訓練資料庫,可以製作非常多樣性的音樂
當然,原本就有在使用音樂類型的AI工具Jukebox點唱機以及Soundraw的創作者,可能會覺得已經很夠用了,Soundraw雖然畫面人性且直觀, 但畢竟還是需要人為去篩選類別,例如先選長度,接著選擇氛圍類別例如恐怖與驚悚類,再選速度慢快還是中等,然後等生成音樂後再進去調整長度與編排曲調強弱,與每段的樂器搭配。
筆者使用上覺得,Soundraw確實已經很好用了,但就操作上來說,MusicLM卻又更加的直觀,更佳的人性,挑明了說就是更符合「懶人」的需求。(只需要出張嘴下指令還不夠懶嗎?)
葛萊芬多魔法三人組都驚呆了
操作上只要想成,原本使用在文字生成圖像AI工具像是Midjourney或是Playground的Prompt,以同樣邏輯將提詞放在MusicLM上即可,不須篩選或挑選類別,幫你省下選擇障礙的時間,只需下一段文字敘述音樂就自動生成,完全是現代版吟遊詩人。

簡單的文字最快的速度

更簡單地說,對於音樂編曲一竅不通也沒關係,只要是為了各類型影音創作需求像是教學影片、線上線下的活動開場、結尾背景音樂、產品開箱、圖文創作故事等等,只要是需在茫茫資料海中快速找尋沒有版權疑慮又合適的背景音樂,就可以使用MusicLM,最簡單的文字敘述給予AI指令來描繪,並用最快的速度取得你需要的背景音樂,例如:「一首空靈的新古典音樂,給人放鬆與平靜的感覺」或是,「一首適合晚宴的爵士樂,曲調輕快並且優雅」等等。
不需要學會看五線譜,不需要懂音律,不會作曲也無所謂,AI都幫你搞定(很適合像筆者這樣的絕對音癡。)
Google有提供詳細的各類型提詞試聽網站,不須註冊即可試聽:

敘述型咒語

至於註冊成功後的咒語詠唱方式也很簡單,MusicLM 註冊過程會清楚告訴你Prompt「咒語」的三個條件:
How to make a good prompt
  • Be very descriptive. Electronic or classical instrument sounds best.
  • 必須是非常具體地描述。電子樂器或古典樂器的聲音最適合。
  • Mention the vibe, mood or emotion you want to create.
  • 需要提及想要創造的氛圍、情緒或情感(舉例像是寧靜、歡快、憂傷、緊湊不安等形容詞)。
  • Certain queries that mention specific artists or include vocals will not be generated.
  • 不會生成涉及特定藝術家或包含人聲的特定查詢。
第三條規則是跟文字生成圖像AI工具最大的不同點之一,像是Midjourney類的圖像生成工具,你可以在Prompt裡加入吉卜力風格,或是迪士尼畫風畢卡索畫風等提詞,直接給予特定人名或工作室名稱讓AI模擬產出風格相似的作品,但MusicLM不行,你不能下像是恩雅(New Age代表歌手之一)風格的嗓音,瑪莉蓮曼森(死亡金屬歌手之一)的歌聲等任何帶有人聲音樂的指令,也不能模擬特定工作室的風格例如一首Two Steps From Hell(知名電影配樂製作公司)風格的音樂等等。
按照上面規則下指令,MusicLM就會生成兩首符合的音樂讓你挑選,只要試聽並選擇你偏愛的版本(點選皇冠圖案),再下載保存即可,音樂不會存在網路上,必須即時下載。

除了敘述型的咒語,筆者覺得與其他音樂聲成工具更不同的地方是,MusicLM還提供了「故事型」咒語以及「圖像型」咒語的音樂生成方式。

故事型咒語 Story Mode:

The audio is generated by providing a sequence of text prompts. These influence how the model continues the semantic tokens derived from the previous caption.
透過提供一系列的文字提示來生成音訊。這些文字提示會影響模型如何延續從前一標題中衍生出的語義單元。
Story Mode
也就是說,假設你今天要製作一支一分鐘長度的冥想引導影片,你可以按照以下範例給予故事線指令進而生成與情境相符的一段背景音樂:
冥想一分鐘範例音樂
  1. time to meditate 冥想時間 (0:00-0:15)
  2. time to wake up 開始慢慢醒來 (0:15-0:30)
  3. time to run 開始起跑 (0:30-0:45)
  4. time to give 100% 開始全力以赴投入跑步 (0:45-0:60)
有興趣的人可以至試聽網站上的Story Mode區塊進行試聽
同樣的你也可以按照此邏輯去生成產品說明、教學影片、或是任何類型的示範影片,比起一段一段的給予敘述生成音樂,故事模式更好的提供了創作者背景音樂的一致性、完整性與音樂編排的便利性。

圖像型咒語生成 Painting Caption Conditioning

前面提到MusicLM除了故事型的音樂生成方式,還有一個讓使用者驚喜的是,透過一張圖像就能生成符合這張圖片的背景音樂。
Painting Caption Conditioning
例如僅提供一張「拿破崙越過阿爾卑斯山(Alps)」的畫作,搭配Wiki百科上的描述:「這幅作品為理想中的拿破崙及其軍隊於1800年5月通過聖貝納爾山口穿越阿爾卑斯山的真實場景。」給MusicLM讓其生成音樂。
拿破崙越過阿爾卑斯山(Alps)
我們先不去試聽網站上生成的音樂,可以先在腦中想像MusicLM會生成什麼樣的音樂再去試聽,同樣的你可以在前面提到的Google試聽網站上的Painting Caption Conditioning 區域試聽到這個範例:
說真的產出的音樂跟筆者想像的大不相同,但每個人對音樂的感受性本來就是很主觀的,這也是為什麼通常會生成兩首音樂讓使用者從中挑選的原因。
試聽網站上有很多範例,其中也有用荷蘭後印象派畫家梵谷的The Starry Night「星空」作為圖像指令生成音樂。這幅畫描繪了梵谷在聖雷米德普羅旺斯的療養院房間,朝東窗外所看見的「日出前景色」,畫中還添加了一個虛構的村莊。
你可以看見,指令中並沒有任何氛圍敘述,沒有寧靜的、祥和的、孤寂、閃閃發光等詞彙,就是簡簡單單的一幅畫與其畫作背景敘述,光是這樣MusicLM就能生成氛圍相符的背景音樂。
梵谷知名的畫作之一: The Starry night
假設筆者今天想為下面這張圖找尋搭配的背景音樂,用Soundraw的話可能就直接去恐怖與驚悚的分類裡找尋挑選,但對節奏快慢還沒有太多概念,這時就可以直接把這張圖丟給MusicLM,搭配文字描述如:「陰暗狹長,看不漸盡頭,空無一人的走廊」等文字來生成相符的音樂供參考。
陰暗狹窄空無一人的走廊

各類咒語提詞試聽

對音樂類型的提詞沒概念的話,Google提供的試聽網站上還羅列了五花八門各種各樣文本提詞可用的節拍、樂器、主題、情境及其對應的試聽檔給使用者參考,而且列舉的非常詳細。
例如光是鋼琴家,網站上就提供了初學者、中級演奏者、專業級、crazy fast professional 演奏者等四種級別的試聽供參考,而這四種級別的敘述也可以同樣地套用在其他樂器上,不一定是鋼琴。
四個級別的鋼琴演奏者
網站上還提供了各個不同年代的俱樂部音樂風格,從50年代到80年代都有,十分有趣。雖然不能去指定特定歌手與樂團風格的音樂,但你還是可以根據不同年代的音樂與情境提詞取得風格相符的音樂。
clubs in the 50s to 80s
試聽網站上提供的咒語類別實在太多了,無法一一列舉,大家可以去聽看看並註冊加入等候名單。
不管你是不是影音創作者,未來都有可能用到需要背景音樂的地方,即便是純文字創作者,時不時也會需要為小說或是文章尋找合適的插圖或配樂作為搭配或靈感,而過去人們常常開玩笑講的「自帶BGM」,「這張圖片有聲音」等話語將不再只是說說而已,而是真正的將話語中的文本轉化成一段音樂。

文章參考資料:
https://www.youtube.com/watch?v=dMsscu6Pa-E
https://techtarian.com/ai/musiclm/
為什麼會看到廣告
avatar-img
44會員
53內容數
主要為西洋歌曲翻譯評析與推薦,年代不是界限,曲風可以多變。暫時忘記世俗,徜徉在旋律的空間,沉浸在詞曲的感動,帶給你成長的人生好歌。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
黑色鬱金香的沙龍 的其他內容
昨晚突然很想吃「控罵崩」,懷念起鹹香滷肉汁與白米飯還有入口即化的肥肉,但考慮到若世界末日把自己養太肥會較快被吃掉,還是克制了下,轉而聊勝於無的跑去跟ChatGPT聊了一下炕肉飯。
論及歌詞意境的巧妙,就不得不提有許多華語歌詞也都相當優美富含深意,當然基於中英文語法結構的差異,中文歌詞翻成英文後,同樣會面臨到美感與語意兩相精準度微失衡的問題。
ChatGPT現在全天下你知我知他也知,擴充插件誕生的數量速度堪比手搖飲加盟店,都知道他寫文案好棒棒,人腦與之堪比猶如蝸牛,但文案一誕生,你是很快看過然後複製貼上嗎?
讓ChatGPT創作一首新詩,題目是「隨風而逝的自由」,筆者也用同樣的主題創作新詩,看看人跟語言模組寫出來的詩作內容,究竟會有多大的差別。
請ChatGPT創造了三篇小故事。「AI機器人大衛與小恐龍」「AI人工智能vs.人類存亡之戰」 「沒有感情的吃薯條機器」
OpenAI開發的人工智能聊天機器人ChatGPT目前正夯,筆者請ChatGPT寫出一篇文章大綱,題目是如何經營長久的婚姻?大約20-30秒,ChatGPT就按部就班地給出了10項大綱。
昨晚突然很想吃「控罵崩」,懷念起鹹香滷肉汁與白米飯還有入口即化的肥肉,但考慮到若世界末日把自己養太肥會較快被吃掉,還是克制了下,轉而聊勝於無的跑去跟ChatGPT聊了一下炕肉飯。
論及歌詞意境的巧妙,就不得不提有許多華語歌詞也都相當優美富含深意,當然基於中英文語法結構的差異,中文歌詞翻成英文後,同樣會面臨到美感與語意兩相精準度微失衡的問題。
ChatGPT現在全天下你知我知他也知,擴充插件誕生的數量速度堪比手搖飲加盟店,都知道他寫文案好棒棒,人腦與之堪比猶如蝸牛,但文案一誕生,你是很快看過然後複製貼上嗎?
讓ChatGPT創作一首新詩,題目是「隨風而逝的自由」,筆者也用同樣的主題創作新詩,看看人跟語言模組寫出來的詩作內容,究竟會有多大的差別。
請ChatGPT創造了三篇小故事。「AI機器人大衛與小恐龍」「AI人工智能vs.人類存亡之戰」 「沒有感情的吃薯條機器」
OpenAI開發的人工智能聊天機器人ChatGPT目前正夯,筆者請ChatGPT寫出一篇文章大綱,題目是如何經營長久的婚姻?大約20-30秒,ChatGPT就按部就班地給出了10項大綱。
本篇參與的主題活動
外遇是一場感情的試煉,撕裂了信任,也暴露了關係中的隱形裂縫。它讓人深陷傷痛與困惑,但同時也提供了一次重新審視自我與關係的機會。在這篇文章中,我們將深度解析外遇的成因、對愛情的影響,以及如何在裂痕中找到修復或重生的可能性,幫助你面對這場情感的挑戰,找到屬於自己的答案。
稍早跟朋友聊天,她向我詢問一個關於現階段她所遇到的一個選擇,目前找不到答案,一切混沌不明,問我她是不是一個「靈性沒有升級的」鬼打牆之人?電話打來的時候,恰好從行天宮參拜結束,我就一路從行天宮走到
有一頭鯨魚,到今天還一直在人們心中唱歌。牠從一生下來,聲音的頻率就比較高,有 52 赫茲那麼高。所以別的鯨魚聽不到牠的聲音,也聽不懂牠的意思。這頭音頻特殊的52 赫茲鯨魚,從被發現後就持續引起關注。科學家長期探尋,希望能找到其他的 52 赫茲鯨魚,據說後來真的有人發現一群「52 赫茲」在同時鳴唱。
  你心中有故事,卻不知道該怎麼表達出來?   你想寫小說,打開文檔,卻發現自己的腦袋跟word一樣空白?   你想動筆,卻發現每個人寫的小說都長得不太一樣,讓你無從參考?   那麼,這篇針對小說格式的教學文,應該可以幫上一點忙。   許多人都想寫小說,卻不是每個人都注重基本格式。然
外遇是一場感情的試煉,撕裂了信任,也暴露了關係中的隱形裂縫。它讓人深陷傷痛與困惑,但同時也提供了一次重新審視自我與關係的機會。在這篇文章中,我們將深度解析外遇的成因、對愛情的影響,以及如何在裂痕中找到修復或重生的可能性,幫助你面對這場情感的挑戰,找到屬於自己的答案。
稍早跟朋友聊天,她向我詢問一個關於現階段她所遇到的一個選擇,目前找不到答案,一切混沌不明,問我她是不是一個「靈性沒有升級的」鬼打牆之人?電話打來的時候,恰好從行天宮參拜結束,我就一路從行天宮走到
有一頭鯨魚,到今天還一直在人們心中唱歌。牠從一生下來,聲音的頻率就比較高,有 52 赫茲那麼高。所以別的鯨魚聽不到牠的聲音,也聽不懂牠的意思。這頭音頻特殊的52 赫茲鯨魚,從被發現後就持續引起關注。科學家長期探尋,希望能找到其他的 52 赫茲鯨魚,據說後來真的有人發現一群「52 赫茲」在同時鳴唱。
  你心中有故事,卻不知道該怎麼表達出來?   你想寫小說,打開文檔,卻發現自己的腦袋跟word一樣空白?   你想動筆,卻發現每個人寫的小說都長得不太一樣,讓你無從參考?   那麼,這篇針對小說格式的教學文,應該可以幫上一點忙。   許多人都想寫小說,卻不是每個人都注重基本格式。然
你可能也想看
Google News 追蹤
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
PopPop AI 推出的免費線上音效產生器可以將文字轉換為各種聲音,包括自然、人類、樂器、環境和特殊效果等。支援多種語言,使用者可以輸入中文描述創建音效,並可直接播放聆聽和下載音訊。
Thumbnail
音樂某種程度上蠻像一種語言。樂譜就好像一篇文章,音符、和弦就好像詞彙、單字,和聲、對位的規則就好像文法,曲式與結構就好像文章的體裁與架構。作曲或編曲就像寫作,而即興就像是口說。
Thumbnail
使用AI寫歌確實是一個新興的創作方法。 以下是使用AI寫歌的基本步驟和所需能力: 步驟: 1. 選擇AI工具:挑選適合的AI歌曲創作工具或平台。 2. 輸入初始參數:設定風格、情感、主題等基本參數。 3. 生成初稿:讓AI生成歌曲的初始版本,包括旋律和歌詞。 4. 審核和編輯:檢查AI生
Thumbnail
使用人工智慧生成模型可以創作各種媒體內容,MusicGen Web 是一個基於瀏覽器的免費 AI 音樂生成工具,訪問網頁,輸入文字描述即可創作獨特的音樂,包括流行、爵士、電子、古典等多種風格。
Thumbnail
Suno AI 是一款基於人工智能的音樂生成工具,使用深度學習技術訓練出的人工神經網絡模型,能讓任何人免費使用文字描述生成對應的音樂作品。本文介紹了Suno AI的特點、用法、影響和用途,並展望了人工智能在音樂創作中的潛在作用。
Thumbnail
之前有介紹過 Suno AI 工具,只需要輸入文字就能生成音樂,今天要跟你介紹另一款生成音樂工具「Image to Music」,只要上傳圖片,AI會根據你圖片的內容,生成符合圖片的音樂,更棒的是不用登入且沒有使用次數限制,操作非常簡單好上手,讓你可以盡情享受創作的樂趣。
Thumbnail
樂點APP 利用全球首創的AI技術,讓人人都能輕鬆做出自己的歌曲,並合成MV上架、最後利用區塊鏈存取歌曲版權進行變現。 是款利用AI技術作曲的APP,有興趣的朋友可以下載來試試看。 這篇新聞,是關於AI創作延伸的著作權歸屬等相關問題。
Thumbnail
Suno 是一款免費的 AI 音樂生成工具,只要輸入文字就能輕鬆作曲,無論是英文、中文歌曲,都能依照指定風格生成一首歌曲,最近開放 V3 模型,可以使用V3 模型生成 2 分鐘的歌曲,沒有任何音樂知識,也能輕鬆創作。
Thumbnail
創作過程 昨天,我投入了大量時間和精力,使用不同的詩詞生成工具,想要創作一首歌。但大多數生成的歌曲都不符合我的預期,因為調性不合,根本無法使用。白白浪費了許多AI點數。 最後,我從一個詩詞生成工具中得到了一首還算合適的歌曲。但它的缺點是拍子很特別,都是搶拍的唱法,在下點的時候很難抓准。不過,這也
Thumbnail
微軟攜手音樂創作領域的人工智慧新創Suno AI,微軟把Suno AI的音樂創作技術整合到自家大熱聊天機器人Copilot中,只要在輸入框中輸入想要生成的音樂主題或風格,Copilot就能為你創作一首帶有歌詞、人聲及伴奏的音樂。
Thumbnail
現代社會跟以前不同了,人人都有一支手機,只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行,然而如今科技快速發展之下,金融App無聲無息地進到你生活中。但同樣的,每一家銀行都有自己的App時,我們又該如何選擇呢?(本文係由國泰世華銀行邀約) 今天我會用不同角度帶大家看這款國泰世華CUB
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
PopPop AI 推出的免費線上音效產生器可以將文字轉換為各種聲音,包括自然、人類、樂器、環境和特殊效果等。支援多種語言,使用者可以輸入中文描述創建音效,並可直接播放聆聽和下載音訊。
Thumbnail
音樂某種程度上蠻像一種語言。樂譜就好像一篇文章,音符、和弦就好像詞彙、單字,和聲、對位的規則就好像文法,曲式與結構就好像文章的體裁與架構。作曲或編曲就像寫作,而即興就像是口說。
Thumbnail
使用AI寫歌確實是一個新興的創作方法。 以下是使用AI寫歌的基本步驟和所需能力: 步驟: 1. 選擇AI工具:挑選適合的AI歌曲創作工具或平台。 2. 輸入初始參數:設定風格、情感、主題等基本參數。 3. 生成初稿:讓AI生成歌曲的初始版本,包括旋律和歌詞。 4. 審核和編輯:檢查AI生
Thumbnail
使用人工智慧生成模型可以創作各種媒體內容,MusicGen Web 是一個基於瀏覽器的免費 AI 音樂生成工具,訪問網頁,輸入文字描述即可創作獨特的音樂,包括流行、爵士、電子、古典等多種風格。
Thumbnail
Suno AI 是一款基於人工智能的音樂生成工具,使用深度學習技術訓練出的人工神經網絡模型,能讓任何人免費使用文字描述生成對應的音樂作品。本文介紹了Suno AI的特點、用法、影響和用途,並展望了人工智能在音樂創作中的潛在作用。
Thumbnail
之前有介紹過 Suno AI 工具,只需要輸入文字就能生成音樂,今天要跟你介紹另一款生成音樂工具「Image to Music」,只要上傳圖片,AI會根據你圖片的內容,生成符合圖片的音樂,更棒的是不用登入且沒有使用次數限制,操作非常簡單好上手,讓你可以盡情享受創作的樂趣。
Thumbnail
樂點APP 利用全球首創的AI技術,讓人人都能輕鬆做出自己的歌曲,並合成MV上架、最後利用區塊鏈存取歌曲版權進行變現。 是款利用AI技術作曲的APP,有興趣的朋友可以下載來試試看。 這篇新聞,是關於AI創作延伸的著作權歸屬等相關問題。
Thumbnail
Suno 是一款免費的 AI 音樂生成工具,只要輸入文字就能輕鬆作曲,無論是英文、中文歌曲,都能依照指定風格生成一首歌曲,最近開放 V3 模型,可以使用V3 模型生成 2 分鐘的歌曲,沒有任何音樂知識,也能輕鬆創作。
Thumbnail
創作過程 昨天,我投入了大量時間和精力,使用不同的詩詞生成工具,想要創作一首歌。但大多數生成的歌曲都不符合我的預期,因為調性不合,根本無法使用。白白浪費了許多AI點數。 最後,我從一個詩詞生成工具中得到了一首還算合適的歌曲。但它的缺點是拍子很特別,都是搶拍的唱法,在下點的時候很難抓准。不過,這也
Thumbnail
微軟攜手音樂創作領域的人工智慧新創Suno AI,微軟把Suno AI的音樂創作技術整合到自家大熱聊天機器人Copilot中,只要在輸入框中輸入想要生成的音樂主題或風格,Copilot就能為你創作一首帶有歌詞、人聲及伴奏的音樂。