前陣子 Meta AI(就是 FB 那個 Meta)宣布推出「MusicGen」音樂生成模型,用戶只要透過文字敘述(給 Prompt)就能製作出一段音樂或是改編現有音樂的曲風。
目前 MusicGen 除了在 Github 上開源外,也提供線上版讓普通用戶能夠輕鬆體驗,就來跟大家分享如何使用 MusicGen 製作一小段屬於自己的音樂。
MusicGen:Meta AI 開發的音樂生成模型
MusicGen 是一個單級自我回歸 Transformer 模型,透過 32kHz 的 EnCodec tokenizer 進行訓練、使用 4 個以 50Hz 取樣的 codebooks;能允許用戶透過文字或加入現有音樂片段來創造一段約 12 秒的音樂。
Meta AI 使用約 2 萬小時的音樂對 MusicGen 進行訓練,其中包含 1 萬首的內部音樂與其他來自 ShutterStock 和 Pond5 的授權音樂。
雖說音樂生成 AI 也不是新東西,不過 Meta AI 表示 MusicGen 因為採用不同的技術,因此與其他現有的音樂生成 AI 相比(例如 Google MusicLM、Riffusion、Musai),能產出更符合用戶要求的結果,對此有興趣的用戶可以參考以下官方說明:
- MusicGen: Simple and Controllable Music Generation
目前 MusicGen 有在 Github 上開源、同時也提供線上版可以用,讓普通用戶也能輕鬆體驗 AI 做音樂的樂趣,下面就來帶大家試做 MusicGen 線上版。
MusicGen 線上版使用教學
首先進入 MusicGen 的線上版(點這邊)。會看到中間有 3 個區塊,由左到右分別是:輸入關鍵字、上傳音樂、音樂生成區。
使用方式非常簡單,主要有以下 2 種功能:
- 單純創造音樂:在左邊的框框輸入「英文」關鍵字 > 按下「Generate」。
- 改編現有音樂的曲風:在中間框框上傳要改編的音樂 > 左邊框框輸入「英文」關鍵字 > 按下「Generate」。
如果臨時想不到要輸入哪些關鍵字,那 ChatGPT 就是你的好幫手!像是可以參考我下的指令讓 ChatGPT 幫你想關鍵字,例如:
指令:我現在想用生成式 AI 做一首音樂,風格為嘻哈曲風,你請給我幾個提示詞或形容詞
ChatGPT:當然可以,以下是一些可能的提示詞或形容詞
- 街頭
- 自由風格 (Freestyle)
- 節奏感 (Rhythmic)
- 叛逆
- 生活寫實
- 說唱 (Rap)
- 城市
- 粗糙與優美並存
- 即興 (Improvisation)
- 音樂押韻 (Rhyming)
這些詞可以用來形容嘻哈音樂的一些元素,並且可能對於你的生成式 AI 創作音樂有所幫助。
下方也會有一些範例給你參考,點擊就能直接套用。
前置作業都準備就緒後按下「Generate」,右邊的框框就會開始生成音樂,右上角會顯示預計生成時間(每次時長都不太一樣,但有時會超過,反正等就對了)。
等看到波形圖後代表生成完畢,會有一段約 15 秒左右的音樂,可以直接試聽或是下載。
這邊也來給大家聽一下 MusicGen 的作品,關鍵字皆為:Hip Hop、Chill、Trap。
單純做音樂
改編現有音樂曲風
改編的原曲為 YouTube 音樂庫的「Little Fish – Quincas Moreira」,以下為原曲:
改編後:
MusicGen 音樂生成 AI 總結
以上就是 MusicGen 的介紹與簡單使用教學,老實說我覺得 MusicGen 確實蠻厲害的,不只能在音樂中聽到關鍵字的元素,還能把風格相反的元素毫無違和感的融合在一起,真的再次見識到 AI 的強大,很有趣,推薦大家也來玩玩看。
至於音樂授權的話,單純以關鍵字創造音樂應該是沒什麼太大的問題,畢竟官方是用內部的音樂資料庫與授權音樂進行訓練;但如果是改編現有音樂曲風,雖然有加入新元素讓聽感變的比較特殊,但是基礎旋律並沒有變(從上面的示範作品可以知道),可能會有侵權疑慮,請各位要特別注意。