之前 OpenAI 發表了文字生成影片的 Sora 模型,Google 最新推出的 Veo 也是文字轉影片的模型,現在 Deam Machine 開放一款可以用文字生成影片的 AI 工具《Luma AI》,只要提供文字或照片,就可以幫你生成 5 秒鐘的動態影像。
先給大家看看效果,下面這是我用 Luma AI 生成一個老虎在雪地上行走的影片,效果非常真實。
Luma AI 註冊、使用限制
Luma AI 目前只能透過 Google 帳號來加入,而且每一個 Google 帳號每天只能夠生成 5 個影片,每個月最多 30 部影片。
後來我覺得每天 5 個影片真的很不夠,因為每次生成的影片都會讓你有驚喜感,就會想試試看更多不同的文字或照片,所以如果想要用 Luma AI 生成更多的影片,就必須要註冊多個 Google 帳號來切換使用,或者是訂閱 Luma AI 的付費方案,一共有:
- 標準方案:每月 23.99 美元/年繳,額外生成 120 部影片
- 專業方案:每月 79.99 美元/年繳,額外生成 400 部影片
- 進階方案:每月 399.99 美元/年繳,額外生成 2,000 部影片
Luma AI 用文字生成影片教學
我會把 Luma AI 的連結放在文章後面,大家看完介紹以後如果覺得有興趣的話就可以順便連過去試玩。
註冊完畢以後,直接在畫面上的提示框中輸入你想要生成的提示就可以了,越簡單的提示、越單純的內容,影片生成的時間越快;如果內容較為複雜還有故事性的話,可能需要等 5 分鐘以上才會出現。
例如上面那個老虎的影片,我就只輸入了「a tiger on the snow」,大概一分鐘左右就生成完畢了。
下面生成一個在床上的女孩,很有美式電影的風格。
而且輸入的指令也支援中文,用中文輸入也是可以生成影片,但是解析時間好像會比較久一點點,但是效果依然不錯。
例如我輸入的 Prompt 是「背著書包的女高中生」,就出現了下面這樣的影片,依然很美式校園電影風。
Luma AI 用照片生成影片教學
Luma AI 另外一個強項是用照片生成影片。
如果你玩了幾次文字生成影片後,你會發現有時候利用文字生成的影片畫質會比較模糊,例如下面這個我想要做一個刺客暗殺的故事,結果畫面很模糊,人物的動態也….怪怪的,而且暗殺竟然還帶著一群步伐奇怪的人,像是喝醉酒的大叔似的。
但如果在 Luma AI 的輸入框上傳圖片或照片,就會把這張照片換成 5 秒的影片,而且效果會好非常多,畫質也會大大提升。
下面我把這張刺客教條的宣傳照丟到 Luma AI 裡面去。
Luma AI 生成的影片中可以看到中間的主角貝辛姆整個就是活起來了,而且我沒有下任何的提示(有時候我覺得沒有下提示反而效果較好)
不過你會注意到後面他手上的刀突然不見了,這就是目前影片生成依然會存在的一些 Bug。
或者你也可以把自己出遊的照片丟給 Luma AI,讓他幫你把照片變成動態的影片。下面這是我上次去日本吉卜力公園拍的一張照片。
Luma AI 幫我做成了有在運鏡的效果。
甚至是請 ChatGPT 先幫你生成一張你想要的圖片,例如下圖我生成一個日式風格的夏日午後圖片。
然後再透過 Luma AI 讓這張圖片活起來。
上面這個影片我有下指令,針對風箏、人物、樹和雲要加入動態效果,而下面這是同一張照片,但是我沒有給任何指令的結果。
這是網友用 Stable Diffusion 生成的照片。
現在才發現原來背景的場景是這個樣子。
Luma AI 用文字、照片生成影片心得
👉 Luma AI 官網連結:請點此
雖然說 Luma AI 生成的影片還是有些缺憾,例如文字生成的影片可能會遇到畫質不好的問題,圖片生成的影片可能會遇到變形、物件消失的問題,但是整個大場景和大的動作其實都生成的相當不錯了。
甚至你可以先用 ChatGPT 幫你畫分鏡圖,然後丟到 Luma AI 裡面,可能就可以做出一部影片、一部 Previs 預覽,幫助影像製作的團隊在溝通上有更好的共識。
而且每次生成出來的效果都不同,會讓人很想要一直丟不同的東西進去看看會有什麼效果,推薦給大家玩看看。