今天來介紹一個小玩具,可以簡單的以文字生成影片。
AI影片的生成工具已經發展一段時間了,但以往的效果都不太好,所以我一直都沒介紹。而今天介紹的這個Moonvalley總算是可以無中生有的以純文字來產生短影片了,而且效果還算不錯。不需要安裝,也不用特別的設置,直接連上discord即可使用。
我個人將AI影片的發展大致分成三個時期,就我看來它已經發展了三個世代,但目前仍然是在很早期的發展階段,實用度相對較低,AI影片的精緻度跟一般AI繪圖是完全無法互相比較的,AI影片還有很大的改善空間,目前就是圖個有趣好玩的程度罷了。
在AI影片初次出現時,還無法憑空產出影片,而是必須給予一段影片當做基礎,再藉由AI將這段影片轉化成另一種動畫風格而已。這背後的原理其實很簡單,就是把影片的每個影格抽取出來做圖生圖的動作,完成後再把所有的生成圖片組回去成為一個影片,算是土法煉鋼的做法,而且效果不好,因為與AI繪圖時的狀況相同,每格影片元素都具有不可控的隨機性,這造成畫面閃爍,扭曲,內容置換錯誤等狀況。例如gif2gif就是這類工具,除了gif2gif之外還出現過很多類似的小工具,但那些只是過渡時期的小玩意,其實也不需要深究了。
那些工具我基本是完全沒碰的,所以在此只能上傳別人的生成影片做為範例了,值的注意的是這個影片的畫面算是很穩定也沒有扭曲的太嚴重,作者肯定花了非常多的心思在調整:
當AI影片再進步一點時,出現了可以用單張圖片做為基礎幫你延伸生成動畫的技術了,但此時的生成效果還是不太好,它不會有太豐富的效果,就是很單調的把那張圖的視角及物件稍微抖一抖動一動而已,當然從科技面來看,AI能做到這樣也是很驚人的了,畢竟它是完全不用人工介入就可以理解這個畫面應該要怎麼抖怎麼動。但做為使用者來說,這種成果實在是非常無聊,圖片是會動了,但稱不上是真正的動畫。
為了幫助各位理解我說的「只是把靜態圖片稍微抖一抖,動一動」是什麼意思,我在此上傳一個範例:
再往下發展,終於出現真正可以無中生有的文字生成動畫了,在初期使用門檻非常高,prompt要填入非常複雜的數學函式,對於一般人來說完全無法理解與使用,再往下發展才出現一些較友善的工具,可以使用類似AI繪圖的prompt來生成影片。
在前兩個時期都僅僅是把基底影片或圖片變成另一種風格而已,直到現在,可以無中生有的以文字生成影片的階段才算是有了自由創作的樂趣。
但這時的難處就是圖像本身的品質問題了,現在確實可以用純文字生成影片了,但生成結果不太穩定,常常生出歪歪扭扭的醜八怪,以下是其中一個範例:
我上面提到的圖片生影片或是文字生影片,在runway這個網站都可以玩到,雖然這網站不是我今天要談的重點,但這也是個討論度很高並且還在發展中的網站,有興趣可以關注一下,但要注意,它的免費試玩額度是有限的,且玩且珍惜。
我今天會想介紹Moonvalley的原因很簡單,第一是他簡單易用,第二是目前完全免費,第三是它的生成結果已經算是水準之上了。其實免費是最大的重點,因為這類工具目前都只能算是玩具程度而已,我隨便摸個幾下生幾段醜影片就要收我的錢我可無法接受。
當然我也必須承認,即使是Moonvalley也還有很大的進步空間,太激烈的畫面仍然可能有扭曲閃爍的狀況,但在較靜態的畫面生成結果已經算是很美形了。
使用方式很簡單,直接進入網站:
接著點擊Try the beta,接著會自動進入Discord介面即可使用,使用原則與MidJourney類似,至於Discord怎麼使用算是很基礎的我就不多說了。
進入Discord介面後,點選Moonvalley頻道裡的任一個new-mooon房間:
輸入指令/create就會自動跳出輸入介面,總共有三個項目要填:
prompt:填入要生成影片的指導文字
style:圖片風格,這邊是選單式的直接點選即可,總共有五種風格。
duration:影片長度,也是選單式的,共有三種長度,越久的影片生成時間越久。但就算是最長的影片也只有三秒而已。
再往下還有其它更細部的項目可以設定,有興趣的可以再往下研究。
以下也提供一段Moonvalley的生成範例,裡面包含了三段影片,前兩段是較為靜態的可以看出生成結果很穩定,並且不需要基礎圖片生出的人物外觀也很正常,而最後一段是較為動態的,可以發現扭曲變形的症狀仍然是有,但它已經算是相對表現不錯的了。
我個人的建議也是把Moonvalley當玩具玩玩就好,不用太認真,因為這還不是AI影片的終點,它仍然在發展中。