AI影片其實不是新話題了,但以前試玩過一陣子的體驗都不是很好,以前的AI影片只要生出來的結果不要太扭曲就算是好工具了,其實很難把那些歪歪扭扭的結果稱為"影片"
至於以前的工具到底有多難用,可以稍微參考一下我以前的文章:
Moonvalley,一個簡單的AI影片生成工具。(文字生影片/動畫,txt to movie/anime)AnimateDiff:AI動畫試作品:我推的孩子-星野愛-主題曲OPMV-(YOASOBIアイドル)
直至近期,突發奇想試用了一些新工具,才發現AI影片又有了飛躍性的進步,令我十分驚喜,但回頭看看我那些有關AI影片的文章日期,已經是一年多前的事了,都過這麼久了,技術能有這麼大的進步其實也不算奇怪。
以下是一個簡單的範例,我隨性的把各個AI工具的成品結合起來,並沒有花太多時間打磨:
圖片生成:tensor art
影片生成:tensor art+可靈Kling+海螺Hailuo
背景歌曲/音樂生成:Suno
剪輯工具:剪映
要注意的是這個範例主要使用到的是"單張圖片生成影片"的功能,而不是憑空產出的影片。另外,我手邊的AI影片成品沒有那麼多,所以我還是放了一些靜態圖片充數來湊到3分鐘的片長,必須是影片人物真的有"動"的才是真正的AI影片,如果是只有靜態圖片抖一抖閃一閃的,那個只是用了剪輯工具的特效而已。
以下詳細的羅列一下近期的一些工具試玩心得。
1.Sora
Sora在正式發表前就神神祕祕的放了一堆新聞、預告、業配,大家都對它充滿了幻想,甚至還有些業配被爆出是拿人工處理過的漂亮影片充數,經過一番風風雨雨,直至接近2024年底才得以正式公開使用。
以下放個我隨手試玩的結果:
Sora這個程度算是令人驚艷了,單靠簡單的文字就可以憑空生出十分寫實又生動的影片,以往AI影片那種略顯僵硬的AI味也少了很多。
但Sora仍有進步空間,雖然靜態畫面還能看,但較激烈的動作仍然會有問題,例如範例影片中的第二個片段,人物轉動身體的畫面看似自然,其實是"身體"與"頭"各轉各的,活像恐怖片。
而且我的生成結果跟官方廣告有很大的差距,範例影片中那些人物轉動,樹葉花瓣飛揚的片段,其實是想要試著做出官方廣告中的感覺...但顯然完全沒得比,官方影片可能是萬中選一的精華結果,或者是官方對於prompt的編寫更專業。
官方廣告:
另外,Sora也跟AI繪圖一樣,要對prompt做多次的修改嚐試再加上隨機抽卡的好運氣之後,才有機會產出自己想要的成品,需要一直重試並不是什麼大問題,大多數AI工具都有這種隨機性,真正的問題是它使用成本太高。
AI影片的生成時間必然比AI圖片還要慢很多,時間成本也不容忽視,但更重要的是金錢成本,首先,Sora必須是ChatGPT的訂閱會員才能夠使用,普通訂閱會員約台幣六百多元,但並不是訂閱後就無限使用,它只有給固定的"每月"額度,這個月的額度用完就要等到下個月才能再重新補充,並且目前沒有任何額外儲值的手段。
每月額度大約可以生成幾十部影片,看似很多,但畢竟它沒有厲害到一次生成就ok,在不斷重試的過程中很快就會把幾十部影片的額度用完了,以我為例,我在幾個小時內就把整個月的額度都用光了,並且仍然沒有生出我想要的結果。
如果是專業級訂閱會員的話,每月額度會更多一些,並且會多出一些專業功能,例如普通會員單一片段是解析度720P,片長最多10秒,而專業會員可以到1080P 20秒,但專業會員的月費就要來到台幣六千多元了,並且仍然無法無限使用Sora。
Sora的可玩性很高,它內建了類似影片剪輯軟體的完整功能,並且也有AI繪圖和圖片生影片等各種功能,但目前這種經營模式我是覺得很難玩,主要是每月額度太少,並且也不能主動儲值,當月額度用完就一定要等到下個月,但就算它真的可以額外儲值我預估價格也不會太低。
2.可靈Kling
這算是近期讓我最驚艷且愛用的工具之一了,我主要使用到的是"圖片轉影片"的功能,多數的影片生成都可以一次成功,不用再一再重試,prompt也不用寫太長,重點式的寫出你的需求它就能懂了。
初次試用時,我本來沒什麼期待,因為我對AI影片還保留在以前那種歪歪扭扭的印象,我隨手上傳一張圖片,連promtp都隨便抄別人的,當時想說隨便玩玩就好,反正八成會是失敗品,想不到一試成主顧,這種基底圖片跟prompt亂湊的指令它竟然也能生出一段生動的影片,當下就決定把這網站列為我的日常工具之一了。

與多數AI網站雷同,可靈並非只有單一功能,它是一個整合式的網站,它包含了AI繪圖,影片剪輯,AI對嘴,AI音效等週邊工具,可玩性跟可研究性很高。
免費會員有每月固定額度可試用,但因為影片成功率很高,所以需求不大的情況下,免費額度也還算夠用,它可以成為訂閱會員,訂閱會員除了有每月固定額度之外也會多一些專業功能,也能夠另外再儲值,算是常見的營利方式,這種付費方式再怎麼說總是比Sora那種想花錢多玩還不准的方式正常。
可靈在功能上我給予高度贊賞,它生成的是真正的動畫,而不是以前那種只能把靜態畫面稍微抖一抖扭一扭的假影片。
但它跟海螺一樣是對岸團隊的網站,敏感人士也許會有點介意。
3.海螺Hailuo
海螺是一個與可靈十分相似的AI影片網站,但若要論可用性的話,我還是覺得可靈好點,海螺比較難產出生動華麗的影片,比較偏重於靜態畫面的鏡頭位移,例如視角往前往後,放大縮小等等,圖片本體還是偏靜態,並且變化較大的畫面也容易生出一些奇怪的結果。它對於prompt的理解度不如可靈,例如我希望"眼睛有一些顏色變化",它就真的照字面意義給我把人物的眼睛變成七彩霓虹燈。
以下一些海螺的失敗片段:
當然我不排除在prompt上精心設計並多次嚐試後,海螺也許有機會生出更漂亮的影片,但我的觀念是既然都要用到AI這種自動化工具了,若還需要人工瘋狂打磨,死纏爛打的試錯就沒意義了,目前來說,我會給海螺「也許有潛力,但易用性較低」的這個評價。
海螺的網頁結構,功能性和收費方式都跟可靈極為類似,算是目前多數AI網站的營運方式,此處不再多做介紹。
4.tensor art
tensor art我已經不只介紹過一次了,它的發展與變化比我預想的還要好,我原本只把它當做一個單機stable diffusion的網頁替代品,但漸漸的它已經不再是一個替代品了,它發展成各式最新AI工具的集成網站,並且更新速度極快,我使用它的時間已經遠遠超過單機版的stable diffusion了,有空時我會願意再寫一篇文章來介紹它。
不免俗的還是放一下我自己的推薦註冊連結,原本從推薦連結註冊的會員會額外贈送100點,但現在已經變50點了,其實50點不多,但就是有比沒有好的程度:
https://tensor.art/images/623842565503864142?post_id=623844274896658786&source_id=nzy2oFnrnEGypvIrbHfz-hQm
我文章開頭AI影片範例中的多數圖片基底都是靠tensor art產出的,當然tensor art也整合了AI影片的功能,包括了文字生影片與圖片生影片。
tensor art的主軸是AI繪圖,我以前也介紹過了,我這次主要想提的是AI影片功能。
tensor art包含了多種AI影片模組,若是選擇正確的話,生成結果也很好,但目前圖片解析度與影片解析度是固定的,實際支援的解析度視你選擇的影片模組而定,而影片比例也是固定的,依影片模組的不同會有不同的比例可選,但都是固定的幾個值,例如3:2,1:1等等。
若傳入的基底圖片較大就會被自動裁切成固定比例並降低解析度,而生成的影片不論是選擇哪個模組,解析度都不會太高,大約介於700P至1000P之間,以文章開頭的AI影片範例來說,畫質明顯較糊,顆粒感較明顯的片段就是由tensor art產出的,可以看出tensor art生成的動態內容是可以接受的,人物動作都很自然,足與可靈相比,就是解析度太低是個硬傷。
如果是使用可靈或海螺在解析度方便就沒有這麼多的限制,圖片傳什麼它就產什麼,tensor art目前只能說是堪用。

5.Suno
我範例影片中的所有音樂與歌曲都是靠Suno生成。
Suno是一個AI音樂生成工具,promtp中英文皆可,可以生成純音樂,也可以生成歌曲,歌詞可自動生成也可以自訂義。
可以簡單的靠一段promtp來生成整首歌詞,也可以做一些細步微調。
Suno有附簡單AI繪圖可以生成專輯封面,也有音樂剪輯功能。

免費會員一天有50點,每次生成扣10點並生成2首歌,也就是說一天可以製做5次共10首歌。
對於我這種音癡來說,我對音樂的要求就是氛圍對然後不難聽就行了,在這個標準下,一天50點算是夠了,但若真的是醉心於音樂並且愛玩音樂的人,自然是必須付費才能夠有足夠的額度。
Suno不是唯一的AI音樂網站,但他每天都可以生成10首歌算是相對大方的了,有些網站在試用額度用完之後就必須花錢儲值了。
除了Suno還有很多風格各不相同的AI音樂網站,真的對AI音樂十分狂熱的話可以每種都去玩玩看。
Suno給我的感覺是不用花太多心思,生出來的音樂都還不錯,但其實可控性不高,在prompt中給定整體大方向的曲風、氛圍的述詞它可以理解:例如中國風,搖滾風,史詩交響樂,恐怖音樂,快樂音樂這種粗略的prompt它可以理解。但若是指定的細部一點,例如指定「只要二胡,不要其它樂器」這樣子它就不懂了。
另外,雖然它確實能生成中國曲風,但對於二胡或嗩吶這類中國樂器它似乎完全不認識,至少我試了幾次,中英文prompt都試過,它仍然沒有出現二胡或嗩吶的音樂。
因此,我會判斷Suno的背後運作可能是有一個固定的模板,這個模板紀錄了什麼樣的音樂曲調會讓大多數的人類覺得好聽,它生成音樂時就照著這個模板去運作,並且使用者不論輸入什麼prompt都不得脫離這個完美模板的界限,所以才會有這種生成結果大致都不錯,但細部可控性不高的感覺。
音樂我是外行,所以就是簡單介紹一下這個工具,Suno算是一個流行且知名度高的工具之一,既然能成為主流想必是有它的原因在。
結論:
以前的AI影片工具生成結果多數慘不忍睹,不然就是根本沒在動的假影片,所以我對AI影片沒留下什麼好印象,但目前的AI影片已經進步很多了。實際上,不只AI影片,各式AI工具都以肉眼可見的速度在快速成長。
然而,說實話,即使進步很多了,AI影片也還只是一個有趣又方便的玩具,雖然現在能夠生成動態明顯且動作無誤的影片已經是很厲害了,但光是這樣的影片要實用甚至商用,仍然不夠。
多數的AI影片工具都只能生成5~10秒的單段影片,所以你能發現很多AI影片成品都是一堆畫面劇情無法連貫的短片段組成的,並且AI味還是很重。
即使有些手段可以把單一5秒片段再往下延伸,湊出更長的時數,但基本上那種AI味是改不掉的。
另外,雖然生成內容的正確率比較高了,但AI影片仍然只擅長文靜緩慢的畫面,若真的要激烈的舞刀弄劍,打架戰鬥的話...還是有點太勉強它了。
目前Youtube上已經有很多AI影片可以看了,有的甚至能夠組成一個有劇情的小短片,但你完全可以看出這些AI影片跟真人電影或是卡通動畫完全不同,人物動作幅度通常不會太大,動作也緩慢,運鏡方面也同樣是和緩偏靜態的,看著是很有趣,但拿真正的電影或動畫來比還有很大的一段距離。
但我相信末來這些技術都還會再進步,這些工具給我們這些這輩子都拍不了電影做不了動畫的平凡人們一個做夢的機會。