AI影片工具雜談:Sora/tensor art/可靈Kling/海螺Hailuo/Suno

更新於 發佈於 閱讀時間約 13 分鐘

AI影片其實不是新話題了,但以前試玩過一陣子的體驗都不是很好,以前的AI影片只要生出來的結果不要太扭曲就算是好工具了,其實很難把那些歪歪扭扭的結果稱為"影片"

至於以前的工具到底有多難用,可以稍微參考一下我以前的文章:

Moonvalley,一個簡單的AI影片生成工具。(文字生影片/動畫,txt to movie/anime)

AnimateDiff:AI動畫試作品:我推的孩子-星野愛-主題曲OPMV-(YOASOBIアイドル)

直至近期,突發奇想試用了一些新工具,才發現AI影片又有了飛躍性的進步,令我十分驚喜,但回頭看看我那些有關AI影片的文章日期,已經是一年多前的事了,都過這麼久了,技術能有這麼大的進步其實也不算奇怪。

以下是一個簡單的範例,我隨性的把各個AI工具的成品結合起來,並沒有花太多時間打磨:

圖片生成:tensor art

影片生成:tensor art+可靈Kling+海螺Hailuo

背景歌曲/音樂生成:Suno

剪輯工具:剪映

要注意的是這個範例主要使用到的是"單張圖片生成影片"的功能,而不是憑空產出的影片。另外,我手邊的AI影片成品沒有那麼多,所以我還是放了一些靜態圖片充數來湊到3分鐘的片長,必須是影片人物真的有"動"的才是真正的AI影片,如果是只有靜態圖片抖一抖閃一閃的,那個只是用了剪輯工具的特效而已。


以下詳細的羅列一下近期的一些工具試玩心得。

1.Sora

Sora在正式發表前就神神祕祕的放了一堆新聞、預告、業配,大家都對它充滿了幻想,甚至還有些業配被爆出是拿人工處理過的漂亮影片充數,經過一番風風雨雨,直至接近2024年底才得以正式公開使用。

以下放個我隨手試玩的結果:

Sora這個程度算是令人驚艷了,單靠簡單的文字就可以憑空生出十分寫實又生動的影片,以往AI影片那種略顯僵硬的AI味也少了很多。

但Sora仍有進步空間,雖然靜態畫面還能看,但較激烈的動作仍然會有問題,例如範例影片中的第二個片段,人物轉動身體的畫面看似自然,其實是"身體"與"頭"各轉各的,活像恐怖片。

而且我的生成結果跟官方廣告有很大的差距,範例影片中那些人物轉動,樹葉花瓣飛揚的片段,其實是想要試著做出官方廣告中的感覺...但顯然完全沒得比,官方影片可能是萬中選一的精華結果,或者是官方對於prompt的編寫更專業。

官方廣告:


另外,Sora也跟AI繪圖一樣,要對prompt做多次的修改嚐試再加上隨機抽卡的好運氣之後,才有機會產出自己想要的成品,需要一直重試並不是什麼大問題,大多數AI工具都有這種隨機性,真正的問題是它使用成本太高

AI影片的生成時間必然比AI圖片還要慢很多,時間成本也不容忽視,但更重要的是金錢成本,首先,Sora必須是ChatGPT的訂閱會員才能夠使用,普通訂閱會員約台幣六百多元,但並不是訂閱後就無限使用,它只有給固定的"每月"額度,這個月的額度用完就要等到下個月才能再重新補充,並且目前沒有任何額外儲值的手段。

每月額度大約可以生成幾十部影片,看似很多,但畢竟它沒有厲害到一次生成就ok,在不斷重試的過程中很快就會把幾十部影片的額度用完了,以我為例,我在幾個小時內就把整個月的額度都用光了,並且仍然沒有生出我想要的結果。

如果是專業級訂閱會員的話,每月額度會更多一些,並且會多出一些專業功能,例如普通會員單一片段是解析度720P,片長最多10秒,而專業會員可以到1080P 20秒,但專業會員的月費就要來到台幣六千多元了,並且仍然無法無限使用Sora。

Sora的可玩性很高,它內建了類似影片剪輯軟體的完整功能,並且也有AI繪圖和圖片生影片等各種功能,但目前這種經營模式我是覺得很難玩,主要是每月額度太少,並且也不能主動儲值,當月額度用完就一定要等到下個月,但就算它真的可以額外儲值我預估價格也不會太低。

2.可靈Kling

這算是近期讓我最驚艷且愛用的工具之一了,我主要使用到的是"圖片轉影片"的功能,多數的影片生成都可以一次成功,不用再一再重試,prompt也不用寫太長,重點式的寫出你的需求它就能懂了。

初次試用時,我本來沒什麼期待,因為我對AI影片還保留在以前那種歪歪扭扭的印象,我隨手上傳一張圖片,連promtp都隨便抄別人的,當時想說隨便玩玩就好,反正八成會是失敗品,想不到一試成主顧,這種基底圖片跟prompt亂湊的指令它竟然也能生出一段生動的影片,當下就決定把這網站列為我的日常工具之一了。

raw-image

與多數AI網站雷同,可靈並非只有單一功能,它是一個整合式的網站,它包含了AI繪圖,影片剪輯,AI對嘴,AI音效等週邊工具,可玩性跟可研究性很高。

免費會員有每月固定額度可試用,但因為影片成功率很高,所以需求不大的情況下,免費額度也還算夠用,它可以成為訂閱會員,訂閱會員除了有每月固定額度之外也會多一些專業功能,也能夠另外再儲值,算是常見的營利方式,這種付費方式再怎麼說總是比Sora那種想花錢多玩還不准的方式正常。

可靈在功能上我給予高度贊賞,它生成的是真正的動畫,而不是以前那種只能把靜態畫面稍微抖一抖扭一扭的假影片。

但它跟海螺一樣是對岸團隊的網站,敏感人士也許會有點介意。

3.海螺Hailuo

海螺是一個與可靈十分相似的AI影片網站,但若要論可用性的話,我還是覺得可靈好點,海螺比較難產出生動華麗的影片,比較偏重於靜態畫面的鏡頭位移,例如視角往前往後,放大縮小等等,圖片本體還是偏靜態,並且變化較大的畫面也容易生出一些奇怪的結果。它對於prompt的理解度不如可靈,例如我希望"眼睛有一些顏色變化",它就真的照字面意義給我把人物的眼睛變成七彩霓虹燈

以下一些海螺的失敗片段:

當然我不排除在prompt上精心設計並多次嚐試後,海螺也許有機會生出更漂亮的影片,但我的觀念是既然都要用到AI這種自動化工具了,若還需要人工瘋狂打磨,死纏爛打的試錯就沒意義了,目前來說,我會給海螺「也許有潛力,但易用性較低」的這個評價。

海螺的網頁結構,功能性和收費方式都跟可靈極為類似,算是目前多數AI網站的營運方式,此處不再多做介紹。

4.tensor art

tensor art我已經不只介紹過一次了,它的發展與變化比我預想的還要好,我原本只把它當做一個單機stable diffusion的網頁替代品,但漸漸的它已經不再是一個替代品了,它發展成各式最新AI工具的集成網站,並且更新速度極快,我使用它的時間已經遠遠超過單機版的stable diffusion了,有空時我會願意再寫一篇文章來介紹它。

AI繪圖-總結那些2024年我仍然推薦的7個AI繪圖工具

不免俗的還是放一下我自己的推薦註冊連結,原本從推薦連結註冊的會員會額外贈送100點,但現在已經變50點了,其實50點不多,但就是有比沒有好的程度:

https://tensor.art/images/623842565503864142?post_id=623844274896658786&source_id=nzy2oFnrnEGypvIrbHfz-hQm

我文章開頭AI影片範例中的多數圖片基底都是靠tensor art產出的,當然tensor art也整合了AI影片的功能,包括了文字生影片與圖片生影片。

tensor art的主軸是AI繪圖,我以前也介紹過了,我這次主要想提的是AI影片功能。

tensor art包含了多種AI影片模組,若是選擇正確的話,生成結果也很好,但目前圖片解析度與影片解析度是固定的,實際支援的解析度視你選擇的影片模組而定,而影片比例也是固定的,依影片模組的不同會有不同的比例可選,但都是固定的幾個值,例如3:2,1:1等等。

若傳入的基底圖片較大就會被自動裁切成固定比例並降低解析度,而生成的影片不論是選擇哪個模組,解析度都不會太高,大約介於700P至1000P之間,以文章開頭的AI影片範例來說,畫質明顯較糊,顆粒感較明顯的片段就是由tensor art產出的,可以看出tensor art生成的動態內容是可以接受的,人物動作都很自然,足與可靈相比,就是解析度太低是個硬傷

如果是使用可靈或海螺在解析度方便就沒有這麼多的限制,圖片傳什麼它就產什麼,tensor art目前只能說是堪用。

raw-image

5.Suno

我範例影片中的所有音樂與歌曲都是靠Suno生成。

Suno是一個AI音樂生成工具,promtp中英文皆可,可以生成純音樂,也可以生成歌曲,歌詞可自動生成也可以自訂義。

可以簡單的靠一段promtp來生成整首歌詞,也可以做一些細步微調。

Suno有附簡單AI繪圖可以生成專輯封面,也有音樂剪輯功能。

raw-image

免費會員一天有50點,每次生成扣10點並生成2首歌,也就是說一天可以製做5次共10首歌。

對於我這種音癡來說,我對音樂的要求就是氛圍對然後不難聽就行了,在這個標準下,一天50點算是夠了,但若真的是醉心於音樂並且愛玩音樂的人,自然是必須付費才能夠有足夠的額度。

Suno不是唯一的AI音樂網站,但他每天都可以生成10首歌算是相對大方的了,有些網站在試用額度用完之後就必須花錢儲值了。

除了Suno還有很多風格各不相同的AI音樂網站,真的對AI音樂十分狂熱的話可以每種都去玩玩看。

Suno給我的感覺是不用花太多心思,生出來的音樂都還不錯,但其實可控性不高,在prompt中給定整體大方向的曲風、氛圍的述詞它可以理解:例如中國風,搖滾風,史詩交響樂,恐怖音樂,快樂音樂這種粗略的prompt它可以理解。但若是指定的細部一點,例如指定「只要二胡,不要其它樂器」這樣子它就不懂了。

另外,雖然它確實能生成中國曲風,但對於二胡或嗩吶這類中國樂器它似乎完全不認識,至少我試了幾次,中英文prompt都試過,它仍然沒有出現二胡或嗩吶的音樂。

因此,我會判斷Suno的背後運作可能是有一個固定的模板,這個模板紀錄了什麼樣的音樂曲調會讓大多數的人類覺得好聽,它生成音樂時就照著這個模板去運作,並且使用者不論輸入什麼prompt都不得脫離這個完美模板的界限,所以才會有這種生成結果大致都不錯,但細部可控性不高的感覺。

音樂我是外行,所以就是簡單介紹一下這個工具,Suno算是一個流行且知名度高的工具之一,既然能成為主流想必是有它的原因在。

結論:

以前的AI影片工具生成結果多數慘不忍睹,不然就是根本沒在動的假影片,所以我對AI影片沒留下什麼好印象,但目前的AI影片已經進步很多了。實際上,不只AI影片,各式AI工具都以肉眼可見的速度在快速成長。

然而,說實話,即使進步很多了,AI影片也還只是一個有趣又方便的玩具,雖然現在能夠生成動態明顯且動作無誤的影片已經是很厲害了,但光是這樣的影片要實用甚至商用,仍然不夠。

多數的AI影片工具都只能生成5~10秒的單段影片,所以你能發現很多AI影片成品都是一堆畫面劇情無法連貫的短片段組成的,並且AI味還是很重。

即使有些手段可以把單一5秒片段再往下延伸,湊出更長的時數,但基本上那種AI味是改不掉的。

另外,雖然生成內容的正確率比較高了,但AI影片仍然只擅長文靜緩慢的畫面,若真的要激烈的舞刀弄劍,打架戰鬥的話...還是有點太勉強它了。

目前Youtube上已經有很多AI影片可以看了,有的甚至能夠組成一個有劇情的小短片,但你完全可以看出這些AI影片跟真人電影或是卡通動畫完全不同,人物動作幅度通常不會太大,動作也緩慢,運鏡方面也同樣是和緩偏靜態的,看著是很有趣,但拿真正的電影或動畫來比還有很大的一段距離。

但我相信末來這些技術都還會再進步,這些工具給我們這些這輩子都拍不了電影做不了動畫的平凡人們一個做夢的機會。




留言
avatar-img
留言分享你的想法!
avatar-img
因人廢言
284會員
91內容數
沙龍自介: 雜文派,舉凡AI介紹、科技新知、廢談網誌、小說動漫通通都寫。雖說如此,但目前以AI與科技類文章為主軸,我也不知道怎麼變這樣的,holy 媽祖。 本人不喜歡看長篇文章,也不擅長寫長篇文章,我的意思是:我的優點是廢話很少,看我一篇文不會花你太多時間。
因人廢言的其他內容
2024/03/19
簡介stable diffusion外掛之一的SadTalker。它能將靜態圖像配合聲音檔轉成對嘴動畫。 同時附上使用範例,惡搞了黃國昌甩蔥歌與川普。
Thumbnail
2024/03/19
簡介stable diffusion外掛之一的SadTalker。它能將靜態圖像配合聲音檔轉成對嘴動畫。 同時附上使用範例,惡搞了黃國昌甩蔥歌與川普。
Thumbnail
2024/02/20
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
Thumbnail
2024/02/20
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
Thumbnail
2024/01/26
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
Thumbnail
2024/01/26
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
Thumbnail
看更多
你可能也想看
Thumbnail
2025 vocus 推出最受矚目的活動之一——《開箱你的美好生活》,我們跟著創作者一起「開箱」各種故事、景點、餐廳、超值好物⋯⋯甚至那些讓人會心一笑的生活小廢物;這次活動不僅送出了許多獎勵,也反映了「內容有價」——創作不只是分享、紀錄,也能用各種不同形式變現、帶來實際收入。
Thumbnail
2025 vocus 推出最受矚目的活動之一——《開箱你的美好生活》,我們跟著創作者一起「開箱」各種故事、景點、餐廳、超值好物⋯⋯甚至那些讓人會心一笑的生活小廢物;這次活動不僅送出了許多獎勵,也反映了「內容有價」——創作不只是分享、紀錄,也能用各種不同形式變現、帶來實際收入。
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
以下分享部分Sora生成式電影的片段截圖,影片擁有者禁止在其他網站播放這部影片! 影片連結可點擊圖片下文字(Tiffany Blue) Sora生成式AI微電影部分片段截圖: 邏輯思考 AI實現人類想像中的畫面 人類的想像畫面被AI實現了 為什麼AI可以實現想像畫面? 為什麼人......
Thumbnail
以下分享部分Sora生成式電影的片段截圖,影片擁有者禁止在其他網站播放這部影片! 影片連結可點擊圖片下文字(Tiffany Blue) Sora生成式AI微電影部分片段截圖: 邏輯思考 AI實現人類想像中的畫面 人類的想像畫面被AI實現了 為什麼AI可以實現想像畫面? 為什麼人......
Thumbnail
之前有寫過一篇 《AI工具│透過AI整合的語音功能 Murf》,近期使用過之後,隨著ChatGPT與相關AI普及之後,新的自動生成網站與工具變得多元了起來。 大多會使用在影片製作中,若缺少的素材,或是想要呈現事件及詼諧感的時候,會加入片段人聲去做效果。 於是決定,統整一下自己最近常用的4個AI語
Thumbnail
之前有寫過一篇 《AI工具│透過AI整合的語音功能 Murf》,近期使用過之後,隨著ChatGPT與相關AI普及之後,新的自動生成網站與工具變得多元了起來。 大多會使用在影片製作中,若缺少的素材,或是想要呈現事件及詼諧感的時候,會加入片段人聲去做效果。 於是決定,統整一下自己最近常用的4個AI語
Thumbnail
這篇文章整理了多種好用的AI工具,涵蓋了聲音與音樂相關的AI、影音、圖像生成編輯工具和AI搜尋引擎等領域,幫助你節省時間和解放創意與生產力。
Thumbnail
這篇文章整理了多種好用的AI工具,涵蓋了聲音與音樂相關的AI、影音、圖像生成編輯工具和AI搜尋引擎等領域,幫助你節省時間和解放創意與生產力。
Thumbnail
與其僅從應用面思考AI,不如瞭解其背後的原理。本文章探討生成式AI的發展及應用,包含使用AI生成文章、影片等的原理和技術。透過AI的世界原理記錄,可以達到應用無窮的效果。
Thumbnail
與其僅從應用面思考AI,不如瞭解其背後的原理。本文章探討生成式AI的發展及應用,包含使用AI生成文章、影片等的原理和技術。透過AI的世界原理記錄,可以達到應用無窮的效果。
Thumbnail
2024 年 2 月,OpenAI 推出了 Sora 文字生成影片模型,該模型根據用戶輸入的文字描述生成逼真的影片,並且能夠控制影片的細節,例如人物、場景、動作、表情等。Sora 的出現無疑為影視創作領域帶來了革命性的變化。
Thumbnail
2024 年 2 月,OpenAI 推出了 Sora 文字生成影片模型,該模型根據用戶輸入的文字描述生成逼真的影片,並且能夠控制影片的細節,例如人物、場景、動作、表情等。Sora 的出現無疑為影視創作領域帶來了革命性的變化。
Thumbnail
如果AI能夠生成高質感的影片,對影視業不啻一場革命。 無需龐大設備和龐大後製團隊,只需要指令,幾分鐘即能輕鬆完成。 這對影視業來說無疑是一場革命。
Thumbnail
如果AI能夠生成高質感的影片,對影視業不啻一場革命。 無需龐大設備和龐大後製團隊,只需要指令,幾分鐘即能輕鬆完成。 這對影視業來說無疑是一場革命。
Thumbnail
股癌24.02.19 *OPEN AI鴨子划水,推出文字轉影片的AI模型Sora。 Sora對物體世界有認知,有望成為真正的世界模型,真正教會AI世界運作的道理,AI教會人類手指動作、玻璃碎掉、光影反射的物理狀況。 --之前的文字轉影片 背景會一直閃、因為模型還沒有算得很準。 *Sora相較
Thumbnail
股癌24.02.19 *OPEN AI鴨子划水,推出文字轉影片的AI模型Sora。 Sora對物體世界有認知,有望成為真正的世界模型,真正教會AI世界運作的道理,AI教會人類手指動作、玻璃碎掉、光影反射的物理狀況。 --之前的文字轉影片 背景會一直閃、因為模型還沒有算得很準。 *Sora相較
Thumbnail
OpenAI 發表的Sora,對於我這個浸淫AI繪圖還有AI產生(基礎的)動畫一段時間的人來說,可以說是非常的震撼。為什麼Sora 跟其他的文字產生影片的工具如Pika 或是 Runway 完全不同呢? 他對我們來說又有什麼意義呢? 這就是這篇文章我們想探討的。
Thumbnail
OpenAI 發表的Sora,對於我這個浸淫AI繪圖還有AI產生(基礎的)動畫一段時間的人來說,可以說是非常的震撼。為什麼Sora 跟其他的文字產生影片的工具如Pika 或是 Runway 完全不同呢? 他對我們來說又有什麼意義呢? 這就是這篇文章我們想探討的。
Thumbnail
AI生成技術領頭羊Open AI又出手了,旗下產品「Sora」有別於Chat GPT,只要給予指令,生產出來的不再只是文字,而是一幕幕需要耗費大量人工努力下產出的產品,所謂大量人工包含了:攝影、剪接、燈光、彩妝、演員、美術道具,甚至導演、製片等等。 而AI只要彈指之間,便能將無形化有形,從無到有
Thumbnail
AI生成技術領頭羊Open AI又出手了,旗下產品「Sora」有別於Chat GPT,只要給予指令,生產出來的不再只是文字,而是一幕幕需要耗費大量人工努力下產出的產品,所謂大量人工包含了:攝影、剪接、燈光、彩妝、演員、美術道具,甚至導演、製片等等。 而AI只要彈指之間,便能將無形化有形,從無到有
Thumbnail
幾天前OpenAI公司發表了全新的「AI生成影片」技術:透過一段簡短的「文字」敘述,讓AI生成一分鐘、1080P畫質的精美逼真影片。 礙於能力時間有限,我只能從使用ChatGPT、Bing這一年來獲得的大量經驗,閱讀研究大量AI相關資料整理的結論,分享AI生成圖片影片對「親密關係」可能帶來的衝擊。
Thumbnail
幾天前OpenAI公司發表了全新的「AI生成影片」技術:透過一段簡短的「文字」敘述,讓AI生成一分鐘、1080P畫質的精美逼真影片。 礙於能力時間有限,我只能從使用ChatGPT、Bing這一年來獲得的大量經驗,閱讀研究大量AI相關資料整理的結論,分享AI生成圖片影片對「親密關係」可能帶來的衝擊。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News