前言
首先,你要明白的是本文中所提到的AI繪圖與AI影片完全是兩件事,不可混為一談。
近期,我較關注的是AI影片的發展,這是一個普遍還不成熟有待成長的領域。
AI繪圖雖然也還持續在進步,並且也一直有新消息新技術釋出,但近期沒有令人太驚奇的消息,因為它已經發展到一個相對成熟且方便的基礎上了。AI繪圖不論是單機軟體或是網頁工具,多數的功能都已經足夠一般人使用了,使用成本也不高,甚至有許多完全免費的選擇。當然AI繪圖即使已經進步的這麼多仍然有進步空間,畢竟目前的AI繪圖還是有隨機失敗隨機抽卡的性質存在,但成品穩定度與品質基本上非常夠用了。許多的多媒體創作者、遊戲、廣告業者等,都已經實際導入AI繪圖的使用了,AI繪圖已經進入真正的實用階段了。再來說回AI影片,看我以前的文章就知道我曾經嚐試過很多AI影片工具,不論是單機版或網頁版的工具都試過,也試出一堆令人失望的妖魔鬼怪。直至近期,AI影片的發展算是勉強堪用了。
會說它勉強堪用,是因為AI影片比起早期各種人物畫面扭曲的慘狀來說,至少目前可以生成明確可觀賞的畫面了,但那股僵硬的AI味還是有,並且隨機的詭異畫面還是常見(例如人物轉頭時可以轉360度)。但即使如此,社群上仍然是有許多人靠著自己的毅力完成具故事性的AI長片了,但觀看之後只能說真的還有進步空間,這不是創作者的錯,是目前的AI技術仍尚待成熟。
目前的這種階段,AI影片僅可自娛,不足以娛人。所以,今天要介紹的這款FramePack應該把它當成自娛的新玩具,不應該把它當成劃時代的重要工具。但FramePack的生成結果比起之前的妖魔鬼怪已經是好太多了,對AI有興趣的同學們都適合來玩玩看。
FramePack與網頁工具的比較
若要拿FramePack跟其餘現成的網頁工具來比較的話,它們的優劣是明顯的。
我近期有寫過一篇AI影片網頁工具的比較,可以來此參考一下:
以AI影片的生成品質來說,這些付費版的網頁工具的生成結果明顯較佳,也比較穩定,FramePack則多少有些生硬。
若要論速度的話,我覺得都算慢,如果自身的電腦顯卡不夠強的話,網頁版的工具就算加上排隊時間可能都還贏一點,我的顯卡是RTX3080 10G,雖然不到頂規,但也至少還算是中上等級的顯卡都覺得慢了,其餘更低階的顯卡肯定是更耗時的。
但FramePack有一個那些付費網站都比不上的優點,就是免費!它的生成品質雖然有待加強,但也堪用了,至少基於「免費」這項無可替代的優點,足以讓你千百次的試玩。
誠如我前段所述,目前的AI繪圖已經是一個很成熟的領域了,免費的工具已經四處都找的到了,就算是付費服務也大多不貴。但AI影片的領域則還沒有這麼多划算又廉價的選擇,正如AI繪圖發展初期的工具都不好用並且昂貴,目前的AI影片也還處在這種混沌時期。
以我長期固定的使用的TensorArt來說,每月數百元的費用已足以讓我畫上千張的圖片。
(TensorArt的推薦註冊連結,可賺50點)
TensorArt是一個自由度高功能也齊全的AI繪圖網站,所以我長期駐足於此,但就算不用TensorArt,其餘費用低廉的AI繪圖網站或APP也是滿坑滿谷的程度了,甚至最簡單的就是ChatGPT的網頁一開就能開始進行有限度的免費AI繪圖了。
同樣花幾百元甚至上千元,這些AI影片的付費工具頂多生成數十個幾秒鐘的短片而已,還要再扣掉那些隨機抽卡隨機失敗的次數,使用成本跟AI繪圖完全不是在同一個層級。而更高階的生成工具例如Sora或是Veo3,使用門檻就更高。
如果看完這些前提,你仍然對FramePack保有興趣,那麼我們可以進入正題了。
FramePack安裝流程
其實安裝過程並不難,有點底子的直接看官網說明就可以完成安裝了。
硬體需求:NVIDIA 30、40、50 系列顯卡,VRAM 6GB以上。
作者並沒有直言舊型顯卡無法執行,但它沒做過測試所以不做保證。但我以RTX 3080 10GB來執行就有點吃力了,性能相差太遠的低階顯卡也許機會不大。
由於我是Windows系統,所以以下只針對Windows環境的安裝做講解。
1.下載Windows整合包
Windows下的安裝簡單粗暴,直接下載官方提供的整合包即可:

但要特別提醒的是,這個Windows整合包約1.7GB加上GitHub的大檔下載不太穩定,直接使用瀏覽器內建的下載功能通常會下載失敗,並且無法續傳,當初試了很多次,不得已只好再次安裝多年未用的續傳軟體了。
續傳軟體的使用我就不再額外教學了,我就簡單的提示一下我這次用到的續傳軟體。
這只是我隨性GOOGLE找到的續傳軟體,你不一定要跟我一樣。
2.解壓縮並執行
整合包下載後是一個壓縮檔,直接將它解壓縮,接著先執行update.bat進行更新,這步並不會花太多時間,畢竟我們才剛從官網下載新版檔案而已。

接著執行run.bat直接開始執行:

初次運行會下載必要的模型檔,這一步就要等一陣子了:

3.開始使用
模型下載完成後就算是大功告成了,它會自動跳出一個網頁介面,往後要使用時只要再次執行run.bat就會跳出這個網頁介面,並且不需要再等待模型下載了。
整個安裝流程簡單來說就是下載,解壓縮,更新,執行,是不是非常的簡單?
實際使用介面如下,也沒什麼要特別教的,只要在上方圖片區域傳入一個基礎圖片,接著在Prompt區域輸入要生成的影片指令即可。

接著按下StartGeneration按鈕就會開始生成:

接著就是單純的等待而已,生成完畢的影片會出現在右側區域中。
另外還有三個細部設定可以做微調:
1.勾選Use TeaCache的話會加快生成速度,但影片品質會下降,可能出現人物扭曲,動作錯誤等狀況。勾選後的影片品質差異與速度我稍後會再說明。
2.Seed欄位:相同prompt不同Seed的生成結果就會不同,如果有一段prompt想要做多次測試的話,就要在這個Seed欄位自行填入隨機數字。這是比較不方便的地方,它不像stable diffusion webUI那樣有做出自動隨機的功能。
3.生成秒數:最長可以填入120秒,但生成5秒就要等很久了,建議是不要太貪心。
除此之外的其它參數都不建議更動。

另外,在影片生成時,我們可以觀察背景的dos視窗藉此了解其生成流程,我們可以發現它並不是一次就把整段影片產出,它是一段一段的產出接著再做合併。
以5秒影片來說,它會依序生成4個1秒多的影片再做合併,最後的合併結果才是5秒。


另外,再提醒一件事,以dos介面為基礎的軟體,有個通病是有時會突然發呆卡住,這時就要自己在dos介面中隨便按一下鍵盤它才會"醒過來",這個軟體也有同樣的狀況,所以要是卡太久沒反應別以為它是當機了,通常它只是暫時性的發呆而已,你要自己叫醒它。不要只關心前端的網頁介面,背景的dos視窗到底有沒有在動也要關心一下。
其它補充
安裝加速外掛sage attention:
這個軟體實際上有個比TeaCache更可靠的加速快掛可以用,叫做sage attention。
sage attention可以顯著的加速影片生成,但不像TeaCache那樣會大幅降低影片品質。
sage attention也有一個簡單的整合包可以下載:

你可以直接從官網原文中找到下載位址,我下面也直接列出檔案下載網址:
下載後也是一個壓縮檔,解壓縮後的檔案結構如下:

直接將所有檔案複製到FramePack本體的安裝資料夾中。

接著執行mod_package_installer_unified.bat。

在跳出的dos視窗中直接按Enter即會自動安裝。(這是一個整合包,所以實際上它安裝的元件共有xformers、flashattention、sage attention三種)

安裝完成後重啟FramePack,如果一切正常的話,在背景dos視窗中會出現Sage Attn is installed!這串字。

安裝sage attention後,這個外掛會自動生效,不需要再做額外設定,影片生成就會變快了。
關於我遇到的一個奇怪錯誤(遠端主機已強制關閉一個現存的連線)與處理方法:
我自己在使用FramePack時有遇到一個怪問題,影片生成途中會出現"遠端主機已強制關閉一個現存的連線"進而造成影片生成失敗,但在我看過的教學文章中都沒有提到這個錯誤,也許我只是少數個案。

但我仍分享一下我查到的解救方法,如果你碰巧也遇上跟我一樣的問題的話,剛好用的上。
簡單來說就是用記事本開啟FramePack安裝資料夾\webui\demo_gradio.py這個檔案。

接著在裡面加上這兩行字並重啟FramePack即可:
import asyncio
asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())

結論
以下列出我使用RTX 3080 10G這張顯卡生成5秒影片時的原始速度、啟用TeaCache時的速度,安裝Sage Attention後的速度,安裝Sage Attention並開啟TeaCache後的速度。
我前面提到FramePack的生成邏輯是每次生成1秒多的影片再做合併,因此若要生成5秒的影片實際上背景是跑4次生成程序再做合併,所以下方會列出單次耗時與總耗時,我用最簡單易懂的方式列出結論,就不再詳述每個細節是幾分幾秒了。
原始狀態生成5秒影片:
關閉TeaCache,一段生成程序約7分,4段生成程序共約30分
開啟TeaCache,一段生成程序約4分,4段生成程序共約16分
安裝Sage Attention之後,生成5秒影片:
關閉TeaCache,一段生成程序約5分,4段生成程序共約21分
開啟TeaCache,一段生成程序約2分,4段生成程序共約10分
從上方的敘述,可以簡單的看出Sage Attention對於速度的優化是很明顯的,但單靠Sage Attention仍然還是要等一段蠻長的時間。安裝Sage Attention後仍然可以繼續啟用TeaCache,在Sage Attention+TeaCache之後的速度才算是到了可接受範圍,至於是否要為了速度而開啟TeaCache,這就看你對速度與品質的取捨了。
影片範例:
在這個影片範例中,我使用同樣的基礎圖片分別測試了安裝Sage Attention前後以及開啟TeaCache前後的差別,並加碼測試了可靈1.6.、可靈2.1與wan2.2這三個較成熟的AI影片網頁工具所生成的結果。
目前這個版本的FramePack使用的是騰訊的渾元模型,效果差強人意,我希望之後會有新版本或新軟體使用更好的核心,例如wan2.1或是wan2.2我都覺得不錯。
其實ComfyUI目前就可以導入wan2.1/2.2,但這個技術坑太深了,目前我還不想面對。