Leonardo.Ai 即時&影片生成

2024/01/08閱讀時間約 12 分鐘

(這次特別邀請了Leo中文社區的朋友來為影片配音喔😍酷吧)


新年快樂啊各位朋友,2024 年的第一支影片、第一篇文章,獻給我們的老朋友 Leonardo.AI,今天來帶大家看看最近的更新,沒錯,Leo 的平台上又有新玩具啦!不僅加入了即時生成的行列,也上架了影片生成功能!


如果你還不認識 Leo,讓我為你簡短地介紹一下,它是一個在網頁上使用的 AI 繪圖工具,集結了從訓練到生成到後期的各式各樣功能,一站式解決你所有需求。

不需要學習複雜的技巧,Leo 的輔助強化一直都做得非常好;不需要額外安裝花哩胡哨的外掛,Leo 把市面上知名功能都整合進了好用又易懂的介面之中,隨開即用。並且它還有使用體驗非常良好的手機版 app(雖然目前僅 iOS 有上架,Android 版還在規劃中)。

接下來我們就來瞧瞧這三項新功能——即時畫布、即時生成和動態影片




即時畫布

先來看看前陣子的大熱門:即時畫布 Realtime Canvas

自從 LCM 和 SDXL-turbo 發布之後,AI 算圖的生成時間被縮短到了,近乎可以跟你輸入干涉的速度同步的狀態,有試用過本機安裝版本的朋友應該都會發現,超高速的生成目前來說,多少伴隨了一點畫面品質的犧牲,通常即時生成完後的圖像,後續還是要進行一些重繪跟放大才能達到令人滿意的程度,這種時候如果沒有電腦,或是電腦硬體不夠好的朋友,可能會被困在這一步。


但是 Leo 完全解決了這點。它本身就自帶有很強力的 alchemy 來輔助生成時的風格跟細節,生成後不滿意,你還可以使用 alchemy refiner 來重繪跟校正!


Leo 的即時塗鴉生成我認為目前在 app 版的表現比網頁版更好一點,原因是⋯⋯app 版讀取的筆刷工具是 apple 自帶的那套,那套有感壓😭,我真的很需要感壓,真心希望網頁版以後也能有感壓,感壓是我的神。

後來仔細想想,嚴格來說用手指的話不算感壓
只是第一個筆刷的大小 可以靠滑動速度決定粗細 (對我來說這就很棒了)
我沒有pad跟pen 所以不確定pad+pen 是不是有感壓

有接觸電繪的朋友應該都有同感,就是當你的感壓突然跳掉的時候你整個人就會瞬間變得很焦慮……然後開始插拔你板子的線啊,重開PS啊……或是去到外面用別人電腦的時候,那個板子插上去你發現,啊它沒裝驅動啊,然後不管怎麼樣你就是想先把那個驅動給裝了在繼續你本來要做的事……

扯遠了哈。


使用方式

raw-image

你可以從首頁上方的功能導覽點一下來進入即時畫布,也可以從左邊找到 realtime canvas 的頁面按鈕。


免費仔能使用的是 Interactive 模式,你的每一個動作都要在完成後才會開始生成變化,動作是否完成是依靠你的滑鼠或筆尖放沒放開來判定的。

真正在塗鴉過程中每一秒都會即時生成圖像的 Real-time 模式,目前只開放給付費仔們,但是說真的,使用爽感上差不會很多。


raw-image

進入畫布後,中間這兩塊,左邊是你可以塗鴉的部分,右邊是它生成的結果。塗鴉區塊分成兩個部分,這個我們等一下再介紹,生成結果上面的這個按鈕是讓你可以一鍵把圖像丟到左邊塗鴉區。

太長一條了我切一切

太長一條了我切一切



畫面左邊是你的塗鴉工具,第一個可以上傳圖片,第二個是選取工具,下面是橡皮擦跟筆刷,再來是色盤和筆刷大小,色盤分為底色跟筆刷兩個區塊,除了可以吸色也可以調整透明度,最後是復原跟重做,還有清空畫面。






正下方是設置區,雖然,不寫prompt也可以生成,但是,該寫的還是要寫啦,有寫好 prompt 真的會事半功倍啦。

raw-image

prompt 方塊左邊的小按鈕,是你可以設 guidance scale 和刷 seed 的地方,這個 high quality 只有付費用戶可以打開。

raw-image

右邊的 creativity strength 就是調整你的塗鴉對結果的影響權重,它其實跟 i2i 的 strength 是一樣的意思,只不過是反……不對,應該說會比較接近 resonance 的用法,這樣說可能好明白一點,嗎?你稍微拉著滑一下就會明白了。

即時塗鴉生成,說白了,就是高速計算的 i2i,除了速度之外其實並不是甚麼陌生到你需要從頭學起的功能。

再來這個也不陌生吧,它就是 alchemy 的 presets,跟付費仔們平常在 t2i 會看到的 presets 有幾個不同,但基本差不多。

最後這個是切換 interactive 和 real-time 模式用的。


raw-image

右上方你會看到四個按鈕,Instant Refine 可以不耗幣就讓你快速預覽一下 refiner 後的效果大概是怎麼樣,你也可以直接保存這個結果。注意,它跟實際上 alchemy refiner 轉出來的效果,其實是不太一樣的。

後來認真測了一下,是alchemy refiner “必然”使用instant後的圖像
(從personal feed檢查original img可知)
所以realtime出的原圖只能從那個畫面上存到

旁邊的 upscale image 就是使用 refiner 來做 upscale,在它右邊的齒輪點開可以設定你要使用的 refiner 等級。

最右邊則是直接下載目前的生成結果框內的圖像,如果你點了 instant refiner,它會下載 instant refiner 後的,也就是你此刻眼睛所見的這個圖像。


偷偷說個事,我發現應該是因為最近這些更新的緣故,目前免費仔似乎是可以使用到 refiner 的,原本鎖付費的那個彈窗出了點 bug,當然幣還是要花的,但如果你看到影片的時候,這個 bug 還沒被修復,那你可以趁亂體驗一下 refiner 到底有多屌。


raw-image

至於這兩個塗鴉框的區別其實說簡單也很簡單,一個是圖像生成,一個是局部重繪,從預設的 draw 切換到 inpaint 會自動把你當前的 output drop to input,因為你在 inpaint 裡面就是要微調修改這張目前的成品嘛。但是光按這個 output to input 並不會把你切換到 inpaint,這兩個按鈕並不是功能相同的按鈕。

在 inpaint 模式下,我們沒有像 AIcanvas 那邊有遮罩工具嘛,所以他這邊的判定是,你筆刷所及的區域就算遮罩範圍,或說要 inpaint 的範圍,在這個範圍之外的地方,都不會被更改。

如果在 draw 的話,任何一個筆畫都會讓整張圖重新生成一次,俗話說的牽一髮而動全身,有時候事情確實會逐漸朝著大勢已去的方向發展,所以 inpaint 有它存在的意義。


這玩意兒棒在哪呢?它最棒的點其實不在於生成的速度啊品質啊或是你能不能塗鴉這點,而是它跑圖不用幣,存圖不用幣,整個功能裡面僅僅只有當你 upscale 的時候才會耗幣。超棒的,你可以在這裡毫無壓力地玩一整天。

介面就這麼點設置,沒有調整畫布大小的地方,不能選擇模型,也不能寫反向,還有不能關閉 alchemy,剩下的就靠你自己的手了哈。


小技巧

簡單分享一下我使用上的習慣給各位參考一下。

我喜歡黑背景起手,因為平常 t2i 要卡黑背景其實蠻難的,所以既然都這樣了對吧,就,嗯。🤪總之我喜歡黑背景起手。

然後先給個簡單的 prompt,後面會陸續加。creativity 一般不會拉超過 0.6,通常如果我沒打算太認真畫,就開在 0.5-0.58 之間,有要認真畫就開 0.25-0.49 之間,看情況會跟 preset 一起調整,去找我要的感覺。

通常是畫一畫,調一下設定,補一下 prompt。

然後,然後一直不滿意的話我就會開始刷 seed。我跟你們說,在即時畫布這邊玩,fix seed 一定要打開,走投無路的時候你會發現刷seed究竟可以有多快樂。

我喜歡用 anime、concept、environment、painting 這幾個 presets,有時候 product 在一些表現材料質感的繪畫上會有奇效,在做寫實類型的生成的時候,我會優先嘗試 cinematic 而不是 photography,啊不過我會在 prompt 裡面寫 photography。




即時生成

再來我們看即時畫布上線後大概半個月還是一個月,緊跟著上線的即時生成 Realtime Gen

raw-image

它跟前面那個即時畫布啊,之間的關係,跟 t2i 和 i 2i 的關係差不多,介面上則是更加簡單了,它只有一個顯示生成結果的框在中間,旁邊是 lora,下面寫 prompt,選擇 preset,刷 seed。沒有 instant refiner,但跟即時畫布一樣,只要你不使用到 alchemy refiner 就不會消耗代幣。

它同樣不能設置畫布尺寸或選擇模型,也沒有反向,甚至沒有 guidance。

你可以用它來熟悉 lora 權重的調配,以及,初步測試你的 prompt。


底層猜想

有些朋友可能會想,如果最大的區別只在於輸入的是塗鴉+ prompt 還是單純的 prompt,為什麼不把他們做成同一個功能就好了,而要拆兩個?


我猜啦,我猜的喔,即時畫布在開發的時候主要應該是為了追趕 LCM 當時的話題度跟吸引力,不能讓 KREA 專美於前嘛,應該模型用的是 LCM-DS,或是 DS 套 LCM lora。不過針對這點我沒有很嚴謹的去測試過,因為它畢竟還有塗鴉干涉的部分,加上經過了 alchemy 會比較難判斷出它源頭的模型,甚至可能用的不是 DS,是其他模型去套 LCM,或是 Leo 自己精煉出來的某個模型的 LCM 模型。

但即時生成的線索就蠻明顯了,不是 LCM 的 XL lora,就是用 XL turbo 那個模型,我覺得用的是 XL turbo 的可能性更大。

這些假設都成立的話,它們兩個使用的模型是完全不同的,對參數設置的要求也不同,LCM 的部分之前介紹影片講過了,turbo 則是有明確表示 guidance scale 或 negative prompt 都是不採用的。


這大概是為什麼他們要把這兩個功能分開做的原因。各有各的好,挑喜歡的玩就可以。




動態影片

最後來說一下,終於我們也有自己的 3 秒影片生成功能了,動態影片 Motion

你可以在 t2i 介面的生成結果上找到這個功能的按鈕,也可以在你的 personal feed 裡面找到。

raw-image

移動滑桿來決定動態幅度。

免費仔還是一樣不能選非公開,付費仔的話要注意它預設生成結果是公開,不想公開就得記得改。

生成結果會作為一次生成紀錄顯示在 t2i 介面下方,以及你的 personal feed 裡面。




感想&吐槽

我其實還蠻喜歡 Leo 的即時畫布的生成結果,畢竟我很喜歡 refiner 嘛,省了我很多麻煩。跟之前跑過的 KREA 雖然同為即時塗鴉生成,但各有各的風格和優缺點。

Leo 對我來說一直以來的問題都沒變,是優點也同時是缺點,就是它的控制項太少,風格固化太嚴重,這在即時生成系列的兩個功能裡面也還是一樣沒變。


但總體來說它確實是省力的且好用的,加上社群很溫暖很活躍,是一個會讓人產生感情的地方。


至於 motion 就……說實話,我自己現在是完全對這個功能沒有興趣,當我點開發現它不能輸入 prompt,除了效果不明的 motion strength 外沒有任何其他的參數設置,轉一次還要花25幣?我同一個圖如果要測 1-10 程度的動態,得花250幣,更別說因為設置過少,你無法預期它給你的是縮放還是旋轉還是平移,也可能是眨眼或微笑或颳風下雨?

我很抱歉得這樣說,但在我看來這個功能還是個半成品。🤔

它的影片品質是不錯,跟 Pika 比的話,但那個趨近於零的可控性,只能說,很可惜。

希望未來可以增加一些基礎的控制項。




既然這次講到了一些真的不算是褒的心得,不免還是要再說一次,如果你是剛認識 Leo,或是有在使用但沒有加入 DC 社群的朋友,我想告訴你,Leo 的開發團隊其實非常重視用戶的使用體驗跟反饋,他們一直都有在更新微調介面的安排,讓使用上能夠更舒適易懂,幫助新手降低門檻,也讓老手持續獲得更好的體驗。


如果你對Leo有任何意見想提出,也不需要擔心自己不會英文怎麼辦,加入Leo的官方DC,找到中文區,你可以在這邊進行意見反饋和提問,我們還有一個功能許願區討論串,你可以許願想要的功能,都會有專人 aka 我們的教宗幫你翻譯上報給開發團隊。

Leo 大概是我見到過的中文使用者跟國外團隊距離最近的一個 AI 工具了。


希望這篇文章對你有幫助,有任何問題或心得可以在這裡或影片下方留言,喜歡的話可以點個追蹤,把文章分享給你對AI算圖感興趣的朋友。🙏


感謝各位收看。

Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
發表第一個留言支持創作者!