Leonardo.Ai 即時&影片生成

更新於 2024/06/28閱讀時間約 12 分鐘

(這次特別邀請了Leo中文社區的朋友來為影片配音喔😍酷吧)


新年快樂啊各位朋友,2024 年的第一支影片、第一篇文章,獻給我們的老朋友 Leonardo.AI,今天來帶大家看看最近的更新,沒錯,Leo 的平台上又有新玩具啦!不僅加入了即時生成的行列,也上架了影片生成功能!


如果你還不認識 Leo,讓我為你簡短地介紹一下,它是一個在網頁上使用的 AI 繪圖工具,集結了從訓練到生成到後期的各式各樣功能,一站式解決你所有需求。

不需要學習複雜的技巧,Leo 的輔助強化一直都做得非常好;不需要額外安裝花哩胡哨的外掛,Leo 把市面上知名功能都整合進了好用又易懂的介面之中,隨開即用。並且它還有使用體驗非常良好的手機版 app(雖然目前僅 iOS 有上架,Android 版還在規劃中)。

接下來我們就來瞧瞧這三項新功能——即時畫布、即時生成和動態影片




即時畫布

先來看看前陣子的大熱門:即時畫布 Realtime Canvas

自從 LCM 和 SDXL-turbo 發布之後,AI 算圖的生成時間被縮短到了,近乎可以跟你輸入干涉的速度同步的狀態,有試用過本機安裝版本的朋友應該都會發現,超高速的生成目前來說,多少伴隨了一點畫面品質的犧牲,通常即時生成完後的圖像,後續還是要進行一些重繪跟放大才能達到令人滿意的程度,這種時候如果沒有電腦,或是電腦硬體不夠好的朋友,可能會被困在這一步。


但是 Leo 完全解決了這點。它本身就自帶有很強力的 alchemy 來輔助生成時的風格跟細節,生成後不滿意,你還可以使用 alchemy refiner 來重繪跟校正!


Leo 的即時塗鴉生成我認為目前在 app 版的表現比網頁版更好一點,原因是⋯⋯app 版讀取的筆刷工具是 apple 自帶的那套,那套有感壓😭,我真的很需要感壓,真心希望網頁版以後也能有感壓,感壓是我的神。

後來仔細想想,嚴格來說用手指的話不算感壓
只是第一個筆刷的大小 可以靠滑動速度決定粗細 (對我來說這就很棒了)
我沒有pad跟pen 所以不確定pad+pen 是不是有感壓

有接觸電繪的朋友應該都有同感,就是當你的感壓突然跳掉的時候你整個人就會瞬間變得很焦慮……然後開始插拔你板子的線啊,重開PS啊……或是去到外面用別人電腦的時候,那個板子插上去你發現,啊它沒裝驅動啊,然後不管怎麼樣你就是想先把那個驅動給裝了在繼續你本來要做的事……

扯遠了哈。


使用方式

raw-image

你可以從首頁上方的功能導覽點一下來進入即時畫布,也可以從左邊找到 realtime canvas 的頁面按鈕。


免費仔能使用的是 Interactive 模式,你的每一個動作都要在完成後才會開始生成變化,動作是否完成是依靠你的滑鼠或筆尖放沒放開來判定的。

真正在塗鴉過程中每一秒都會即時生成圖像的 Real-time 模式,目前只開放給付費仔們,但是說真的,使用爽感上差不會很多。


raw-image

進入畫布後,中間這兩塊,左邊是你可以塗鴉的部分,右邊是它生成的結果。塗鴉區塊分成兩個部分,這個我們等一下再介紹,生成結果上面的這個按鈕是讓你可以一鍵把圖像丟到左邊塗鴉區。

太長一條了我切一切

太長一條了我切一切



畫面左邊是你的塗鴉工具,第一個可以上傳圖片,第二個是選取工具,下面是橡皮擦跟筆刷,再來是色盤和筆刷大小,色盤分為底色跟筆刷兩個區塊,除了可以吸色也可以調整透明度,最後是復原跟重做,還有清空畫面。






正下方是設置區,雖然,不寫prompt也可以生成,但是,該寫的還是要寫啦,有寫好 prompt 真的會事半功倍啦。

raw-image

prompt 方塊左邊的小按鈕,是你可以設 guidance scale 和刷 seed 的地方,這個 high quality 只有付費用戶可以打開。

raw-image

右邊的 creativity strength 就是調整你的塗鴉對結果的影響權重,它其實跟 i2i 的 strength 是一樣的意思,只不過是反……不對,應該說會比較接近 resonance 的用法,這樣說可能好明白一點,嗎?你稍微拉著滑一下就會明白了。

即時塗鴉生成,說白了,就是高速計算的 i2i,除了速度之外其實並不是甚麼陌生到你需要從頭學起的功能。

再來這個也不陌生吧,它就是 alchemy 的 presets,跟付費仔們平常在 t2i 會看到的 presets 有幾個不同,但基本差不多。

最後這個是切換 interactive 和 real-time 模式用的。


raw-image

右上方你會看到四個按鈕,Instant Refine 可以不耗幣就讓你快速預覽一下 refiner 後的效果大概是怎麼樣,你也可以直接保存這個結果。注意,它跟實際上 alchemy refiner 轉出來的效果,其實是不太一樣的。

後來認真測了一下,是alchemy refiner “必然”使用instant後的圖像
(從personal feed檢查original img可知)
所以realtime出的原圖只能從那個畫面上存到

旁邊的 upscale image 就是使用 refiner 來做 upscale,在它右邊的齒輪點開可以設定你要使用的 refiner 等級。

最右邊則是直接下載目前的生成結果框內的圖像,如果你點了 instant refiner,它會下載 instant refiner 後的,也就是你此刻眼睛所見的這個圖像。


偷偷說個事,我發現應該是因為最近這些更新的緣故,目前免費仔似乎是可以使用到 refiner 的,原本鎖付費的那個彈窗出了點 bug,當然幣還是要花的,但如果你看到影片的時候,這個 bug 還沒被修復,那你可以趁亂體驗一下 refiner 到底有多屌。


raw-image

至於這兩個塗鴉框的區別其實說簡單也很簡單,一個是圖像生成,一個是局部重繪,從預設的 draw 切換到 inpaint 會自動把你當前的 output drop to input,因為你在 inpaint 裡面就是要微調修改這張目前的成品嘛。但是光按這個 output to input 並不會把你切換到 inpaint,這兩個按鈕並不是功能相同的按鈕。

在 inpaint 模式下,我們沒有像 AIcanvas 那邊有遮罩工具嘛,所以他這邊的判定是,你筆刷所及的區域就算遮罩範圍,或說要 inpaint 的範圍,在這個範圍之外的地方,都不會被更改。

如果在 draw 的話,任何一個筆畫都會讓整張圖重新生成一次,俗話說的牽一髮而動全身,有時候事情確實會逐漸朝著大勢已去的方向發展,所以 inpaint 有它存在的意義。


這玩意兒棒在哪呢?它最棒的點其實不在於生成的速度啊品質啊或是你能不能塗鴉這點,而是它跑圖不用幣,存圖不用幣,整個功能裡面僅僅只有當你 upscale 的時候才會耗幣。超棒的,你可以在這裡毫無壓力地玩一整天。

介面就這麼點設置,沒有調整畫布大小的地方,不能選擇模型,也不能寫反向,還有不能關閉 alchemy,剩下的就靠你自己的手了哈。


小技巧

簡單分享一下我使用上的習慣給各位參考一下。

我喜歡黑背景起手,因為平常 t2i 要卡黑背景其實蠻難的,所以既然都這樣了對吧,就,嗯。🤪總之我喜歡黑背景起手。

然後先給個簡單的 prompt,後面會陸續加。creativity 一般不會拉超過 0.6,通常如果我沒打算太認真畫,就開在 0.5-0.58 之間,有要認真畫就開 0.25-0.49 之間,看情況會跟 preset 一起調整,去找我要的感覺。

通常是畫一畫,調一下設定,補一下 prompt。

然後,然後一直不滿意的話我就會開始刷 seed。我跟你們說,在即時畫布這邊玩,fix seed 一定要打開,走投無路的時候你會發現刷seed究竟可以有多快樂。

我喜歡用 anime、concept、environment、painting 這幾個 presets,有時候 product 在一些表現材料質感的繪畫上會有奇效,在做寫實類型的生成的時候,我會優先嘗試 cinematic 而不是 photography,啊不過我會在 prompt 裡面寫 photography。




即時生成

再來我們看即時畫布上線後大概半個月還是一個月,緊跟著上線的即時生成 Realtime Gen

raw-image

它跟前面那個即時畫布啊,之間的關係,跟 t2i 和 i 2i 的關係差不多,介面上則是更加簡單了,它只有一個顯示生成結果的框在中間,旁邊是 lora,下面寫 prompt,選擇 preset,刷 seed。沒有 instant refiner,但跟即時畫布一樣,只要你不使用到 alchemy refiner 就不會消耗代幣。

它同樣不能設置畫布尺寸或選擇模型,也沒有反向,甚至沒有 guidance。

你可以用它來熟悉 lora 權重的調配,以及,初步測試你的 prompt。


底層猜想

有些朋友可能會想,如果最大的區別只在於輸入的是塗鴉+ prompt 還是單純的 prompt,為什麼不把他們做成同一個功能就好了,而要拆兩個?


我猜啦,我猜的喔,即時畫布在開發的時候主要應該是為了追趕 LCM 當時的話題度跟吸引力,不能讓 KREA 專美於前嘛,應該模型用的是 LCM-DS,或是 DS 套 LCM lora。不過針對這點我沒有很嚴謹的去測試過,因為它畢竟還有塗鴉干涉的部分,加上經過了 alchemy 會比較難判斷出它源頭的模型,甚至可能用的不是 DS,是其他模型去套 LCM,或是 Leo 自己精煉出來的某個模型的 LCM 模型。

但即時生成的線索就蠻明顯了,不是 LCM 的 XL lora,就是用 XL turbo 那個模型,我覺得用的是 XL turbo 的可能性更大。

這些假設都成立的話,它們兩個使用的模型是完全不同的,對參數設置的要求也不同,LCM 的部分之前介紹影片講過了,turbo 則是有明確表示 guidance scale 或 negative prompt 都是不採用的。


這大概是為什麼他們要把這兩個功能分開做的原因。各有各的好,挑喜歡的玩就可以。




動態影片

最後來說一下,終於我們也有自己的 3 秒影片生成功能了,動態影片 Motion

你可以在 t2i 介面的生成結果上找到這個功能的按鈕,也可以在你的 personal feed 裡面找到。

raw-image

移動滑桿來決定動態幅度。

免費仔還是一樣不能選非公開,付費仔的話要注意它預設生成結果是公開,不想公開就得記得改。

生成結果會作為一次生成紀錄顯示在 t2i 介面下方,以及你的 personal feed 裡面。




感想&吐槽

我其實還蠻喜歡 Leo 的即時畫布的生成結果,畢竟我很喜歡 refiner 嘛,省了我很多麻煩。跟之前跑過的 KREA 雖然同為即時塗鴉生成,但各有各的風格和優缺點。

Leo 對我來說一直以來的問題都沒變,是優點也同時是缺點,就是它的控制項太少,風格固化太嚴重,這在即時生成系列的兩個功能裡面也還是一樣沒變。


但總體來說它確實是省力的且好用的,加上社群很溫暖很活躍,是一個會讓人產生感情的地方。


至於 motion 就……說實話,我自己現在是完全對這個功能沒有興趣,當我點開發現它不能輸入 prompt,除了效果不明的 motion strength 外沒有任何其他的參數設置,轉一次還要花25幣?我同一個圖如果要測 1-10 程度的動態,得花250幣,更別說因為設置過少,你無法預期它給你的是縮放還是旋轉還是平移,也可能是眨眼或微笑或颳風下雨?

我很抱歉得這樣說,但在我看來這個功能還是個半成品。🤔

它的影片品質是不錯,跟 Pika 比的話,但那個趨近於零的可控性,只能說,很可惜。

希望未來可以增加一些基礎的控制項。




既然這次講到了一些真的不算是褒的心得,不免還是要再說一次,如果你是剛認識 Leo,或是有在使用但沒有加入 DC 社群的朋友,我想告訴你,Leo 的開發團隊其實非常重視用戶的使用體驗跟反饋,他們一直都有在更新微調介面的安排,讓使用上能夠更舒適易懂,幫助新手降低門檻,也讓老手持續獲得更好的體驗。


如果你對Leo有任何意見想提出,也不需要擔心自己不會英文怎麼辦,加入Leo的官方DC,找到中文區,你可以在這邊進行意見反饋和提問,我們還有一個功能許願區討論串,你可以許願想要的功能,都會有專人 aka 我們的教宗幫你翻譯上報給開發團隊。

Leo 大概是我見到過的中文使用者跟國外團隊距離最近的一個 AI 工具了。


希望這篇文章對你有幫助,有任何問題或心得可以在這裡或影片下方留言,喜歡的話可以點個追蹤,把文章分享給你對AI算圖感興趣的朋友。🙏


感謝各位收看。

Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
配合影片的新模型對比,在這邊紀錄並分享各批次使用的prompt與設定,還有測試結果。
本篇分享整理一些我自己常用的,基礎的寫prompt起手勢,記得要根據應用後的測試結果跟個人需求來調整。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
本篇基於2023/06/11,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
這篇會從註冊>介面>使用,一次性完整介紹Leonardo.Ai,會持續追蹤官方的更新進度進行修正。(最後更新時間:2023/08/30)
配合影片的新模型對比,在這邊紀錄並分享各批次使用的prompt與設定,還有測試結果。
本篇分享整理一些我自己常用的,基礎的寫prompt起手勢,記得要根據應用後的測試結果跟個人需求來調整。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
本篇基於2023/06/11,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
這篇會從註冊>介面>使用,一次性完整介紹Leonardo.Ai,會持續追蹤官方的更新進度進行修正。(最後更新時間:2023/08/30)
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
Leonardo.AI 又有新功能「Image2Motion」,可以將你生成的圖片一鍵轉換為影片,能夠準確地捕捉圖片中的運動軌跡,生成流暢自然的動畫。
Thumbnail
Leonardo.Ai 推出了新功能「LivesCanvas」,你不需要有繪畫基礎,只要隨手塗鴉,Leonardo.Ai 就會開始識別你的畫作,即時生成 AI 圖片。
Thumbnail
究竟是平價便宜的leonardo吸引人,還是高貴奢華的midjourney令人嚮往。今天再多介紹一個低成本低門檻的繪圖工具,多個選擇總是好的。 常言道,便宜沒好貨,但leonardo並沒有因為低廉的收費而犧牲繪圖。
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 這篇介紹如何在Amazon KDP平台上上架紙本書,以及訂購試印本、作者書,還有實體開箱。
Thumbnail
說到AI詠唱,當然也不能跳過運用 生成對抗網路(GAN) 和 穩定擴散模型 (stable diffusion) 為基礎而生的圖像生成AI 平台。除了大家可能已經很熟悉 Midjourney ,在文本生成圖片 (text to image)這個範疇,還有其他許多強大的 Ai 平台與服務應用
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 這篇要跟大家分享如何在Kindle Direct Publish,簡稱KDP平台上發表已經創作好的電子書,並且為自己的電子書訂價。
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 成書就在眼前了! 使用Kindle Kid's Book Creator將製作好的PDF檔案轉成Kindle需要的Mobi格式,非常簡單。
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 有了書的標題、內容,還有了圖片素材,接下來啟動排版。 用免費的Canva就可以輕鬆達到漂亮的設計效果,歡迎來試試看。
Thumbnail
這是一篇分享我如何在只有小學繪畫程度加上英文不求甚解的情況下,創作出我第一本英文繪本童書並且上架到Amazon Kindle平台。如果你也想試試看的話,歡迎訂閱專題,我會手把手分享每一個步驟。 這篇文章告訴你如何運用ChatGPT得到需要的標題、文本以及建議,用AI繪圖軟體Leonardo算出想要的
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這篇文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 這篇介紹了我使用的線上AI軟體以及需要使用到的網站,準備工作做好就可以開始創作囉!
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
Leonardo.AI 又有新功能「Image2Motion」,可以將你生成的圖片一鍵轉換為影片,能夠準確地捕捉圖片中的運動軌跡,生成流暢自然的動畫。
Thumbnail
Leonardo.Ai 推出了新功能「LivesCanvas」,你不需要有繪畫基礎,只要隨手塗鴉,Leonardo.Ai 就會開始識別你的畫作,即時生成 AI 圖片。
Thumbnail
究竟是平價便宜的leonardo吸引人,還是高貴奢華的midjourney令人嚮往。今天再多介紹一個低成本低門檻的繪圖工具,多個選擇總是好的。 常言道,便宜沒好貨,但leonardo並沒有因為低廉的收費而犧牲繪圖。
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 這篇介紹如何在Amazon KDP平台上上架紙本書,以及訂購試印本、作者書,還有實體開箱。
Thumbnail
說到AI詠唱,當然也不能跳過運用 生成對抗網路(GAN) 和 穩定擴散模型 (stable diffusion) 為基礎而生的圖像生成AI 平台。除了大家可能已經很熟悉 Midjourney ,在文本生成圖片 (text to image)這個範疇,還有其他許多強大的 Ai 平台與服務應用
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 這篇要跟大家分享如何在Kindle Direct Publish,簡稱KDP平台上發表已經創作好的電子書,並且為自己的電子書訂價。
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 成書就在眼前了! 使用Kindle Kid's Book Creator將製作好的PDF檔案轉成Kindle需要的Mobi格式,非常簡單。
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這系列文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 有了書的標題、內容,還有了圖片素材,接下來啟動排版。 用免費的Canva就可以輕鬆達到漂亮的設計效果,歡迎來試試看。
Thumbnail
這是一篇分享我如何在只有小學繪畫程度加上英文不求甚解的情況下,創作出我第一本英文繪本童書並且上架到Amazon Kindle平台。如果你也想試試看的話,歡迎訂閱專題,我會手把手分享每一個步驟。 這篇文章告訴你如何運用ChatGPT得到需要的標題、文本以及建議,用AI繪圖軟體Leonardo算出想要的
Thumbnail
感謝AI和線上免費軟體的幫忙,讓我完成了第一本英文繪本童書並且在Amazon上架。這篇文章要手把手地把我的經驗分享給大家,讓大家一起加入創作者的行列。 這篇介紹了我使用的線上AI軟體以及需要使用到的網站,準備工作做好就可以開始創作囉!