Leonardo.Ai 即時&影片生成

更新於 發佈於 閱讀時間約 12 分鐘

(這次特別邀請了Leo中文社區的朋友來為影片配音喔😍酷吧)


新年快樂啊各位朋友,2024 年的第一支影片、第一篇文章,獻給我們的老朋友 Leonardo.AI,今天來帶大家看看最近的更新,沒錯,Leo 的平台上又有新玩具啦!不僅加入了即時生成的行列,也上架了影片生成功能!


如果你還不認識 Leo,讓我為你簡短地介紹一下,它是一個在網頁上使用的 AI 繪圖工具,集結了從訓練到生成到後期的各式各樣功能,一站式解決你所有需求。

不需要學習複雜的技巧,Leo 的輔助強化一直都做得非常好;不需要額外安裝花哩胡哨的外掛,Leo 把市面上知名功能都整合進了好用又易懂的介面之中,隨開即用。並且它還有使用體驗非常良好的手機版 app(雖然目前僅 iOS 有上架,Android 版還在規劃中)。

接下來我們就來瞧瞧這三項新功能——即時畫布、即時生成和動態影片




即時畫布

先來看看前陣子的大熱門:即時畫布 Realtime Canvas

自從 LCM 和 SDXL-turbo 發布之後,AI 算圖的生成時間被縮短到了,近乎可以跟你輸入干涉的速度同步的狀態,有試用過本機安裝版本的朋友應該都會發現,超高速的生成目前來說,多少伴隨了一點畫面品質的犧牲,通常即時生成完後的圖像,後續還是要進行一些重繪跟放大才能達到令人滿意的程度,這種時候如果沒有電腦,或是電腦硬體不夠好的朋友,可能會被困在這一步。


但是 Leo 完全解決了這點。它本身就自帶有很強力的 alchemy 來輔助生成時的風格跟細節,生成後不滿意,你還可以使用 alchemy refiner 來重繪跟校正!


Leo 的即時塗鴉生成我認為目前在 app 版的表現比網頁版更好一點,原因是⋯⋯app 版讀取的筆刷工具是 apple 自帶的那套,那套有感壓😭,我真的很需要感壓,真心希望網頁版以後也能有感壓,感壓是我的神。

後來仔細想想,嚴格來說用手指的話不算感壓
只是第一個筆刷的大小 可以靠滑動速度決定粗細 (對我來說這就很棒了)
我沒有pad跟pen 所以不確定pad+pen 是不是有感壓

有接觸電繪的朋友應該都有同感,就是當你的感壓突然跳掉的時候你整個人就會瞬間變得很焦慮……然後開始插拔你板子的線啊,重開PS啊……或是去到外面用別人電腦的時候,那個板子插上去你發現,啊它沒裝驅動啊,然後不管怎麼樣你就是想先把那個驅動給裝了在繼續你本來要做的事……

扯遠了哈。


使用方式

raw-image

你可以從首頁上方的功能導覽點一下來進入即時畫布,也可以從左邊找到 realtime canvas 的頁面按鈕。


免費仔能使用的是 Interactive 模式,你的每一個動作都要在完成後才會開始生成變化,動作是否完成是依靠你的滑鼠或筆尖放沒放開來判定的。

真正在塗鴉過程中每一秒都會即時生成圖像的 Real-time 模式,目前只開放給付費仔們,但是說真的,使用爽感上差不會很多。


raw-image

進入畫布後,中間這兩塊,左邊是你可以塗鴉的部分,右邊是它生成的結果。塗鴉區塊分成兩個部分,這個我們等一下再介紹,生成結果上面的這個按鈕是讓你可以一鍵把圖像丟到左邊塗鴉區。

太長一條了我切一切

太長一條了我切一切



畫面左邊是你的塗鴉工具,第一個可以上傳圖片,第二個是選取工具,下面是橡皮擦跟筆刷,再來是色盤和筆刷大小,色盤分為底色跟筆刷兩個區塊,除了可以吸色也可以調整透明度,最後是復原跟重做,還有清空畫面。






正下方是設置區,雖然,不寫prompt也可以生成,但是,該寫的還是要寫啦,有寫好 prompt 真的會事半功倍啦。

raw-image

prompt 方塊左邊的小按鈕,是你可以設 guidance scale 和刷 seed 的地方,這個 high quality 只有付費用戶可以打開。

raw-image

右邊的 creativity strength 就是調整你的塗鴉對結果的影響權重,它其實跟 i2i 的 strength 是一樣的意思,只不過是反……不對,應該說會比較接近 resonance 的用法,這樣說可能好明白一點,嗎?你稍微拉著滑一下就會明白了。

即時塗鴉生成,說白了,就是高速計算的 i2i,除了速度之外其實並不是甚麼陌生到你需要從頭學起的功能。

再來這個也不陌生吧,它就是 alchemy 的 presets,跟付費仔們平常在 t2i 會看到的 presets 有幾個不同,但基本差不多。

最後這個是切換 interactive 和 real-time 模式用的。


raw-image

右上方你會看到四個按鈕,Instant Refine 可以不耗幣就讓你快速預覽一下 refiner 後的效果大概是怎麼樣,你也可以直接保存這個結果。注意,它跟實際上 alchemy refiner 轉出來的效果,其實是不太一樣的。

後來認真測了一下,是alchemy refiner “必然”使用instant後的圖像
(從personal feed檢查original img可知)
所以realtime出的原圖只能從那個畫面上存到

旁邊的 upscale image 就是使用 refiner 來做 upscale,在它右邊的齒輪點開可以設定你要使用的 refiner 等級。

最右邊則是直接下載目前的生成結果框內的圖像,如果你點了 instant refiner,它會下載 instant refiner 後的,也就是你此刻眼睛所見的這個圖像。


偷偷說個事,我發現應該是因為最近這些更新的緣故,目前免費仔似乎是可以使用到 refiner 的,原本鎖付費的那個彈窗出了點 bug,當然幣還是要花的,但如果你看到影片的時候,這個 bug 還沒被修復,那你可以趁亂體驗一下 refiner 到底有多屌。


raw-image

至於這兩個塗鴉框的區別其實說簡單也很簡單,一個是圖像生成,一個是局部重繪,從預設的 draw 切換到 inpaint 會自動把你當前的 output drop to input,因為你在 inpaint 裡面就是要微調修改這張目前的成品嘛。但是光按這個 output to input 並不會把你切換到 inpaint,這兩個按鈕並不是功能相同的按鈕。

在 inpaint 模式下,我們沒有像 AIcanvas 那邊有遮罩工具嘛,所以他這邊的判定是,你筆刷所及的區域就算遮罩範圍,或說要 inpaint 的範圍,在這個範圍之外的地方,都不會被更改。

如果在 draw 的話,任何一個筆畫都會讓整張圖重新生成一次,俗話說的牽一髮而動全身,有時候事情確實會逐漸朝著大勢已去的方向發展,所以 inpaint 有它存在的意義。


這玩意兒棒在哪呢?它最棒的點其實不在於生成的速度啊品質啊或是你能不能塗鴉這點,而是它跑圖不用幣,存圖不用幣,整個功能裡面僅僅只有當你 upscale 的時候才會耗幣。超棒的,你可以在這裡毫無壓力地玩一整天。

介面就這麼點設置,沒有調整畫布大小的地方,不能選擇模型,也不能寫反向,還有不能關閉 alchemy,剩下的就靠你自己的手了哈。


小技巧

簡單分享一下我使用上的習慣給各位參考一下。

我喜歡黑背景起手,因為平常 t2i 要卡黑背景其實蠻難的,所以既然都這樣了對吧,就,嗯。🤪總之我喜歡黑背景起手。

然後先給個簡單的 prompt,後面會陸續加。creativity 一般不會拉超過 0.6,通常如果我沒打算太認真畫,就開在 0.5-0.58 之間,有要認真畫就開 0.25-0.49 之間,看情況會跟 preset 一起調整,去找我要的感覺。

通常是畫一畫,調一下設定,補一下 prompt。

然後,然後一直不滿意的話我就會開始刷 seed。我跟你們說,在即時畫布這邊玩,fix seed 一定要打開,走投無路的時候你會發現刷seed究竟可以有多快樂。

我喜歡用 anime、concept、environment、painting 這幾個 presets,有時候 product 在一些表現材料質感的繪畫上會有奇效,在做寫實類型的生成的時候,我會優先嘗試 cinematic 而不是 photography,啊不過我會在 prompt 裡面寫 photography。




即時生成

再來我們看即時畫布上線後大概半個月還是一個月,緊跟著上線的即時生成 Realtime Gen

raw-image

它跟前面那個即時畫布啊,之間的關係,跟 t2i 和 i 2i 的關係差不多,介面上則是更加簡單了,它只有一個顯示生成結果的框在中間,旁邊是 lora,下面寫 prompt,選擇 preset,刷 seed。沒有 instant refiner,但跟即時畫布一樣,只要你不使用到 alchemy refiner 就不會消耗代幣。

它同樣不能設置畫布尺寸或選擇模型,也沒有反向,甚至沒有 guidance。

你可以用它來熟悉 lora 權重的調配,以及,初步測試你的 prompt。


底層猜想

有些朋友可能會想,如果最大的區別只在於輸入的是塗鴉+ prompt 還是單純的 prompt,為什麼不把他們做成同一個功能就好了,而要拆兩個?


我猜啦,我猜的喔,即時畫布在開發的時候主要應該是為了追趕 LCM 當時的話題度跟吸引力,不能讓 KREA 專美於前嘛,應該模型用的是 LCM-DS,或是 DS 套 LCM lora。不過針對這點我沒有很嚴謹的去測試過,因為它畢竟還有塗鴉干涉的部分,加上經過了 alchemy 會比較難判斷出它源頭的模型,甚至可能用的不是 DS,是其他模型去套 LCM,或是 Leo 自己精煉出來的某個模型的 LCM 模型。

但即時生成的線索就蠻明顯了,不是 LCM 的 XL lora,就是用 XL turbo 那個模型,我覺得用的是 XL turbo 的可能性更大。

這些假設都成立的話,它們兩個使用的模型是完全不同的,對參數設置的要求也不同,LCM 的部分之前介紹影片講過了,turbo 則是有明確表示 guidance scale 或 negative prompt 都是不採用的。


這大概是為什麼他們要把這兩個功能分開做的原因。各有各的好,挑喜歡的玩就可以。




動態影片

最後來說一下,終於我們也有自己的 3 秒影片生成功能了,動態影片 Motion

你可以在 t2i 介面的生成結果上找到這個功能的按鈕,也可以在你的 personal feed 裡面找到。

raw-image

移動滑桿來決定動態幅度。

免費仔還是一樣不能選非公開,付費仔的話要注意它預設生成結果是公開,不想公開就得記得改。

生成結果會作為一次生成紀錄顯示在 t2i 介面下方,以及你的 personal feed 裡面。




感想&吐槽

我其實還蠻喜歡 Leo 的即時畫布的生成結果,畢竟我很喜歡 refiner 嘛,省了我很多麻煩。跟之前跑過的 KREA 雖然同為即時塗鴉生成,但各有各的風格和優缺點。

Leo 對我來說一直以來的問題都沒變,是優點也同時是缺點,就是它的控制項太少,風格固化太嚴重,這在即時生成系列的兩個功能裡面也還是一樣沒變。


但總體來說它確實是省力的且好用的,加上社群很溫暖很活躍,是一個會讓人產生感情的地方。


至於 motion 就……說實話,我自己現在是完全對這個功能沒有興趣,當我點開發現它不能輸入 prompt,除了效果不明的 motion strength 外沒有任何其他的參數設置,轉一次還要花25幣?我同一個圖如果要測 1-10 程度的動態,得花250幣,更別說因為設置過少,你無法預期它給你的是縮放還是旋轉還是平移,也可能是眨眼或微笑或颳風下雨?

我很抱歉得這樣說,但在我看來這個功能還是個半成品。🤔

它的影片品質是不錯,跟 Pika 比的話,但那個趨近於零的可控性,只能說,很可惜。

希望未來可以增加一些基礎的控制項。




既然這次講到了一些真的不算是褒的心得,不免還是要再說一次,如果你是剛認識 Leo,或是有在使用但沒有加入 DC 社群的朋友,我想告訴你,Leo 的開發團隊其實非常重視用戶的使用體驗跟反饋,他們一直都有在更新微調介面的安排,讓使用上能夠更舒適易懂,幫助新手降低門檻,也讓老手持續獲得更好的體驗。


如果你對Leo有任何意見想提出,也不需要擔心自己不會英文怎麼辦,加入Leo的官方DC,找到中文區,你可以在這邊進行意見反饋和提問,我們還有一個功能許願區討論串,你可以許願想要的功能,都會有專人 aka 我們的教宗幫你翻譯上報給開發團隊。

Leo 大概是我見到過的中文使用者跟國外團隊距離最近的一個 AI 工具了。


希望這篇文章對你有幫助,有任何問題或心得可以在這裡或影片下方留言,喜歡的話可以點個追蹤,把文章分享給你對AI算圖感興趣的朋友。🙏


感謝各位收看。

Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
配合影片的新模型對比,在這邊紀錄並分享各批次使用的prompt與設定,還有測試結果。
本篇分享整理一些我自己常用的,基礎的寫prompt起手勢,記得要根據應用後的測試結果跟個人需求來調整。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
本篇基於2023/06/11,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
這篇會從註冊>介面>使用,一次性完整介紹Leonardo.Ai,會持續追蹤官方的更新進度進行修正。(最後更新時間:2023/08/30)
配合影片的新模型對比,在這邊紀錄並分享各批次使用的prompt與設定,還有測試結果。
本篇分享整理一些我自己常用的,基礎的寫prompt起手勢,記得要根據應用後的測試結果跟個人需求來調整。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
本篇基於2023/06/11,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
這篇會從註冊>介面>使用,一次性完整介紹Leonardo.Ai,會持續追蹤官方的更新進度進行修正。(最後更新時間:2023/08/30)
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
一直以來都在用AI製圖製作文章示意圖,昨天寫了篇職場相關的文章,照慣例點開Leonardo.AI,突然想到最近看到的「魔法咒語」,就嘗試變形一下,想不到效果真的還不錯,超出我預期地達到我心中的構想,每次生成4張,總有幾張的表情真的有表現出「無奈」的感覺~也很符合我個人對「動物擬人」的審美偏好~
Thumbnail
相信你如果點進來一定是有所需求,這邊就不贅述你可以在哪些地方運用ai繪圖了。 在正式教學之前,你可以根據Leonardo.ai以下特點選擇是否使用: 1.需要付費嗎? 免費,但每天限制使用點數為150點,換句話說,如果你使用模組並以一般文字生圖一天可以產75張,隔天次數會刷新,你之前生產的圖都
Thumbnail
使用 Gemini AI 聊天服務時,點擊「設定>擴充功能」啟用「YouTube」功能,即可在對話中利用 @YouTube 指令尋找 YouTube 影片和詢問內容。
Thumbnail
Leonardo.AI 推出了一系列新功能,包括收藏夾功能、通用升級器、即時塗鴉小改版、透明模式、以及新模型和 lora。這些新功能增加了更多的樂趣和可能性,然而仍有些設計和使用上需要留意的地方。本篇文章將帶你快速瞭解這些新功能。
Thumbnail
Leonardo.ai 的 Universal Upscaler是一款功能強大的 AI 圖像升級工具,可以幫助我們解決圖像模糊的問題,可以將低解析度的圖像轉換為高解析度圖像,並保留圖像的清晰度和細節。
Thumbnail
在之前有介紹過 Leonardo.Ai 的「LiveCanvas」功能,隨手塗鴉就能即時生成圖像,近期 Leonardo.Ai 又推出了「REALTIME Gen」功能,根據使用者的文字描述,即時生成高品質的 AI 圖像。
Thumbnail
Leo 的平台上又有新玩具啦!不僅加入了即時生成的行列,也上架了影片生成功能!
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
一直以來都在用AI製圖製作文章示意圖,昨天寫了篇職場相關的文章,照慣例點開Leonardo.AI,突然想到最近看到的「魔法咒語」,就嘗試變形一下,想不到效果真的還不錯,超出我預期地達到我心中的構想,每次生成4張,總有幾張的表情真的有表現出「無奈」的感覺~也很符合我個人對「動物擬人」的審美偏好~
Thumbnail
相信你如果點進來一定是有所需求,這邊就不贅述你可以在哪些地方運用ai繪圖了。 在正式教學之前,你可以根據Leonardo.ai以下特點選擇是否使用: 1.需要付費嗎? 免費,但每天限制使用點數為150點,換句話說,如果你使用模組並以一般文字生圖一天可以產75張,隔天次數會刷新,你之前生產的圖都
Thumbnail
使用 Gemini AI 聊天服務時,點擊「設定>擴充功能」啟用「YouTube」功能,即可在對話中利用 @YouTube 指令尋找 YouTube 影片和詢問內容。
Thumbnail
Leonardo.AI 推出了一系列新功能,包括收藏夾功能、通用升級器、即時塗鴉小改版、透明模式、以及新模型和 lora。這些新功能增加了更多的樂趣和可能性,然而仍有些設計和使用上需要留意的地方。本篇文章將帶你快速瞭解這些新功能。
Thumbnail
Leonardo.ai 的 Universal Upscaler是一款功能強大的 AI 圖像升級工具,可以幫助我們解決圖像模糊的問題,可以將低解析度的圖像轉換為高解析度圖像,並保留圖像的清晰度和細節。
Thumbnail
在之前有介紹過 Leonardo.Ai 的「LiveCanvas」功能,隨手塗鴉就能即時生成圖像,近期 Leonardo.Ai 又推出了「REALTIME Gen」功能,根據使用者的文字描述,即時生成高品質的 AI 圖像。
Thumbnail
Leo 的平台上又有新玩具啦!不僅加入了即時生成的行列,也上架了影片生成功能!