Stable Diffusion進階 -- ControlNet向外擴展(Outpaint)

閱讀時間約 2 分鐘

前言

最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。在啟動時,ControlNet會將原圖送進LAMA這個模型中先製造出一個新圖,再送進Stable Diffusion的模型中算圖。
經過這種預先產圖的手段,向外擴展(Outpaint)的輸出品質就大大的進步了,與我上次介紹的基本Outpaint手法,穩定性進步不少,除了這個方法產出的大圖都是上下左右四個方向平均擴展,沒辦法指定是否置中之外,整體的效果非常好,而且還不需要提示詞就能產出不錯的結果,非常適合快速使用。

步驟

第一步,我們選擇要Outpaint的圖片,打開txt2img的頁面,然後打開ControlNet的設定,將圖片放進裡面。
原始圖
原始圖的尺寸為512x768,我們要將它擴展成1024x768,所以將設定設置成:
提示詞:無。你不需要提示詞也能做到向外擴展!
寬與高:1024x768像素。
CFG Scale:4,給AI較高的自由度生成新背景。
txt2img設定
在ControlNet裡面,依照這樣的設定:
Preprocessor:inpaint_only+lama
Control Mode:ControlNet is more important。因為我們提示詞根本是空的。如果提示詞裡面有東西的話,要調整成Balanced。
Resize Mode:Resize and Fill,讓ControlNet自動擴展Inpaint的範圍並填充新外擴的地方。
ControlNet的設定
這樣就能產生品質非常不錯的外擴圖了!
成品圖
從成品旁的ControlNet預覽圖可以看見,在LAMA模型處理之後,新擴展的部分已經有了合理的大致結構了:
被白色遮罩擋住的就是經由LAMA模型擴展的區域
這也就是為什麼Inpaint_only+lama可以生成結構一致的成品圖。但是經我實際測試後,發現它在肢體被切分的情況下,外擴產生的肢體與手指還是非常糟糕,所以在外擴時,如果邊緣是肢體與手腳趾,依然很難算出成效良好的圖。但是在生成存粹背景這方面,成果相當良好。

參照

參考影片

為什麼會看到廣告
18.4K會員
299內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
發表第一個留言支持創作者!
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
這篇要來介紹運用AI生圖將好幾張圖拼湊成一張時,準備工作一定會遇到的問題 -- 圖片去背。我們來看看目前有哪些人工智慧去背功能,以及人工智慧達不到我們要求時的簡單工人智慧去背方法。
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
這個問題困難的地方在於, 這種類型的動作通常不在AI訓練圖的範圍內,所以它對於很多奇幻世界的概念是一無所知的。在這種情況下,創作者與AI其實有點像是在一艘在迷霧中的海洋航行的船。
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
這篇要來介紹運用AI生圖將好幾張圖拼湊成一張時,準備工作一定會遇到的問題 -- 圖片去背。我們來看看目前有哪些人工智慧去背功能,以及人工智慧達不到我們要求時的簡單工人智慧去背方法。
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
這個問題困難的地方在於, 這種類型的動作通常不在AI訓練圖的範圍內,所以它對於很多奇幻世界的概念是一無所知的。在這種情況下,創作者與AI其實有點像是在一艘在迷霧中的海洋航行的船。
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
本文探討了反向詞(Negative Embedding)的概念,並介紹了在 Stable Diffusion WebUI 中使用的幾種模型,包括 EasyNegative、bad_prompt_version2、bad-hands-5 和 Deep Negative V1.x。這些模型的主要目的是在
Thumbnail
前言 目前AI在室內設計領域已經取得了一定的進展,但尚未完全能夠取代室內設計師的工作。AI在室內設計中的應用主要包括幫助設計師進行設計、提供設計建議和測試不同的設計方案等。 室內設計涉及許多複雜的因素,包括空間配置、人性化需求、材料選擇、色彩搭配等。這些方面需要考慮到個人喜好、使用者的需求、環境因素
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
本文探討了反向詞(Negative Embedding)的概念,並介紹了在 Stable Diffusion WebUI 中使用的幾種模型,包括 EasyNegative、bad_prompt_version2、bad-hands-5 和 Deep Negative V1.x。這些模型的主要目的是在
Thumbnail
前言 目前AI在室內設計領域已經取得了一定的進展,但尚未完全能夠取代室內設計師的工作。AI在室內設計中的應用主要包括幫助設計師進行設計、提供設計建議和測試不同的設計方案等。 室內設計涉及許多複雜的因素,包括空間配置、人性化需求、材料選擇、色彩搭配等。這些方面需要考慮到個人喜好、使用者的需求、環境因素
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。