Stable Diffusion進階 -- ControlNet向外擴展(Outpaint)

閱讀時間約 2 分鐘

前言

最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。在啟動時,ControlNet會將原圖送進LAMA這個模型中先製造出一個新圖,再送進Stable Diffusion的模型中算圖。
經過這種預先產圖的手段,向外擴展(Outpaint)的輸出品質就大大的進步了,與我上次介紹的基本Outpaint手法,穩定性進步不少,除了這個方法產出的大圖都是上下左右四個方向平均擴展,沒辦法指定是否置中之外,整體的效果非常好,而且還不需要提示詞就能產出不錯的結果,非常適合快速使用。

步驟

第一步,我們選擇要Outpaint的圖片,打開txt2img的頁面,然後打開ControlNet的設定,將圖片放進裡面。
原始圖
原始圖的尺寸為512x768,我們要將它擴展成1024x768,所以將設定設置成:
提示詞:無。你不需要提示詞也能做到向外擴展!
寬與高:1024x768像素。
CFG Scale:4,給AI較高的自由度生成新背景。
txt2img設定
在ControlNet裡面,依照這樣的設定:
Preprocessor:inpaint_only+lama
Control Mode:ControlNet is more important。因為我們提示詞根本是空的。如果提示詞裡面有東西的話,要調整成Balanced。
Resize Mode:Resize and Fill,讓ControlNet自動擴展Inpaint的範圍並填充新外擴的地方。
ControlNet的設定
這樣就能產生品質非常不錯的外擴圖了!
成品圖
從成品旁的ControlNet預覽圖可以看見,在LAMA模型處理之後,新擴展的部分已經有了合理的大致結構了:
被白色遮罩擋住的就是經由LAMA模型擴展的區域
這也就是為什麼Inpaint_only+lama可以生成結構一致的成品圖。但是經我實際測試後,發現它在肢體被切分的情況下,外擴產生的肢體與手指還是非常糟糕,所以在外擴時,如果邊緣是肢體與手腳趾,依然很難算出成效良好的圖。但是在生成存粹背景這方面,成果相當良好。

參照

參考影片

為什麼會看到廣告
avatar-img
21.9K會員
380內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
這篇要來介紹運用AI生圖將好幾張圖拼湊成一張時,準備工作一定會遇到的問題 -- 圖片去背。我們來看看目前有哪些人工智慧去背功能,以及人工智慧達不到我們要求時的簡單工人智慧去背方法。
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
這個問題困難的地方在於, 這種類型的動作通常不在AI訓練圖的範圍內,所以它對於很多奇幻世界的概念是一無所知的。在這種情況下,創作者與AI其實有點像是在一艘在迷霧中的海洋航行的船。
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
這篇討論一個常見的問題:如何修復修補錯亂的手部姿勢。
這篇要來介紹運用AI生圖將好幾張圖拼湊成一張時,準備工作一定會遇到的問題 -- 圖片去背。我們來看看目前有哪些人工智慧去背功能,以及人工智慧達不到我們要求時的簡單工人智慧去背方法。
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
這個問題困難的地方在於, 這種類型的動作通常不在AI訓練圖的範圍內,所以它對於很多奇幻世界的概念是一無所知的。在這種情況下,創作者與AI其實有點像是在一艘在迷霧中的海洋航行的船。
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
你可能也想看
Google News 追蹤
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
本文章介紹了ControlCom影像合成模型的技術與架構,以及其與其他方法的比較。模型具有可控的圖像合成能力,並提供了豐富的細節信息。文章詳細解釋了模型的優勢、方法與架構,以及數據準備和結果與結論。
Thumbnail
Inpaint-web 免費開源的 AI 圖像擦除與放大工具,在用戶端瀏覽器載入模型,處理過程都在本機裝置上執行。完全免費,無須註冊也沒有限制次數,簡單塗抹標記即可擦除該區域的影像,輸出圖片會保留原來尺寸,還可將圖片解析度放大四倍。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
我已往產生圖片都會盡量避開手部(手指)的動作,這次,真的認真來刻意畫手。 (其實,我覺得 Bing 和 ChatGPT 的 DALL·E 3 模型畫手也勉強可以,但我絕對不會特別想去強調 "手" 的動作,來產生圖片。)
Thumbnail
本文章介紹了ControlCom影像合成模型的技術與架構,以及其與其他方法的比較。模型具有可控的圖像合成能力,並提供了豐富的細節信息。文章詳細解釋了模型的優勢、方法與架構,以及數據準備和結果與結論。
Thumbnail
Inpaint-web 免費開源的 AI 圖像擦除與放大工具,在用戶端瀏覽器載入模型,處理過程都在本機裝置上執行。完全免費,無須註冊也沒有限制次數,簡單塗抹標記即可擦除該區域的影像,輸出圖片會保留原來尺寸,還可將圖片解析度放大四倍。
Thumbnail
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
Tensor Art 使用 Stable Diffusion 的各種模型,也能使用ControlNet 和 LoRA功能,根據使用者的輸入來文生圖、圖生圖,生成各種風格的高質量圖像,包括人像、動人的風景、創意的抽象畫等。