如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

更新於 發佈於 閱讀時間約 6 分鐘
raw-image

修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看看怎麼作吧!

目錄

準備素材

下載 ControlNet Inpaint Model

此作法需要用到 ControlNet 與 ControlNet Inpaint Model,還沒安裝 ControlNet 的話,可以到 Extension Tab ,在 Install from URL 輸入 https://github.com/Mikubill/sd-webui-controlnet.git 安裝 。詳細安裝步驟請參考 github 的 installation 章節。

raw-image

ControlNet Inpaint Model 請到 HuggingFace 下載 control_v11p_sd15_inpaint.pth 和 control_v11p_sd15_inpaint.yaml 後,放入 stable-diffusion-webui\extensions\sd-webui-controlnet 資料夾內。

回到 StableDiffusion WebUI,重啟一下,如果有看到 ControlNet v1.1 區塊以及 Inpaint Model 就代表安裝完成!

raw-image

註:若先前已經安裝過 ControlNet,務必更新到 ControlNet v1.1 以上才有 inpaint 功能!

準備實驗圖片

為了「對照」 Stable Diffusion 向外擴展的能力,我刻意使用完整的圖片作裁切去除兩側,留下中央部分給 AI 去補完,最後再與原圖做一番比較

raw-image

使用 Interrogate 推理提示詞

為了讓出圖能夠更完善,可以使用 Stable Diffusion img2img tab 裡內建的 Interrogate CLIP 或 Interrogate DeepBooru 從圖面推理出提詞,再依情況人工修改,速度比較快。詳細步驟如下:

  1. 將圖片拖入 img2img tab 的 source 區塊
  2. 點擊右上方橘色 Interrogate CLIP 按鈕 (DeepBooru 也可以,會以關鍵字的方式產出)
  3. 等待一小段計算時間,推理出的提示詞會出現在 Positive Prompt 輸入框中
  4. 複製備用
raw-image

使用 ControlNet Inpaint 來 Outpainting

基本 txt2img 設定

一切準備妥當,回到 Stable Diffusion txt2img tab 頁面開始實作:

  1. 貼上剛剛的 Prompt,並適當增加 Negative Prompt
  2. Sampling Method: 選擇 Euler a,因為算圖速度比較快,用來初步構圖
  3. Sampling Steps: 先用預設 20
  4. Width / Hight: 分別設定為 784, 512,數值可自由選擇,但為了讓他能夠作 outpainting,比例一定要和原圖不一樣!以範例來說,原圖是直幅,要讓他 outpainting 成橫幅,寬一定要設定比高來的多。
  5. 其他保留預設即可
raw-image

ControlNet 設定

接下來重點是 ControlNet 的設定:

  1. 勾選 enable
  2. 將圖片拖到 source 區
  3. Preprocessor: 選擇 inpaint_only
  4. Model: 選擇 control_v11p_sd15_inpaint
  5. Resize Mode: 選擇 Resize and Fill,很重要!因為要讓他 fill 空白的部分,選錯就不會 outpainting!

👉👉前往 如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting 閱讀全文


延伸閱讀

兩階段解決 Stable Diffusion 臉崩問題
如何用 Stable Diffusion 產生高解析度的圖?
LoRA 是什麼?如何使用?| Stable Diffusion
最詳細的 Stable diffusion WebUI 操作教學 – txt2img



留言
avatar-img
留言分享你的想法!
avatar-img
KodingWork的沙龍
4會員
12內容數
KodingWork的沙龍的其他內容
2023/08/28
讀完卡片盒筆記和防彈筆記法後,我發現兩者的核心上有很大的共通點!只在於面向的應用情境不同,以及實現的方式不同。我認為若能掌握其中的底層邏輯,融會貫通其精神,即可不拘泥於工具和實作,演化出更適合自己使用的筆記法。就讓我來分享學到的給大家吧!
Thumbnail
2023/08/28
讀完卡片盒筆記和防彈筆記法後,我發現兩者的核心上有很大的共通點!只在於面向的應用情境不同,以及實現的方式不同。我認為若能掌握其中的底層邏輯,融會貫通其精神,即可不拘泥於工具和實作,演化出更適合自己使用的筆記法。就讓我來分享學到的給大家吧!
Thumbnail
2023/08/10
為何總是存不到錢?為何努力工作卻依然債務滿身?這些問題總是讓人難以找到答案,到底我們該怎麼作才能擺脫這種狀況? 很可惜這些在國民教育中,甚至你的父母都不會教你,但在這本書「讓可愛的錢自動滾進來」卻會一字不漏的傳授給你。 到底這本書說了些什麼?以下是閱讀後,我覺得一定要分享的重點!
Thumbnail
2023/08/10
為何總是存不到錢?為何努力工作卻依然債務滿身?這些問題總是讓人難以找到答案,到底我們該怎麼作才能擺脫這種狀況? 很可惜這些在國民教育中,甚至你的父母都不會教你,但在這本書「讓可愛的錢自動滾進來」卻會一字不漏的傳授給你。 到底這本書說了些什麼?以下是閱讀後,我覺得一定要分享的重點!
Thumbnail
2023/08/07
想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,分別是 ControlNet Tile Resample,以及 Detail Tweaker LoRA,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!
Thumbnail
2023/08/07
想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,分別是 ControlNet Tile Resample,以及 Detail Tweaker LoRA,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!
Thumbnail
看更多
你可能也想看
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
本篇要來討論一些目前在Stable Diffusion裡面,比較可行的向外擴展方法(Outpaint)。 向外擴展是將圖的周圍擴展開來,然後填充進新的內容,造成一種Zoom out的效果。
Thumbnail
本篇要來討論一些目前在Stable Diffusion裡面,比較可行的向外擴展方法(Outpaint)。 向外擴展是將圖的周圍擴展開來,然後填充進新的內容,造成一種Zoom out的效果。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
介紹ControlNet新版本1.1,主要內容: 1.更新方式 2.介面新功能 3.新模組 4.操作方式與功能實測
Thumbnail
介紹ControlNet新版本1.1,主要內容: 1.更新方式 2.介面新功能 3.新模組 4.操作方式與功能實測
Thumbnail
ControlNet這個Stable diffusion外掛非常實用,相關教學可算是滿坑滿谷了,我這篇教學主要是會特別說明整個套件其實有很多功能並不實用,你只需要專注在自己真正需要的功能上就好,而我會列一些我自己的測試結果以證明我為什麼說有些功能並不實用。
Thumbnail
ControlNet這個Stable diffusion外掛非常實用,相關教學可算是滿坑滿谷了,我這篇教學主要是會特別說明整個套件其實有很多功能並不實用,你只需要專注在自己真正需要的功能上就好,而我會列一些我自己的測試結果以證明我為什麼說有些功能並不實用。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News