如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample

更新於 發佈於 閱讀時間約 4 分鐘
raw-image

想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!

本文將介紹這兩種方法的原理與步驟,只要掌握他們,就可以隨意輕鬆調整細節,讓我們立刻開始吧!

目錄


比較方式

為了比較兩種方法輸出結果的差異,以下用三種情境測試,分別是擬真人像、擬真靜物、和繪畫風格。並把三種情境的圖片當作原圖丟入 img2img 作測試,調整參數輸出不同權重的結果。

以下是他們的原圖

擬真人像

raw-image

擬真靜物

raw-image

繪畫風格

raw-image

法一:ControlNet – Tile Resample

ControlNet 官方 github 解釋 Tile Resample Model 的行為:

  • Ignore the details in an image and generate new details.
  • Ignore global prompts if local tile semantics and prompts mismatch, and guide diffusion with local context.

白話文的意思就是,此模型:

  • 會參考給定圖片重新繪圖,圖片構圖、大方向內容不會改變,但細節部分會重新生成
  • 繪圖時,要是文字 prompt 和圖片內容發生衝突,以圖片內容為優先

因此我們可以利用這個特性,將想要增加細節的圖片丟到 ControlNet Tile Resample 中,透過調整 img2img 的 Denoising strength 參數控制 AI 自由度,決定要增加的細節多寡。

理論解釋完,我們立刻來實驗看看:

將圖片放到 img2img 的 Source Image 區

raw-image

往下找到 ControlNet 區塊,把圖片也拖到 ControlNet 的 Source Image 並勾選 Enable 以及 Pixel Perfect

raw-image

下方勾選 Tile ,WebUI 會自動幫你選擇

  • Preprocessor : tile_resample
  • Model: control_v11f1e_sd15_tile
raw-image

如果還沒有 Model 的朋友們,請先到 ControlNet 1.1 的 Hugging Face 下載 control_v11f1e_sd15_tile.pth

control_v11f1e_sd15_tile.yaml

兩個檔案,放到

stable-diffusion-webui/extensions/sd-webui-controlnet/models

之中,回到 WebUI ,點一下 ControlNet Model 下拉選單旁的 Reload 按鈕,就可以選到他了!

raw-image

回到 img2img 上方,其中 Sampling methodSample steps 等等參數各位可以自由調整,我們主要專注在 Denoising stength 參數上

raw-image

調整 Denoising stength 數值

  • 越大,ControlNet 算圖補充的細節愈多
  • 反之,補充的程度越少

因此可依此參數控制細節補充程度。

馬上來看看測試結果!.....

👉👉前往 如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA 閱讀全文


延伸閱讀

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting
兩階段解決 Stable Diffusion 臉崩問題
如何用 Stable Diffusion 產生高解析度的圖?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img


留言
avatar-img
留言分享你的想法!
avatar-img
KodingWork的沙龍
4會員
12內容數
KodingWork的沙龍的其他內容
2023/08/28
讀完卡片盒筆記和防彈筆記法後,我發現兩者的核心上有很大的共通點!只在於面向的應用情境不同,以及實現的方式不同。我認為若能掌握其中的底層邏輯,融會貫通其精神,即可不拘泥於工具和實作,演化出更適合自己使用的筆記法。就讓我來分享學到的給大家吧!
Thumbnail
2023/08/28
讀完卡片盒筆記和防彈筆記法後,我發現兩者的核心上有很大的共通點!只在於面向的應用情境不同,以及實現的方式不同。我認為若能掌握其中的底層邏輯,融會貫通其精神,即可不拘泥於工具和實作,演化出更適合自己使用的筆記法。就讓我來分享學到的給大家吧!
Thumbnail
2023/08/10
為何總是存不到錢?為何努力工作卻依然債務滿身?這些問題總是讓人難以找到答案,到底我們該怎麼作才能擺脫這種狀況? 很可惜這些在國民教育中,甚至你的父母都不會教你,但在這本書「讓可愛的錢自動滾進來」卻會一字不漏的傳授給你。 到底這本書說了些什麼?以下是閱讀後,我覺得一定要分享的重點!
Thumbnail
2023/08/10
為何總是存不到錢?為何努力工作卻依然債務滿身?這些問題總是讓人難以找到答案,到底我們該怎麼作才能擺脫這種狀況? 很可惜這些在國民教育中,甚至你的父母都不會教你,但在這本書「讓可愛的錢自動滾進來」卻會一字不漏的傳授給你。 到底這本書說了些什麼?以下是閱讀後,我覺得一定要分享的重點!
Thumbnail
2023/07/07
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
2023/07/07
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
看更多
你可能也想看
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
由於現有顯卡性能限制,想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式,無法一次生成。之前試過大家很推崇的Ultimate SD upscale,但對於我要重繪放大的”真人寫實照片”類型的圖來說,一直出現各種問題........
Thumbnail
由於現有顯卡性能限制,想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式,無法一次生成。之前試過大家很推崇的Ultimate SD upscale,但對於我要重繪放大的”真人寫實照片”類型的圖來說,一直出現各種問題........
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
在掌握Stable Diffusion文生圖的使用技巧幫助我們利用文字描述的組合/變化去生成所需的圖片內容後,再更進一步,我們也許會想要針對一張已經百分之七、八十符合我們需求的圖去進行部分內容的修改或是整體畫風的轉換。這時就需要有個”圖生圖 img2img”的操作介面讓我們能和SD溝通。
Thumbnail
在掌握Stable Diffusion文生圖的使用技巧幫助我們利用文字描述的組合/變化去生成所需的圖片內容後,再更進一步,我們也許會想要針對一張已經百分之七、八十符合我們需求的圖去進行部分內容的修改或是整體畫風的轉換。這時就需要有個”圖生圖 img2img”的操作介面讓我們能和SD溝通。
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,分別是 ControlNet Tile Resample,以及 Detail Tweaker LoRA,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!
Thumbnail
想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,分別是 ControlNet Tile Resample,以及 Detail Tweaker LoRA,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
Stable Diffusion 算圖時,有時算出來的人臉都像是被揍過一樣!這其實是解析度過小的問題,我們可以透過 img2img upscale 加 inpaint 的手法來解決,只需要兩階段,一起來看看怎麼做吧!
Thumbnail
Stable Diffusion 算圖時,有時算出來的人臉都像是被揍過一樣!這其實是解析度過小的問題,我們可以透過 img2img upscale 加 inpaint 的手法來解決,只需要兩階段,一起來看看怎麼做吧!
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
Thumbnail
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News