忠實放大、增添細節 ControlNet 1.1 - Tile Resample - Stable Diffusion
閱讀時間約 9 分鐘
這篇心得 Automatic1111 (A1111)/ Vlad Diffusion (Vlad)介面通用。
更新／安裝
Vlad/A1111已安裝ControlNet：
Extensions > Installed > Check for updates > Apply & restart UI （建議重開程式）
Extensions > Installed > Check for updates > Apply & restart UI （建議重開程式）
新安裝：
Extensions > Available > Load from: >找到sd-webui-controlnet > Install > 等畫面變亮 > Installed > Apply & restart UI （建議重開程式）
Extensions > Available > Load from: >找到sd-webui-controlnet > Install > 等畫面變亮 > Installed > Apply & restart UI （建議重開程式）
注意！
雖然安裝會一併下載Preprocessor，但ControlNet的model通常需要自己手動下載。這次1.1更新因為舊版的model已不適用，可全部移除後前往此頁面下載：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
總共有14個model，要下載的是副檔名".pth"的檔案，下載後放到extensions或extensions-builtin資料夾中的"sd-webui-controlnet\models"。
".yaml"的部分應該已在該資料夾內，如果沒有才一併下載。另外，需要移除的舊版model也是在這個資料夾中。需要注意的是.pth、.yaml是兩個檔案一組的，所以請確認下載的.pth都有對應的.yaml。
這次心得使用的model是：
Tile Resample - 忠實放大、增添細節
我在放大/多道提示詞的好幫手：MultiDiffusion插件 - Stable Diffusion一文中提到，Noise Inversion可在Image2Image放大運算時相當程度保留原圖構圖。ControlNet的Tile Resample也有同樣的功能，而且更為忠實。
另外，ControlNet的model可以搭配MultiDiffusion的Tiled VAE使用來減少VRAM用量，但Tiled Diffusion部分會有衝突，往往無法一起使用。
接下來就要收入場費了（並沒有）
首先用Text2Image生成基礎原圖：
model: chilloutmixvae: blessed2.vae.pt+complex 3d render ultra detailed of a beautiful female android, cyborg, sitting, robotic parts, 150 mm, beautiful studio soft light, rim light, dramatic lighting, neon lights, vibrant details, luxurious cyberpunk, [<lora:JapaneseDollLikeness_v15:0.5>], lace, hyper realistic, anatomical, facial muscles, silver hair, white hair, hair floating in air, (robotic eyes), cable electric wires, microchip, elegant, cyberpunk background, dark background, beautiful background, octane render, H. R. Giger style, 8k, best quality, masterpiece, illustration, extremely delicate and beautiful, extremely detailed , (realistic, photo-realistic:1.37), masterpiece, best quality, absurdres, extremely detailed,-bad-hands-5, ng_deepnegative_v1_75t.pt, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot), (nsfw)Sampling method: DPM++ SDE KarrasSampling steps: 33Width: 512Height: 784CFG Scale: 5Clip Skip: 1Seed: 2832472998*<lora:JapaneseDollLikeness_v15:0.5> LoRA模組由此下載*bad-hands-5 Textual Inversion由此下載*ng_deepnegative_v1_75 Textual Inversion由此下載
接著我將上圖傳到Image2Image，使用原本的+/-Prompts和設定，只改了下圖紅框中的設定，將圖放大一倍為 1024 x 1568：
接下來的四張圖全都使用了同樣的設定，差別是：
1張無使用ControlNet， 3張使用了ControlNet的Tile Resample，但使用了三種"Down Sampling Rate"。下圖是四圖同框的比較圖：
再放一次512x784原圖方便對照。
乍看一下可能覺得差別不大，但和原圖對比過的話會發現，有使用Tile Resample的三張的臉看起來和原圖像是同一個人，沒有使用的則看起來像是不同的人，尤其「眼形」的部分特別明顯。
另外像是下巴下方黑底領口的細部紋路，也是只有使用Tile Resample的三張保留了下來。另外一些護具的細部尖尖角角的輪廓，也只有Tile Resample的圖保留了下來。
並且Tile Resample保留相似度的同時仍增添了細節，例如肩膀護具的網孔紋理，在保留其特徵的前提下解析度和細節都獲得了提升：
簡要言之，Down Sampling Rate數值越大，細節的自由度越高，原因在於Down Sampling Rate數值越大，ControlNet model運算時建立的原圖參考圖就越模糊：
使用時的ControlNet設定參考如下：
祝大家算圖愉快！
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
據了解，八十多年來沒有出現過勝義火供法，都是在講理，沒有佛菩薩出現，無論任何人修的，沒有出現過真正這樣實相顯法的勝義護摩法會。也就是說，在西藏地區與印度等世界各國，八十多年前有過這樣殊勝的火供法會，現在是第二次出現，讓我們親自在現場見識了真正如來正法的至高偉大。
民國101年中華國際佛教聞修正法會還願精舍成立，在證達上人的帶領下快速發展，並籌備苗栗覺行寺興建，預計今年底動工興建。板橋還願精舍早已不敷使用，歷經一年多尋址，找到了三重區三和路四段一零一之一號二樓，離捷運三和國中站只有兩分鐘路程，交通與生活環境便利。
台北國際書展”H.H.第三世多杰羌佛2018 藝文饗宴”攤位展出了一本書~”揭開真相”，作者是一位出家比丘尼，法名釋正慧，隨便翻閱書中任一篇真實事證都讓人嘖嘖稱奇，透過書中可讓世人略窺佛陀的不可思議。
2015年3月22日，在紐約貞觀春季拍賣會上，H.H.第三世多杰羌佛創作的潑墨畫《墨荷》，以美國高級估價師所鑑的公正市價一千零五十萬美元高價起拍，最後以一千六百五十萬美元的成交價（稅前價格）創下該次春拍會所有拍賣公司所拍出的最高書畫拍賣記錄
絕美櫻花步道大景這裡拍！位在南投信義鄉的「望高茶園」種有上千顆櫻花，這裡不但能取景夢幻櫻花林美照，還能空拍Z型粉紅花海步道，想造訪的人別錯過本篇介紹的最佳賞櫻時間點！
南投望高茶園擁有Z型櫻花海步道，吸引網友前往取景。（圖／molly888666）
南投信義的望高茶園有一處高人氣的賞
因為被花磚上面繽紛的圖案給吸引，就試著把花磚圖案做成了刺繡，效果特別好，光澤和紋理都很讓人喜歡。
製作建議：因為這個圖案的複雜度比較高，所以我把檔案拆成三個部分製作。
首先會先製作第一部分的底圖，繡完後先不要把繡框拆下來，而是直接繼續繡第二個檔案(起針位置皆在正中心)。第二部分因為是圖案中心的花朵，
這篇我要教的一樣是我覺得重要且實用的東西，直接進入重點，先直接讓你們看看Posex是個什麼東西：
以網路上的曝光度來說，看的出來ControlNet這個Stable Diffusion web UI非常火紅，因為它解決了AI繪圖難以控制人物姿勢的問題，而ControlNet的附屬插件OpenPose
ControlNet這個Stable diffusion外掛非常實用，相關教學可算是滿坑滿谷了，我這篇教學主要是會特別說明整個套件其實有很多功能並不實用，你只需要專注在自己真正需要的功能上就好，而我會列一些我自己的測試結果以證明我為什麼說有些功能並不實用。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
S1.至 https://github.com/Mikubill/sd-webui-controlnet 了解安裝方式 並安裝 python 3.10.6 版
S2.下載 stable-diffusion-webui
S3.下載後 點擊 webui.bat
若無法順利安裝 可參考 環境安裝方式 A
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
據了解，八十多年來沒有出現過勝義火供法，都是在講理，沒有佛菩薩出現，無論任何人修的，沒有出現過真正這樣實相顯法的勝義護摩法會。也就是說，在西藏地區與印度等世界各國，八十多年前有過這樣殊勝的火供法會，現在是第二次出現，讓我們親自在現場見識了真正如來正法的至高偉大。
民國101年中華國際佛教聞修正法會還願精舍成立，在證達上人的帶領下快速發展，並籌備苗栗覺行寺興建，預計今年底動工興建。板橋還願精舍早已不敷使用，歷經一年多尋址，找到了三重區三和路四段一零一之一號二樓，離捷運三和國中站只有兩分鐘路程，交通與生活環境便利。
台北國際書展”H.H.第三世多杰羌佛2018 藝文饗宴”攤位展出了一本書~”揭開真相”，作者是一位出家比丘尼，法名釋正慧，隨便翻閱書中任一篇真實事證都讓人嘖嘖稱奇，透過書中可讓世人略窺佛陀的不可思議。
2015年3月22日，在紐約貞觀春季拍賣會上，H.H.第三世多杰羌佛創作的潑墨畫《墨荷》，以美國高級估價師所鑑的公正市價一千零五十萬美元高價起拍，最後以一千六百五十萬美元的成交價（稅前價格）創下該次春拍會所有拍賣公司所拍出的最高書畫拍賣記錄
絕美櫻花步道大景這裡拍！位在南投信義鄉的「望高茶園」種有上千顆櫻花，這裡不但能取景夢幻櫻花林美照，還能空拍Z型粉紅花海步道，想造訪的人別錯過本篇介紹的最佳賞櫻時間點！
南投望高茶園擁有Z型櫻花海步道，吸引網友前往取景。（圖／molly888666）
南投信義的望高茶園有一處高人氣的賞
因為被花磚上面繽紛的圖案給吸引，就試著把花磚圖案做成了刺繡，效果特別好，光澤和紋理都很讓人喜歡。
製作建議：因為這個圖案的複雜度比較高，所以我把檔案拆成三個部分製作。
首先會先製作第一部分的底圖，繡完後先不要把繡框拆下來，而是直接繼續繡第二個檔案(起針位置皆在正中心)。第二部分因為是圖案中心的花朵，
這篇我要教的一樣是我覺得重要且實用的東西，直接進入重點，先直接讓你們看看Posex是個什麼東西：
以網路上的曝光度來說，看的出來ControlNet這個Stable Diffusion web UI非常火紅，因為它解決了AI繪圖難以控制人物姿勢的問題，而ControlNet的附屬插件OpenPose
ControlNet這個Stable diffusion外掛非常實用，相關教學可算是滿坑滿谷了，我這篇教學主要是會特別說明整個套件其實有很多功能並不實用，你只需要專注在自己真正需要的功能上就好，而我會列一些我自己的測試結果以證明我為什麼說有些功能並不實用。
去這邊點選開啟sd的webui-user.bat程式先會跟你說9009
把這個bat右鍵筆記本編輯會發現，set PYTHON=路徑是空的，那我們就去把後面的路徑補上改成下面這個
set PYTHON=D:\StableDiffusion\system\python\python.exe
接下來
S1.至 https://github.com/Mikubill/sd-webui-controlnet 了解安裝方式 並安裝 python 3.10.6 版
S2.下載 stable-diffusion-webui
S3.下載後 點擊 webui.bat
若無法順利安裝 可參考 環境安裝方式 A