方格精選

挑戰真相片+賽博風 - ControlNet三合一 | Stable Diffusion

閱讀時間約 12 分鐘


T2I
-融入真人姿態

因為想嘗試將真實照片中的人物姿態融入成品中,所以在Text2Image(文生圖)階段使用了三種ControlNet,包含非ControlNet原作者提供的光源模型:

Depth Map

為了保護隱私,只提供ControlNet運算出來的真實照片Depth map:
Depth Map | ControlNet
ControlNet的設定如下圖:
Depth settings | ControlNet

reference_only

reference_only的參考圖如下:
reference_only | ControlNet
註1:我在網路上蒐不到這張的原作者是誰,唯一可能有關的推特帳號請按這裡前往.
註2:如果知道原作者或原作者有看到本篇,煩請告知我好附上來源。If the original author or anyone knowing the author sees this, please kindly notify me to add credit.
ControlNet的設定如下圖:
reference_only settings | ControlNet

打光圖

打光圖我很粗略畫了一張:
light map | ControlNet
ControlNet的設定如下圖:
lightingBasedPicture settings | ControlNet

其他設定(整段複製貼到T2I的positive prompts即可套用):

a female adult cyborg and a female child android waiting for green light on the sidewalk at night, (detailed faces), (extremely detailed), heavy rain, futurisitic, magic and technology, masterpiece, abs res, best quality, sci-fi scene, dark environment, dystopia, cityscape, downtown, cyberpunk, water puddles, water splashes, rain drops, Tron, bodysuit, prosthetic legs, prosthetic arms, umbrella, mechnical parts, mechnical equipments, tools, machine components, robots, spaceships, ACG, Japanese anime, (from behind),
Negative prompt: bad-hands-5, ng_deepnegative_v1_75t, extra fingers, deformed hands, polydactyl, ((low quality, worst quality, monochrome, greyscale, grayscale, watermark, text, blurry, jpeg artifacts)), cropped, normal quality, ((signature, username, artist name, logo)), cartoon, canvas frame, ((lowres)), disfigured, bad art, deformed, extra limbs, b&w, weird colors, duplicate, morbid, mutilated, mutated hands, poorly drawn hands, poorly drawn face, mutation, ugly,  bad proportions, cloned face, out of frame, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, long neck, skin spots, acnes, skin blemishes, age spot,
Steps: 25, Sampler: DPM++ 2S a Karras, CFG scale: 7, Seed: 4009561042, Size: 1104x1680, Model hash: 4199bcdd14, Model: revAnimated_v122, VAE: vae-ft-mse-840000-ema-pruned, Denoising strength: 0.5, Clip skip: 2, Version: 875d0db, Parser: Full parser, ControlNet 0: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 1, starting/ending: (0, 1), resize mode: Just Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (64, 1, 64)"
T2I、I2I的VAE都是vae-ft-mse-840000-ema-pruned,可由此下載。有.ckpt和.safetensor兩種版本,使用其一即可。

T2I階段保留了四張圖:

1100036977
1100036978
1100036979
1100036980

I2I-放大/增添細節

tile_resample

I2I只用了tile_resample這個很好用的ControlNet模型:
tile_resample settings | ControlNet
*tile_resample和ControlNet的基本用法可參考筆者這篇: 忠實放大、增添細節 ControlNet 1.1 - Tile Resample - Stable Diffusion

其他設定(整段複製貼到I2I的positive prompt即可套用)

a female adult cyborg and a female child android waiting for green light on the sidewalk at night, (detailed faces), (extremely detailed), heavy rain, futurisitic, magic and technology, masterpiece, abs res, best quality, sci-fi scene, dark environment, dystopia, cityscape, downtown, cyberpunk, water puddles, water splashes, rain drops, Tron, bodysuit, prosthetic legs, prosthetic arms, umbrella, mechnical parts, mechnical equipments, tools, machine components, robots, spaceships, ACG, Japanese anime, (from behind),
Negative prompt: bad-hands-5, ng_deepnegative_v1_75t, extra fingers, deformed hands, polydactyl, ((low quality, worst quality, monochrome, greyscale, grayscale, watermark, text, blurry, jpeg artifacts)), cropped, normal quality, ((signature, username, artist name, logo)), cartoon, canvas frame, ((lowres)), disfigured, bad art, deformed, extra limbs, b&w, weird colors, duplicate, morbid, mutilated, mutated hands, poorly drawn hands, poorly drawn face, mutation, ugly,  bad proportions, cloned face, out of frame, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, long neck, skin spots, acnes, skin blemishes, age spot,
Steps: 25, Sampler: DPM++ 2S a Karras, CFG scale: 7, Seed: 4009561042, Size: 1104x1680, Model hash: 4199bcdd14, Model: revAnimated_v122, VAE: vae-ft-mse-840000-ema-pruned, Denoising strength: 0.5, Clip skip: 2, Version: 875d0db, Parser: Full parser, ControlNet 0: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 1, starting/ending: (0, 1), resize mode: Just Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (64, 1, 64)"

從T2I選了兩張衣著有發光的圖片以I2I放大和增添細節:

4009561042
2657899963

心得-打光仍在起步,tile_resample仍很好用

  1. ControlNet的打光模組現階段仍不是很好用,並且只能用在T2I;
    另一方面,能控制光的強弱分布是很強大的功能,期待未來也能用在I2I上。
  2. 對有些checkpoint模組而言,好比這次嘗試使用的SweetMix、ReV Animated,extremely detailed、detailed face等強調細節的提示詞有很顯著的影響。
  3. ControlNet的tile_resample在I2I放大圖片時還是很好用,能大幅降低在 Denoising Strength > 0.4 時冒出莫名其妙的物件,同時又保留了相當程度的變化。
祝大家算圖愉快!
為什麼會看到廣告
avatar-img
82會員
104內容數
筆者探索各種感興趣事物的紀錄。 *副帳非主流政治沙龍《黑米BR不政確》:https://vocus.cc/salon/BRiceP
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
黑米BR的沙龍 的其他內容
這篇很短,僅提供在算圖時於VAE階段%卡死不動的可能解決方案。 方法:關掉Token Merge 祝大家算圖愉快!
各位端午快樂,這篇心得很短,就是我在所有設定相同的狀態下(包括seed),帶入不同遊戲/類型名詞的結果......
  筆者於這篇心得<進化的Automatic1111:Vlad Diffusion - Stable Diffusion>分享的Vlad webui介面沒有提供一鍵更新的update.bat,需要手動更新,方法如下:
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
NVIDIA驅動程式最新版本532.03   因為NVIDIA驅動程式最新版本532.03據說在Windows 11環境下能大幅提升Stable Diffusion的inference效能(簡單的說即是算圖效能),所以我更新了驅動程式後想測試看看。   先說結論:好像有,又好像沒有,總之希望有。  
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
這篇很短,僅提供在算圖時於VAE階段%卡死不動的可能解決方案。 方法:關掉Token Merge 祝大家算圖愉快!
各位端午快樂,這篇心得很短,就是我在所有設定相同的狀態下(包括seed),帶入不同遊戲/類型名詞的結果......
  筆者於這篇心得<進化的Automatic1111:Vlad Diffusion - Stable Diffusion>分享的Vlad webui介面沒有提供一鍵更新的update.bat,需要手動更新,方法如下:
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
NVIDIA驅動程式最新版本532.03   因為NVIDIA驅動程式最新版本532.03據說在Windows 11環境下能大幅提升Stable Diffusion的inference效能(簡單的說即是算圖效能),所以我更新了驅動程式後想測試看看。   先說結論:好像有,又好像沒有,總之希望有。  
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
你可能也想看
Google News 追蹤
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
本文章介紹了ControlCom影像合成模型的技術與架構,以及其與其他方法的比較。模型具有可控的圖像合成能力,並提供了豐富的細節信息。文章詳細解釋了模型的優勢、方法與架構,以及數據準備和結果與結論。
Thumbnail
可能包含敏感內容
鏡像計畫啟動,虛擬的完美自我複製,或許是 AI 世代必然的收束,但除了潮流外,似乎還有甚麼在驅使著我?
Thumbnail
▪︎ A young girl with horns on her head in cyber punk style, with pure background, rendered in glass material. ▪︎ 工具: Bing Dall-E3 Copilot 視覺描述:
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
DeepAI 提供「聊天機器人」及「生成圖像」兩種服務,不用註冊就可以免費使用,聊天機器人有多種角色做選擇,能為你的創作和思考過程帶來新的靈感;至於圖像生成功能,也提供多種風格供你選擇,讓你每次生成的圖像都有不同的風格和特色。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
可能包含敏感內容
一個雙手撫弄頭髮的女生... Tensor.Art 連結在此,登入後可以使用 做同款(Remix) 功能產生類似圖片喔(AI 生圖)。 好的,廢話不多說,直接提供 ControlNet 的 Openpose 圖片~
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
本文章介紹了ControlCom影像合成模型的技術與架構,以及其與其他方法的比較。模型具有可控的圖像合成能力,並提供了豐富的細節信息。文章詳細解釋了模型的優勢、方法與架構,以及數據準備和結果與結論。
Thumbnail
可能包含敏感內容
鏡像計畫啟動,虛擬的完美自我複製,或許是 AI 世代必然的收束,但除了潮流外,似乎還有甚麼在驅使著我?
Thumbnail
▪︎ A young girl with horns on her head in cyber punk style, with pure background, rendered in glass material. ▪︎ 工具: Bing Dall-E3 Copilot 視覺描述:
Thumbnail
AI生成圖片並非完全可控,所以需要很多額外手段去控制,這篇要來試試幾個方法讓生成的圖片更加可控。
Thumbnail
DeepAI 提供「聊天機器人」及「生成圖像」兩種服務,不用註冊就可以免費使用,聊天機器人有多種角色做選擇,能為你的創作和思考過程帶來新的靈感;至於圖像生成功能,也提供多種風格供你選擇,讓你每次生成的圖像都有不同的風格和特色。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇要運用自動遮罩、重繪、批次的技巧,幫同一個人物更換不同背景。 自動遮罩 自動遮罩採用Segment Anything這個節點組,載入圖片後可以依指定的提示詞自動產生遮罩圖像,這邊我要更換的是背景,所以先讓AI抓出人物後,再反轉遮罩範圍輸出,為了讓重繪圖像不要過於生硬,將遮罩進行了高斯模糊。
Thumbnail
可能包含敏感內容
一個雙手撫弄頭髮的女生... Tensor.Art 連結在此,登入後可以使用 做同款(Remix) 功能產生類似圖片喔(AI 生圖)。 好的,廢話不多說,直接提供 ControlNet 的 Openpose 圖片~