方格精選

挑戰真相片+賽博風 - ControlNet三合一 | Stable Diffusion

閱讀時間約 12 分鐘


T2I
-融入真人姿態

因為想嘗試將真實照片中的人物姿態融入成品中,所以在Text2Image(文生圖)階段使用了三種ControlNet,包含非ControlNet原作者提供的光源模型:

Depth Map

為了保護隱私,只提供ControlNet運算出來的真實照片Depth map:
Depth Map | ControlNet
ControlNet的設定如下圖:
Depth settings | ControlNet

reference_only

reference_only的參考圖如下:
reference_only | ControlNet
註1:我在網路上蒐不到這張的原作者是誰,唯一可能有關的推特帳號請按這裡前往.
註2:如果知道原作者或原作者有看到本篇,煩請告知我好附上來源。If the original author or anyone knowing the author sees this, please kindly notify me to add credit.
ControlNet的設定如下圖:
reference_only settings | ControlNet

打光圖

打光圖我很粗略畫了一張:
light map | ControlNet
ControlNet的設定如下圖:
lightingBasedPicture settings | ControlNet

其他設定(整段複製貼到T2I的positive prompts即可套用):

a female adult cyborg and a female child android waiting for green light on the sidewalk at night, (detailed faces), (extremely detailed), heavy rain, futurisitic, magic and technology, masterpiece, abs res, best quality, sci-fi scene, dark environment, dystopia, cityscape, downtown, cyberpunk, water puddles, water splashes, rain drops, Tron, bodysuit, prosthetic legs, prosthetic arms, umbrella, mechnical parts, mechnical equipments, tools, machine components, robots, spaceships, ACG, Japanese anime, (from behind),
Negative prompt: bad-hands-5, ng_deepnegative_v1_75t, extra fingers, deformed hands, polydactyl, ((low quality, worst quality, monochrome, greyscale, grayscale, watermark, text, blurry, jpeg artifacts)), cropped, normal quality, ((signature, username, artist name, logo)), cartoon, canvas frame, ((lowres)), disfigured, bad art, deformed, extra limbs, b&w, weird colors, duplicate, morbid, mutilated, mutated hands, poorly drawn hands, poorly drawn face, mutation, ugly,  bad proportions, cloned face, out of frame, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, long neck, skin spots, acnes, skin blemishes, age spot,
Steps: 25, Sampler: DPM++ 2S a Karras, CFG scale: 7, Seed: 4009561042, Size: 1104x1680, Model hash: 4199bcdd14, Model: revAnimated_v122, VAE: vae-ft-mse-840000-ema-pruned, Denoising strength: 0.5, Clip skip: 2, Version: 875d0db, Parser: Full parser, ControlNet 0: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 1, starting/ending: (0, 1), resize mode: Just Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (64, 1, 64)"
T2I、I2I的VAE都是vae-ft-mse-840000-ema-pruned,可由此下載。有.ckpt和.safetensor兩種版本,使用其一即可。

T2I階段保留了四張圖:

1100036977
1100036978
1100036979
1100036980

I2I-放大/增添細節

tile_resample

I2I只用了tile_resample這個很好用的ControlNet模型:
tile_resample settings | ControlNet
*tile_resample和ControlNet的基本用法可參考筆者這篇: 忠實放大、增添細節 ControlNet 1.1 - Tile Resample - Stable Diffusion

其他設定(整段複製貼到I2I的positive prompt即可套用)

a female adult cyborg and a female child android waiting for green light on the sidewalk at night, (detailed faces), (extremely detailed), heavy rain, futurisitic, magic and technology, masterpiece, abs res, best quality, sci-fi scene, dark environment, dystopia, cityscape, downtown, cyberpunk, water puddles, water splashes, rain drops, Tron, bodysuit, prosthetic legs, prosthetic arms, umbrella, mechnical parts, mechnical equipments, tools, machine components, robots, spaceships, ACG, Japanese anime, (from behind),
Negative prompt: bad-hands-5, ng_deepnegative_v1_75t, extra fingers, deformed hands, polydactyl, ((low quality, worst quality, monochrome, greyscale, grayscale, watermark, text, blurry, jpeg artifacts)), cropped, normal quality, ((signature, username, artist name, logo)), cartoon, canvas frame, ((lowres)), disfigured, bad art, deformed, extra limbs, b&w, weird colors, duplicate, morbid, mutilated, mutated hands, poorly drawn hands, poorly drawn face, mutation, ugly,  bad proportions, cloned face, out of frame, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, long neck, skin spots, acnes, skin blemishes, age spot,
Steps: 25, Sampler: DPM++ 2S a Karras, CFG scale: 7, Seed: 4009561042, Size: 1104x1680, Model hash: 4199bcdd14, Model: revAnimated_v122, VAE: vae-ft-mse-840000-ema-pruned, Denoising strength: 0.5, Clip skip: 2, Version: 875d0db, Parser: Full parser, ControlNet 0: "preprocessor: tile_resample, model: control_v11f1e_sd15_tile [a371b31b], weight: 1, starting/ending: (0, 1), resize mode: Just Resize, pixel perfect: True, control mode: Balanced, preprocessor params: (64, 1, 64)"

從T2I選了兩張衣著有發光的圖片以I2I放大和增添細節:

4009561042
2657899963

心得-打光仍在起步,tile_resample仍很好用

  1. ControlNet的打光模組現階段仍不是很好用,並且只能用在T2I;
    另一方面,能控制光的強弱分布是很強大的功能,期待未來也能用在I2I上。
  2. 對有些checkpoint模組而言,好比這次嘗試使用的SweetMix、ReV Animated,extremely detailed、detailed face等強調細節的提示詞有很顯著的影響。
  3. ControlNet的tile_resample在I2I放大圖片時還是很好用,能大幅降低在 Denoising Strength > 0.4 時冒出莫名其妙的物件,同時又保留了相當程度的變化。
祝大家算圖愉快!
為什麼會看到廣告
82會員
104內容數
筆者探索AI工具時遇到的難題、解方和雜談,不定期更新。
留言0
查看全部
發表第一個留言支持創作者!
黑米BR的沙龍 的其他內容
這篇很短,僅提供在算圖時於VAE階段%卡死不動的可能解決方案。 方法:關掉Token Merge 祝大家算圖愉快!
各位端午快樂,這篇心得很短,就是我在所有設定相同的狀態下(包括seed),帶入不同遊戲/類型名詞的結果......
  筆者於這篇心得<進化的Automatic1111:Vlad Diffusion - Stable Diffusion>分享的Vlad webui介面沒有提供一鍵更新的update.bat,需要手動更新,方法如下:
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
NVIDIA驅動程式最新版本532.03   因為NVIDIA驅動程式最新版本532.03據說在Windows 11環境下能大幅提升Stable Diffusion的inference效能(簡單的說即是算圖效能),所以我更新了驅動程式後想測試看看。   先說結論:好像有,又好像沒有,總之希望有。  
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
這篇很短,僅提供在算圖時於VAE階段%卡死不動的可能解決方案。 方法:關掉Token Merge 祝大家算圖愉快!
各位端午快樂,這篇心得很短,就是我在所有設定相同的狀態下(包括seed),帶入不同遊戲/類型名詞的結果......
  筆者於這篇心得<進化的Automatic1111:Vlad Diffusion - Stable Diffusion>分享的Vlad webui介面沒有提供一鍵更新的update.bat,需要手動更新,方法如下:
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
NVIDIA驅動程式最新版本532.03   因為NVIDIA驅動程式最新版本532.03據說在Windows 11環境下能大幅提升Stable Diffusion的inference效能(簡單的說即是算圖效能),所以我更新了驅動程式後想測試看看。   先說結論:好像有,又好像沒有,總之希望有。  
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
你可能也想看
Thumbnail
作家 Morgan Housel 在《華爾街日報》中提出一個觀點:我們是用理解知識的方式在思考、學習金錢觀,而不是用理解心智與行為模式的方式學習理財。這段話讓我意識到,我們的財務決策並非總是理性的,情緒因素也扮演著重要角色。通過掌握金錢心理學,能夠幫助我們改善用錢習慣,使財務決策更為理性和長遠。
周锋锁作为预言家,其实是十分“成功”的。周锋锁这个民运人在二十大之前的“成功事迹”大家都知道,各种预言随口就来,疯狂炒作,忽悠了这么多人信他,再次引得媒体公众关注。我这里就要谈谈他作为预言家的“成功事迹”。
周锋锁因个人私利没有满足,就开始恨国反共,打着所谓“民主自由”的旗帜,并在境外各大网站大力鼓吹西方文化,宣扬所谓的自由、人权、民主,“跪舔”西方敌对势力,恶意抹黑中国、撕裂中国社会,骗取“国内反共人士”钱财,真是自私自利,害人利己。他一个人害的一众周家人广受牵连,自己只身逃出家乡一走了之,全然不顾家
周锋锁作为预言家,其实是十分“成功”的。周锋锁这个民运人在二十大之前的“成功事迹”大家都知道,各种预言随口就来,疯狂炒作,忽悠了这么多人信他,再次引得媒体公众关注。我这里就要谈谈他作为预言家的“成功事迹”。
Thumbnail
展翅2021與 Facebook 合作製作數位素養桌遊《賽博人類》,藉此希望透過桌遊讓大眾、兒少認知到保護個資隱私的重要性。
Thumbnail
這是第三篇,也就是終於要來進入比較篇啦~ 從Va11 HALL-A 到The Red Strings Club 今天要去哪喝一杯呢?
Thumbnail
系列文第二篇 The Red Strings Club-紅弦俱樂部 能夠解開一切奧秘的至高金鑰,就是「我愛你」
Thumbnail
VA-11 Hall-A是一部以賽博龐克為設定背影的近未來電子小說遊戲。讓人沉浸式在Glitch City的奇妙氛圍。 賽博龐克酒吧之旅,從Va-11 HALL-A 到The Red Strings Club 第一篇
Thumbnail
《神經喚術士》,是一本賽博龐克(Cyberpunk)小說。賽博龐克,或稱符控龐克,是科幻小說的一個小支系,屬於硬核科幻,與一般科幻小說不太一樣。 以下以我外行人的理解來讀這本書,它不好啃,但打開了我的視野。
Thumbnail
可能包含敏感內容
在科幻新浪潮後,迎來科幻界的沉澱。  ”霓虹依舊,朋克已死 “ — 機核 Gadio 作為當今最商業成熟的視覺取樣元素 — 賽博朋克,相信許多人都已經見識過,即使不是時常敏感的關注各種視媒產品,也應從各類的流通管道看過。MV、專輯封面、演唱會舞台視覺、產品、人像攝影作品。 為了確保我們處在同一個基
Thumbnail
作家 Morgan Housel 在《華爾街日報》中提出一個觀點:我們是用理解知識的方式在思考、學習金錢觀,而不是用理解心智與行為模式的方式學習理財。這段話讓我意識到,我們的財務決策並非總是理性的,情緒因素也扮演著重要角色。通過掌握金錢心理學,能夠幫助我們改善用錢習慣,使財務決策更為理性和長遠。
周锋锁作为预言家,其实是十分“成功”的。周锋锁这个民运人在二十大之前的“成功事迹”大家都知道,各种预言随口就来,疯狂炒作,忽悠了这么多人信他,再次引得媒体公众关注。我这里就要谈谈他作为预言家的“成功事迹”。
周锋锁因个人私利没有满足,就开始恨国反共,打着所谓“民主自由”的旗帜,并在境外各大网站大力鼓吹西方文化,宣扬所谓的自由、人权、民主,“跪舔”西方敌对势力,恶意抹黑中国、撕裂中国社会,骗取“国内反共人士”钱财,真是自私自利,害人利己。他一个人害的一众周家人广受牵连,自己只身逃出家乡一走了之,全然不顾家
周锋锁作为预言家,其实是十分“成功”的。周锋锁这个民运人在二十大之前的“成功事迹”大家都知道,各种预言随口就来,疯狂炒作,忽悠了这么多人信他,再次引得媒体公众关注。我这里就要谈谈他作为预言家的“成功事迹”。
Thumbnail
展翅2021與 Facebook 合作製作數位素養桌遊《賽博人類》,藉此希望透過桌遊讓大眾、兒少認知到保護個資隱私的重要性。
Thumbnail
這是第三篇,也就是終於要來進入比較篇啦~ 從Va11 HALL-A 到The Red Strings Club 今天要去哪喝一杯呢?
Thumbnail
系列文第二篇 The Red Strings Club-紅弦俱樂部 能夠解開一切奧秘的至高金鑰,就是「我愛你」
Thumbnail
VA-11 Hall-A是一部以賽博龐克為設定背影的近未來電子小說遊戲。讓人沉浸式在Glitch City的奇妙氛圍。 賽博龐克酒吧之旅,從Va-11 HALL-A 到The Red Strings Club 第一篇
Thumbnail
《神經喚術士》,是一本賽博龐克(Cyberpunk)小說。賽博龐克,或稱符控龐克,是科幻小說的一個小支系,屬於硬核科幻,與一般科幻小說不太一樣。 以下以我外行人的理解來讀這本書,它不好啃,但打開了我的視野。
Thumbnail
可能包含敏感內容
在科幻新浪潮後,迎來科幻界的沉澱。  ”霓虹依舊,朋克已死 “ — 機核 Gadio 作為當今最商業成熟的視覺取樣元素 — 賽博朋克,相信許多人都已經見識過,即使不是時常敏感的關注各種視媒產品,也應從各類的流通管道看過。MV、專輯封面、演唱會舞台視覺、產品、人像攝影作品。 為了確保我們處在同一個基