Reference_only - 輕鬆以圖發想 - Stable Diffusion

閱讀時間約 6 分鐘
*本篇心得Automatic1111和Vlad Diffusion介面皆適用。
**本篇心得無18禁內容,但提供的連結所連向的網頁有可能會有,請注意。

ControlNet 1.1.150

  最近ControlNet再度迎來了一個小更新,這次添加了一種Prepocessor模式「reference_only」
  這項新功能無須下載和使用ControlNet的model,只需要更新ControlNet即可在Prepocessor中選用。更新方法如下圖,請前往Extensions分頁 Installed子分頁 → Check for updates → 跑完檢查後點擊「Apply & restart UI」:
更新的介面
  如欲新安裝ControlNet插件,請如下圖前往Extensions分頁 → Available子分頁 → 點擊Load from: → 在出現的清單中找到 sd-webui-controlnet 項目並點按期右邊的Installed 按鈕 → 等畫面重新變亮即是安裝好 → 回Installed子分頁點擊「Apply & restart UI」(請參考上方更新的介面截圖):
新安裝的介面
  如果更新/安裝後無法順利使用ControlNet,可關掉Stable Diffusion的命令提示字元視窗重新啟動程式再試。

reference_only

  「reference」意即「參考」,所以reference_only = 僅作參考。換言之,此Preprocessor可在完全不提供正面提示詞(+Prompt)的情況下,根據原圖「發想」新的圖片。
  乍聽之下似乎和圖算圖(Image2Image)功能類似,不過實際上提供了比圖算圖更大的自由度但又不失保留原圖特徵。以下僅以之前心得 忠實放大、增添細節 ControlNet 1.1 - Tile Resample - Stable Diffusion 中的範例圖片作為這篇心得的reference_only原圖:
用作reference_only操作的發想原圖
model (checkpoint):chilloutmix
vae: blessed2.vae.pt
負面提示詞(-Prompts):
bad-hands-5, ng_deepnegative_v1_75t.pt, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly),  (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot), (nsfw)
Steps: 33
Sampler: DPM++ SDE Karras
CFG scale: 5
*bad-hands-5 Textual Inversion由此下載
*ng_deepnegative_v1_75 Textual Inversion由此下載
  正面提示詞空著並使用隨機seed,方便Stable Diffusion自行發揮。ControlNet的設定則如下圖,基本上是預設值:
此次心得使用的reference_only設定
  因為Stable Diffusion有算大圖會亂畫的毛病,所以雖然原圖是1024x1568,但算圖時我將解析圖調整為一半的512x784。
  以下是三張算圖結果,除了seed以外設定完全相同。再次強調這是在正面提示詞空白的情況下算出來的結果:
圖1813378786
圖1813378787
圖1813378788
  感覺還蠻有意思的,所以也試試看套用其他model (checkpoint)上:
圖4191577374
圖1900644945
圖2014883194
  以人物而言,我認為reference_only最能具現化的特徵當屬五官髮色,以及整體打光著色風格--雖然我不知道為什麼各model都很喜歡找紅色來填充。
  這次粗略測試後,我想reference_only的最大用途是尋找參考圖後快速生成衍生版本,再從衍生版本中選取滿意的結果精緻化(例如加入正面提示詞、放大尺寸),或是從中提取內容(例如以圖產生提示詞),而且reference_only也能與圖算圖或inpaint(遮罩局部修正)搭配使用喔。
  祝大家「參考」愉快!
即將進入廣告,捲動後可繼續閱讀
為什麼會看到廣告
82會員
104內容數
筆者探索AI工具時遇到的難題、解方和雜談,不定期更新。
留言0
查看全部
發表第一個留言支持創作者!
黑米BR的沙龍 的其他內容
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
ControlNet發布了1.1新版本,新增了許多不同的model,本文介紹運算大圖時非常好用的Tile Resample model。
本心得介紹MultiDiffusion with Tiled VAE插件以及通用的提升效能設定。
Vlad Diffusion(下略Vlad)和 Automatic1111(下略A1111)相較: 優點 1. 介面優化 2. 效能優化 -針對 Torch 2.0 優化 -使用 SDP(Scaled Dot Product)優化運算,無須 xFormers 也可顯著提升效能、降低
  可能是這個問題太過基本,所以網路上幾乎沒有人在提問或回答,但我一開始嘗試Stable Diffusion時,常會遇到一個令我困擾的問題----紫色斑塊。
Textual Inversion embedding   玩過Stable Diffusion(下以SD略稱之),並且有前往CIVITAI等網站下載其他人訓練的AI模型的玩家......
你可能也想看
Google News 追蹤
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
前一篇跟大家分享了離職的時候為什麼好好說分手很重要,其實平時在工作時的累積,無論是別人的信任、工作成果以及工作評價,也都是同等重要。因為現在的時代,多數人可能都會遇到轉換工作需要提供推薦人的時候,本篇分享了包含如何選擇推薦人以及事前的相關注意事項。   雖然在面試新工作時,並不
自從C#8.0開始,許多樣板的專案檔(.csproj)中多了以下這個設定<Nullable>enable</Nullable> ,它讓你coding開始進入twilightzone(陰陽魔界),對一切reference type 的寫法都不一樣了。reference type本來就是nullable
Thumbnail
無論是哪一方,在資歷查核的過程中千萬別抱著跑流程的心態,而一定要謹慎再謹慎。
Thumbnail
問題 B(新)公司人資部門對甲(應徵者)的任職時間履歷有疑慮。能否請A公司(舊公司)提供(或查驗)甲的任職時間給B公司呢? 先解析問題的爭點 任職起迄時間是不是個資? 如果是,依據個資法該怎麼處理呢? 除了個資法還有沒有其他的法令規定是應該要併為留意的呢? 怎麼合法運用個資法?才不會被會
Thumbnail
前言 förbaskat jävla fitta 才開學沒多久而已,我就已經感覺書讀不完心好累了。還被惡毒的精靈射了一箭。這幾天我看鏡子都是一副已經半隻腳踏進棺材裡的樣子,我自己都覺得不堪入目。如果你不知道我在說什麼,以前盎格魯撒克遜人相信疾病來自住在森林裡的精靈用惡毒的箭矢使人生病。還有住我樓上的
Thumbnail
難度三顆星。 建議研究一下文檔。 如上述圖片連結,安裝後從 zotero 導出 CSLjson 檔案之後,可以快速連結你的 zotero 庫,來達到快速檢閱的效果。 下面為外掛下載連結。尚未上架社區插件,請用 brat 外掛加入。 連結 祝平安 --- 相關社群如下,歡迎加入討論。 ↩️ obsid
Thumbnail
It's not where you take things from – it's where you take them to. — Jean-Luc Godard 靈感來自任何地方,可能是一段文字、一張圖片抑或是一幀影格,有如枝微末節,潛藏在生活中的每一個角落。
Thumbnail
資歷查核可以說不嗎? 面對資歷查核,該如何保障求職者權益? 這一篇 「資歷查核Reference Check 人資照會前必知的法律常識!」告訴你個資法賦予求職者的保障,也期許勞資雙方互相尊重,共創雙贏的職場環境~ 作者 謝易芨 專業經理人
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
前一篇跟大家分享了離職的時候為什麼好好說分手很重要,其實平時在工作時的累積,無論是別人的信任、工作成果以及工作評價,也都是同等重要。因為現在的時代,多數人可能都會遇到轉換工作需要提供推薦人的時候,本篇分享了包含如何選擇推薦人以及事前的相關注意事項。   雖然在面試新工作時,並不
自從C#8.0開始,許多樣板的專案檔(.csproj)中多了以下這個設定<Nullable>enable</Nullable> ,它讓你coding開始進入twilightzone(陰陽魔界),對一切reference type 的寫法都不一樣了。reference type本來就是nullable
Thumbnail
無論是哪一方,在資歷查核的過程中千萬別抱著跑流程的心態,而一定要謹慎再謹慎。
Thumbnail
問題 B(新)公司人資部門對甲(應徵者)的任職時間履歷有疑慮。能否請A公司(舊公司)提供(或查驗)甲的任職時間給B公司呢? 先解析問題的爭點 任職起迄時間是不是個資? 如果是,依據個資法該怎麼處理呢? 除了個資法還有沒有其他的法令規定是應該要併為留意的呢? 怎麼合法運用個資法?才不會被會
Thumbnail
前言 förbaskat jävla fitta 才開學沒多久而已,我就已經感覺書讀不完心好累了。還被惡毒的精靈射了一箭。這幾天我看鏡子都是一副已經半隻腳踏進棺材裡的樣子,我自己都覺得不堪入目。如果你不知道我在說什麼,以前盎格魯撒克遜人相信疾病來自住在森林裡的精靈用惡毒的箭矢使人生病。還有住我樓上的
Thumbnail
難度三顆星。 建議研究一下文檔。 如上述圖片連結,安裝後從 zotero 導出 CSLjson 檔案之後,可以快速連結你的 zotero 庫,來達到快速檢閱的效果。 下面為外掛下載連結。尚未上架社區插件,請用 brat 外掛加入。 連結 祝平安 --- 相關社群如下,歡迎加入討論。 ↩️ obsid
Thumbnail
It's not where you take things from – it's where you take them to. — Jean-Luc Godard 靈感來自任何地方,可能是一段文字、一張圖片抑或是一幀影格,有如枝微末節,潛藏在生活中的每一個角落。
Thumbnail
資歷查核可以說不嗎? 面對資歷查核,該如何保障求職者權益? 這一篇 「資歷查核Reference Check 人資照會前必知的法律常識!」告訴你個資法賦予求職者的保障,也期許勞資雙方互相尊重,共創雙贏的職場環境~ 作者 謝易芨 專業經理人