Reference_only - 輕鬆以圖發想 - Stable Diffusion

更新於 發佈於 閱讀時間約 6 分鐘

*本篇心得Automatic1111和Vlad Diffusion介面皆適用。
**本篇心得無18禁內容,但提供的連結所連向的網頁有可能會有,請注意。

ControlNet 1.1.150

  最近ControlNet再度迎來了一個小更新,這次添加了一種Prepocessor模式「reference_only」

  這項新功能無須下載和使用ControlNet的model,只需要更新ControlNet即可在Prepocessor中選用。更新方法如下圖,請前往Extensions分頁 Installed子分頁 → Check for updates → 跑完檢查後點擊「Apply & restart UI」:

更新的介面

更新的介面

  如欲新安裝ControlNet插件,請如下圖前往Extensions分頁 → Available子分頁 → 點擊Load from: → 在出現的清單中找到 sd-webui-controlnet 項目並點按期右邊的Installed 按鈕 → 等畫面重新變亮即是安裝好 → 回Installed子分頁點擊「Apply & restart UI」(請參考上方更新的介面截圖):

新安裝的介面

新安裝的介面

  如果更新/安裝後無法順利使用ControlNet,可關掉Stable Diffusion的命令提示字元視窗重新啟動程式再試。


reference_only

  「reference」意即「參考」,所以reference_only = 僅作參考。換言之,此Preprocessor可在完全不提供正面提示詞(+Prompt)的情況下,根據原圖「發想」新的圖片。

  乍聽之下似乎和圖算圖(Image2Image)功能類似,不過實際上提供了比圖算圖更大的自由度但又不失保留原圖特徵。以下僅以之前心得 忠實放大、增添細節 ControlNet 1.1 - Tile Resample - Stable Diffusion 中的範例圖片作為這篇心得的reference_only原圖:

用作reference_only操作的發想原圖

用作reference_only操作的發想原圖


model (checkpoint):chilloutmix
vae: blessed2.vae.pt
負面提示詞(-Prompts):
bad-hands-5, ng_deepnegative_v1_75t.pt, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot), (nsfw)
Steps: 33
Sampler: DPM++ SDE Karras
CFG scale: 5

*bad-hands-5 Textual Inversion由此下載
*ng_deepnegative_v1_75 Textual Inversion由此下載

  正面提示詞空著並使用隨機seed,方便Stable Diffusion自行發揮。ControlNet的設定則如下圖,基本上是預設值:

此次心得使用的reference_only設定

此次心得使用的reference_only設定

  因為Stable Diffusion有算大圖會亂畫的毛病,所以雖然原圖是1024x1568,但算圖時我將解析圖調整為一半的512x784。

  以下是三張算圖結果,除了seed以外設定完全相同。再次強調這是在正面提示詞空白的情況下算出來的結果:

圖1813378786

圖1813378786

圖1813378787

圖1813378787

圖1813378788

圖1813378788

  感覺還蠻有意思的,所以也試試看套用其他model (checkpoint)上:

Deliberate

圖4191577374

圖4191577374

ReV Animated

圖1900644945

圖1900644945

SweetMix

圖2014883194

圖2014883194

  以人物而言,我認為reference_only最能具現化的特徵當屬五官髮色,以及整體打光著色風格--雖然我不知道為什麼各model都很喜歡找紅色來填充。

  這次粗略測試後,我想reference_only的最大用途是尋找參考圖後快速生成衍生版本,再從衍生版本中選取滿意的結果精緻化(例如加入正面提示詞、放大尺寸),或是從中提取內容(例如以圖產生提示詞),而且reference_only也能與圖算圖或inpaint(遮罩局部修正)搭配使用喔。

  祝大家「參考」愉快!

留言
avatar-img
留言分享你的想法!
子不語-avatar-img
2023/05/15
這樣生成LoRA訓練素材圖的速度可以增加十倍。唯一的問題是Mac現在有bug沒辦法用這招(殘念)。
黑米BR-avatar-img
發文者
2023/05/15
子不語 另一方面我目前是用Vlad Diffusion。
黑米BR-avatar-img
發文者
2023/05/23
ACG LoRA的寫實風運用 - Stable Diffusion提及了這篇文章,趕快過去看看吧!
avatar-img
︾黑米BR的沙龍︽
82會員
105內容數
筆者探索各種感興趣事物的紀錄。 *副帳非主流政治沙龍《黑米BR不政確》:https://vocus.cc/user/@BRriceP
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
看更多
你可能也想看
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
外掛擴充 Extensions對Stable Diffusion來說非重要,如果少了它,SD就不會如此豐富多元,比起其它繪圖AI更具可玩性。在開始介紹一些好用實用的外掛前,我們先來了解一下WebUi上所有外掛程式安裝、更新、移除與備份的方法。
Thumbnail
外掛擴充 Extensions對Stable Diffusion來說非重要,如果少了它,SD就不會如此豐富多元,比起其它繪圖AI更具可玩性。在開始介紹一些好用實用的外掛前,我們先來了解一下WebUi上所有外掛程式安裝、更新、移除與備份的方法。
Thumbnail
開源軟體時常更新版本,有時新出的外掛擴充或是Stability.Ai所更新發佈的新模型會需要更新版本的WebUi操作介面才能運行。所以每隔一段時間都要記得去注意一下是否有修正/新增功能的版本可以更新。 確認目前使用的WebUi版本~ 這個Stable Diffusion WebUi是由AUT
Thumbnail
開源軟體時常更新版本,有時新出的外掛擴充或是Stability.Ai所更新發佈的新模型會需要更新版本的WebUi操作介面才能運行。所以每隔一段時間都要記得去注意一下是否有修正/新增功能的版本可以更新。 確認目前使用的WebUi版本~ 這個Stable Diffusion WebUi是由AUT
Thumbnail
本篇要來講解一下身為Automatic1111最重要的外掛ControlNet的安裝方法。
Thumbnail
本篇要來講解一下身為Automatic1111最重要的外掛ControlNet的安裝方法。
Thumbnail
本篇要來解說Automatic1111這個軟體很重要的一部分,就是外掛(Extension)管理。 外掛是Automatic1111之所以超越玩具與學術研究工具,成為有生產力的軟體的關鍵。
Thumbnail
本篇要來解說Automatic1111這個軟體很重要的一部分,就是外掛(Extension)管理。 外掛是Automatic1111之所以超越玩具與學術研究工具,成為有生產力的軟體的關鍵。
Thumbnail
本文帶領大家學習如何調整 Stable Diffusion WebUI 上各種參數。我們以 txt2img 為例,帶大家認識基本設定、Sampling method 或 CFG scale 等各種參數調教,以及參數間彼此的影響,讓大家能夠初步上手,熟悉 AI 算圖!
Thumbnail
本文帶領大家學習如何調整 Stable Diffusion WebUI 上各種參數。我們以 txt2img 為例,帶大家認識基本設定、Sampling method 或 CFG scale 等各種參數調教,以及參數間彼此的影響,讓大家能夠初步上手,熟悉 AI 算圖!
Thumbnail
最近ControlNet再度迎來了一個小更新,這次添加了一種Prepocessor模式「reference_only」。
Thumbnail
最近ControlNet再度迎來了一個小更新,這次添加了一種Prepocessor模式「reference_only」。
Thumbnail
S1.至 https://github.com/Mikubill/sd-webui-controlnet 了解安裝方式 並安裝 python 3.10.6 版 S2.下載 stable-diffusion-webui S3.下載後 點擊 webui.bat 若無法順利安裝 可參考 環境安裝方式 A
Thumbnail
S1.至 https://github.com/Mikubill/sd-webui-controlnet 了解安裝方式 並安裝 python 3.10.6 版 S2.下載 stable-diffusion-webui S3.下載後 點擊 webui.bat 若無法順利安裝 可參考 環境安裝方式 A
Thumbnail
介紹有關於一些小修改的方便插件。
Thumbnail
介紹有關於一些小修改的方便插件。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News