Reference_only - 輕鬆以圖發想 - Stable Diffusion
＊本篇心得Automatic1111和Vlad Diffusion介面皆適用。
＊＊本篇心得無18禁內容，但提供的連結所連向的網頁有可能會有，請注意。
＊＊本篇心得無18禁內容，但提供的連結所連向的網頁有可能會有，請注意。
ControlNet 1.1.150
最近ControlNet再度迎來了一個小更新，這次添加了一種Prepocessor模式「reference_only」：
這項新功能無須下載和使用ControlNet的model，只需要更新ControlNet即可在Prepocessor中選用。更新方法如下圖，請前往Extensions分頁 → Installed子分頁 → Check for updates → 跑完檢查後點擊「Apply & restart UI」：
如欲新安裝ControlNet插件，請如下圖前往Extensions分頁 → Available子分頁 → 點擊Load from: → 在出現的清單中找到 sd-webui-controlnet 項目並點按期右邊的Installed 按鈕 → 等畫面重新變亮即是安裝好 → 回Installed子分頁點擊「Apply & restart UI」（請參考上方更新的介面截圖）：
如果更新/安裝後無法順利使用ControlNet，可關掉Stable Diffusion的命令提示字元視窗重新啟動程式再試。
reference_only
「reference」意即「參考」，所以reference_only ＝ 僅作參考。換言之，此Preprocessor可在完全不提供正面提示詞（+Prompt）的情況下，根據原圖「發想」新的圖片。
乍聽之下似乎和圖算圖（Image2Image）功能類似，不過實際上提供了比圖算圖更大的自由度但又不失保留原圖特徵。以下僅以之前心得
忠實放大、增添細節 ControlNet 1.1 - Tile Resample - Stable Diffusion
中的範例圖片作為這篇心得的reference_only原圖：
model (checkpoint)：chilloutmixvae: blessed2.vae.pt負面提示詞（-Prompts）:bad-hands-5, ng_deepnegative_v1_75t.pt, (low quality, worst quality:1.4), (monochrome:1.1), (greyscale), watermark, text, blurry, jpeg artifacts, cropped, normal quality, signature, username, artist name, cartoon, canvas frame, lowres, (disfigured), (bad art), (deformed), (extra limbs), (b&w), weird colors, (duplicate), (morbid), (mutilated), mutated hands, (poorly drawn hands), (poorly drawn face), (mutation), (ugly), (bad proportions), cloned face, out of frame, gross proportions, (malformed limbs), (missing arms), (missing legs), (extra arms), (extra legs), fused fingers, (long neck), lowres, (grayscale), (skin spots), acnes, skin blemishes, (age spot), (nsfw)Steps: 33Sampler: DPM++ SDE KarrasCFG scale: 5*bad-hands-5 Textual Inversion由此下載
*ng_deepnegative_v1_75 Textual Inversion由此下載
正面提示詞空著並使用隨機seed，方便Stable Diffusion自行發揮。ControlNet的設定則如下圖，基本上是預設值：
因為Stable Diffusion有算大圖會亂畫的毛病，所以雖然原圖是1024x1568，但算圖時我將解析圖調整為一半的512x784。
以下是三張算圖結果，除了seed以外設定完全相同。再次強調這是在正面提示詞空白的情況下算出來的結果：
感覺還蠻有意思的，所以也試試看套用其他model (checkpoint)上：
以人物而言，我認為reference_only最能具現化的特徵當屬五官、髮色，以及整體打光與著色風格－－雖然我不知道為什麼各model都很喜歡找紅色來填充。
這次粗略測試後，我想reference_only的最大用途是尋找參考圖後快速生成衍生版本，再從衍生版本中選取滿意的結果精緻化（例如加入正面提示詞、放大尺寸），或是從中提取內容（例如以圖產生提示詞），而且reference_only也能與圖算圖或inpaint（遮罩局部修正）搭配使用喔。
祝大家「參考」愉快！
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
ComfyUI教學第二階段之［使用ControlNet］，除了介紹controlnet的使用方法，文末還有comfy在2023年12月的更新公告簡單導讀，帶你高速瀏覽一次更新內容。
這個階段一共會有三部影片、三篇文章。
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞，但是會生成完成不同的圖像，為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像，預設工作流中的部份Nodes需要被替換，且替換完要將一些參數改成A1111。
這篇是以預設工作流為基礎，加入提示詞去控制畫面，目的是控制生成圖像的主題跟提升品質。
這篇要來分享使用Stable Diffusion加上拼貼擴展技巧如何製作自己想要的情境圖。以用於日後的小說封面
這個地址可以讓我一鍵安裝目前所有的開源AI應用，包括：
AI繪圖工具：Stable Diffusion的Web UI和comyUI
視訊換臉工具：Face Fusion
聲音課程工具：RVC和XTDS
記住這個地址，它可以讓你一鍵安裝目前所有的開源AI應用。不用管環境配置需要哪一個，直接點擊
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
ComfyUI教學第二階段之［使用ControlNet］，除了介紹controlnet的使用方法，文末還有comfy在2023年12月的更新公告簡單導讀，帶你高速瀏覽一次更新內容。
這個階段一共會有三部影片、三篇文章。
ComfyUI可以直接將WebUI(A1111算法)生成的圖像拉進介面讀取工作流與提示詞，但是會生成完成不同的圖像，為了讓圖像成果更加接近WebUI(A1111算法)生成的圖像，預設工作流中的部份Nodes需要被替換，且替換完要將一些參數改成A1111。
這篇是以預設工作流為基礎，加入提示詞去控制畫面，目的是控制生成圖像的主題跟提升品質。
這篇要來分享使用Stable Diffusion加上拼貼擴展技巧如何製作自己想要的情境圖。以用於日後的小說封面
這個地址可以讓我一鍵安裝目前所有的開源AI應用，包括：
AI繪圖工具：Stable Diffusion的Web UI和comyUI
視訊換臉工具：Face Fusion
聲音課程工具：RVC和XTDS
記住這個地址，它可以讓你一鍵安裝目前所有的開源AI應用。不用管環境配置需要哪一個，直接點擊