Stable Diffusion進階 -- CLIP Skip 2
更新於 2023/05/18閱讀時間約 8 分鐘
前言
當我在civitai上面逛模組，發現美圖時，都會把這張圖的提示詞複製下來玩玩看。有時候有些圖會有額外的參數，其中最常看到的就是CLIP Skip 2這個東西。
- 我也發現在一些模組的說明，會推薦你使用CLIP Skip 2來取得不同的效果。例如DreamShaper模組就有提到他的某些圖有使用這個參數。網路上一些文章討論到這個參數能讓你跑出來的圖更有創意，或出現更好的效果。到底CLIP Skip 2是什麼，為什麼能出現更好的效果，根據什麼原理，要怎麼使用。
我學到的心得：
- CLIP Skip 2適用於1.5版的衍生模型，2.1及其以後版本不適用。
- CLIP Skip 2在模組推薦時使用效果最好，否則只是讓你的提示詞無效化。
- CLIP Skip 2在使用過擬合的LoRA時也可以使用，降低LoRA鎖定整體畫風的程度。
什麼是CLIP Skip
CLIP是我們在使用Automatic1111時，1.5版模組的預設文字編碼器（text embedding model），意思是，當你的提示詞要輸入Stable Diffusion時，第一關就是要在CLIP裡面將你的文字轉化成一個向量矩陣。略過細節，簡單說，就是你的每個提示詞會經過一個超大的分類器，將你的提示詞變成一個能讓AI認得的編號。
而CLIP內部有十二層結構，由上往下分類越來越仔細，例如第X層規定了person（人物）的編碼，X+1層就規定了諸如man（男人），woman（女人），1girl（一個女孩）的編碼。當然實際上比這個複雜許多，但是你可以在概念上類比這種分層分類概念。
而所謂的CLIP Skip，就是告訴AI在某層之後就不再往下繼續細分。例如你想要一個老年男子有白鬍穿白袍戴白帽手拿魔杖的巫師。在CLIP Skip 2的情況下，AI可能省略白鬍，或者白袍，或者巫師的概念。在CLIP Skip越高的情況下AI就會省略越多的分類細項。到了CLIP Skip 12的最高值，所有分層都被省略，AI會完全忽略你的提示詞自由創作。
Stable Diffusion 1.5版的文字分類器是使用OpenAI的CLIP，而2.1之後的版本換成了OpenCLIP，這兩個東西的結構不同，所以CLIP Skip這個參數只對1.5版的衍生模組有用，到了2.1版之後的衍生模組是無效的。
怎麼啟用與使用CLIP Skip
在Automatic1111底下，選擇Setting，選擇User Interface，裡面有個Quicksettings list的選項，把值更換成：
sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers
然後重新啟動Automatic1111，就會在網頁最上方多出兩個新選項，分別是VAE模組，以及CLIP Skip的滑桿。預設是1。
當你算圖時，只要CLIP Skip的值不是1，產出的圖片都會附上CLIP Skip的數值作為PNG Info貼在圖片上。
何時使用CLIP Skip
在使用CLIP Skip 2之前，要先了解為何需要告訴AI省略更細的分類。
一般來說，普通的模組並不需要省略任何的CLIP層，否則你只會得到一個省略你大部分提示詞的圖，並不是你想要的結果。但是對於特化訓練的模組與LoRA，就能避免過擬合（overfitting）的結果。
簡單來說，模組作者在訓練模組的時候，是根據某些類型的偏好特意挑選訓練圖片，例如動漫向模組就拿動漫片圖片，真人向就拿Cosplayer現場照片，漫畫向就拿日本漫畫圖片。這些類型模組被有意塑造出特定偏好，也就是偏見（Bias）。所以在真人向模組裡，1girl提示詞就會出現化妝年輕女孩照片等級的圖，漫畫向就會出現日漫名家等級的美少女。這是被故意訓練進模組裡面的，但同時間也訓練進了許多不想要的特徵。例如半身像（half body portrait）出來的永遠是那幾個站姿與角度，人物表情不跟隨你的其他提示詞而變動，服裝出現的基礎類型與配色都差不多，這都是跟模組訓練時取材的新圖的偏好有強烈相關。
LoRA也是一樣道理，而且他對畫風的限制與影響更大，因為LoRA用的訓練圖更少更專一。
為了破除這個侷限，CLIP Skip 2就是一個很好的方法。藉由忽略最下面兩層規定過分細節的編碼，AI在算圖時也就能不那麼被模組與LoRA強烈的偏好限制住，從而帶給大家更驚喜的結果。
例如下面這個對比：
(best quality), (realistic), (photorealistic), extremely detailed, RAW photo,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face,
Vallaria wearing headband,
detailed background, ((fantasy)), resting by campfire, night, dark, forest
<lora:VallariaV2:0.3>
在這邊我使用了我的自製LoRA，要她表現出在夜晚昏暗的森林裡，在營火旁休息的場景，而這是我在不設定CLIP Skip與設為2的比較：
可以看到，在CLIP Skip 1的時候，五張輸出的圖畫，角色都符合我的LoRA的訓練圖的特徵，而在CLIP Skip 2的時候，髮色已經開始丟失，從我設定的銀色變成金色或黑色，臉型也開始改變。
但是同時，LoRA給畫風造成的影響，例如過度明亮的光，強制鎖定在白天或傍晚的場景，也在CLIP Skip 2的影響下變成了我提示詞要求的dark與night。
也就是說，在這兩種場合，使用CLIP Skip 2反而能得到比較順從你的提示詞的結果：
- 模組下載頁面建議你使用CLIP Skip 2，因為作者自己測試也發現模組過擬合了。
- 使用了會強烈影響畫風，甚至無視提示詞的LoRA時。雖然可能會損失一些你需要的特徵，但是可以藉由加上關鍵字補回來。
參考文件
- What exactly is clip skip?
- Stable Diffusion Automatic1111 Clip Skip Explained | Clip Skip | Detailed Guide
- Clip Skip 1 vs 2 Comparison - Stable Diffusion AUTOMATIC1111 web ui
進階技巧目錄：
- Stable Diffusion進階 -- 製作角色設定圖
- Stable Diffusion進階 -- 轉換線稿/漫畫稿
- Stable Diffusion進階 -- 常用網站
- Stable Diffusion進階 -- CLIP Skip 2
- Stable Diffusion進階 -- 臉崩修復
- Stable Diffusion進階 -- X/Y/Z plot
- Stable Diffusion進階 -- 提示詞矩陣
- Stable Diffusion進階 -- 練習，歡迎來到我的家鄉
- Stable Diffusion進階 -- 穿衣換衣術
- Stable Diffusion進階 -- 醒來！表情變換
- Stable Diffusion進階 -- 雷光變幻！
- Stable Diffusion進階 -- 糊臉清晰化
- Stable Diffusion進階 -- 練習，這是利息
- Stable Diffusion進階 -- 人工與工人智慧去背
- Stable Diffusion進階 -- 手部修復
- Stable Diffusion進階 -- ControlNet新功能Reference
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了，我在本文中列出較重要的8個有感且實用的更新項目。
而那些較為底層的，或是專給高手使用的更新項目我就不細說了。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
可能是這個問題太過基本，所以網路上幾乎沒有人在提問或回答，但我一開始嘗試Stable Diffusion時，常會遇到一個令我困擾的問題----紫色斑塊。
以下講一些有關stable diffusion webui的幾個小操作，都不難，也都很實用，也許其實你早就知道了，這些都不是什麼驚奇的事，但我發現似乎並不是所有人都知道這些事。
這些真的都是一些雞毛蒜皮的小事，不足以獨立寫成一篇教學文章，所以我就簡單的匯整一下就好。
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具，省去了繁瑣的安裝和設定步驟，可以無限生成圖片，且不用註冊就可以免費使用，更棒的是還可以商業使用，為使用者提供更便捷的圖像生成體驗。
在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了，我在本文中列出較重要的8個有感且實用的更新項目。
而那些較為底層的，或是專給高手使用的更新項目我就不細說了。
在我們上一篇文章中，提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數，且套用不同的Model/Lora都需要去找最佳的甜蜜點，這樣難免比較累一點，今天我會介紹一個方式，是相對比較穩定的做法
可能是這個問題太過基本，所以網路上幾乎沒有人在提問或回答，但我一開始嘗試Stable Diffusion時，常會遇到一個令我困擾的問題----紫色斑塊。
以下講一些有關stable diffusion webui的幾個小操作，都不難，也都很實用，也許其實你早就知道了，這些都不是什麼驚奇的事，但我發現似乎並不是所有人都知道這些事。
這些真的都是一些雞毛蒜皮的小事，不足以獨立寫成一篇教學文章，所以我就簡單的匯整一下就好。
stable diffusion 是一款AI繪圖軟體，你可以免費把stable diffusion算出來的圖免費拿來商用，但是像我的電腦因為顯卡太舊而無法快速運行，而浪費很多時間，你只要準備一個google帳號即可。
先說結論：
演算Img2Img時，Sampling Methods（取樣方法）中Karras類型比較忠於原圖，非Karras類型比較放飛自我。
AI 每天每週都在進步，我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝，很快就推出新版了，所以，我把 Automatic1111 最新版本安裝方式寫在這裡，以便盡我所能為各位讀者更新。
建議使用 windows 桌機PC，具有 Nvidia GTX1660以上等級的獨立顯示卡，算圖會比較容易。