Stable Diffusion進階 -- CLIP Skip 2
前言
當我在civitai上面逛模組，發現美圖時，都會把這張圖的提示詞複製下來玩玩看。有時候有些圖會有額外的參數，其中最常看到的就是CLIP Skip 2這個東西。
- 我也發現在一些模組的說明，會推薦你使用CLIP Skip 2來取得不同的效果。例如DreamShaper模組就有提到他的某些圖有使用這個參數。網路上一些文章討論到這個參數能讓你跑出來的圖更有創意，或出現更好的效果。到底CLIP Skip 2是什麼，為什麼能出現更好的效果，根據什麼原理，要怎麼使用。
我學到的心得：
- CLIP Skip 2適用於1.5版的衍生模型，2.1及其以後版本不適用。
- CLIP Skip 2在模組推薦時使用效果最好，否則只是讓你的提示詞無效化。
- CLIP Skip 2在使用過擬合的LoRA時也可以使用，降低LoRA鎖定整體畫風的程度。
什麼是CLIP Skip
CLIP是我們在使用Automatic1111時，1.5版模組的預設文字編碼器（text embedding model），意思是，當你的提示詞要輸入Stable Diffusion時，第一關就是要在CLIP裡面將你的文字轉化成一個向量矩陣。略過細節，簡單說，就是你的每個提示詞會經過一個超大的分類器，將你的提示詞變成一個能讓AI認得的編號。
而CLIP內部有十二層結構，由上往下分類越來越仔細，例如第X層規定了person（人物）的編碼，X+1層就規定了諸如man（男人），woman（女人），1girl（一個女孩）的編碼。當然實際上比這個複雜許多，但是你可以在概念上類比這種分層分類概念。
而所謂的CLIP Skip，就是告訴AI在某層之後就不再往下繼續細分。例如你想要一個老年男子有白鬍穿白袍戴白帽手拿魔杖的巫師。在CLIP Skip 2的情況下，AI可能省略白鬍，或者白袍，或者巫師的概念。在CLIP Skip越高的情況下AI就會省略越多的分類細項。到了CLIP Skip 12的最高值，所有分層都被省略，AI會完全忽略你的提示詞自由創作。
Stable Diffusion 1.5版的文字分類器是使用OpenAI的CLIP，而2.1之後的版本換成了OpenCLIP，這兩個東西的結構不同，所以CLIP Skip這個參數只對1.5版的衍生模組有用，到了2.1版之後的衍生模組是無效的。
怎麼啟用與使用CLIP Skip
在Automatic1111底下，選擇Setting，選擇User Interface，裡面有個Quicksettings list的選項，把值更換成：
sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers
然後重新啟動Automatic1111，就會在網頁最上方多出兩個新選項，分別是VAE模組，以及CLIP Skip的滑桿。預設是1。
當你算圖時，只要CLIP Skip的值不是1，產出的圖片都會附上CLIP Skip的數值作為PNG Info貼在圖片上。
何時使用CLIP Skip
在使用CLIP Skip 2之前，要先了解為何需要告訴AI省略更細的分類。
一般來說，普通的模組並不需要省略任何的CLIP層，否則你只會得到一個省略你大部分提示詞的圖，並不是你想要的結果。但是對於特化訓練的模組與LoRA，就能避免過擬合（overfitting）的結果。
簡單來說，模組作者在訓練模組的時候，是根據某些類型的偏好特意挑選訓練圖片，例如動漫向模組就拿動漫片圖片，真人向就拿Cosplayer現場照片，漫畫向就拿日本漫畫圖片。這些類型模組被有意塑造出特定偏好，也就是偏見（Bias）。所以在真人向模組裡，1girl提示詞就會出現化妝年輕女孩照片等級的圖，漫畫向就會出現日漫名家等級的美少女。這是被故意訓練進模組裡面的，但同時間也訓練進了許多不想要的特徵。例如半身像（half body portrait）出來的永遠是那幾個站姿與角度，人物表情不跟隨你的其他提示詞而變動，服裝出現的基礎類型與配色都差不多，這都是跟模組訓練時取材的新圖的偏好有強烈相關。
LoRA也是一樣道理，而且他對畫風的限制與影響更大，因為LoRA用的訓練圖更少更專一。
為了破除這個侷限，CLIP Skip 2就是一個很好的方法。藉由忽略最下面兩層規定過分細節的編碼，AI在算圖時也就能不那麼被模組與LoRA強烈的偏好限制住，從而帶給大家更驚喜的結果。
例如下面這個對比：
(best quality), (realistic), (photorealistic), extremely detailed, RAW photo,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face,
Vallaria wearing headband,
detailed background, ((fantasy)), resting by campfire, night, dark, forest
<lora:VallariaV2:0.3>
在這邊我使用了我的自製LoRA，要她表現出在夜晚昏暗的森林裡，在營火旁休息的場景，而這是我在不設定CLIP Skip與設為2的比較：
可以看到，在CLIP Skip 1的時候，五張輸出的圖畫，角色都符合我的LoRA的訓練圖的特徵，而在CLIP Skip 2的時候，髮色已經開始丟失，從我設定的銀色變成金色或黑色，臉型也開始改變。
但是同時，LoRA給畫風造成的影響，例如過度明亮的光，強制鎖定在白天或傍晚的場景，也在CLIP Skip 2的影響下變成了我提示詞要求的dark與night。
也就是說，在這兩種場合，使用CLIP Skip 2反而能得到比較順從你的提示詞的結果：
- 模組下載頁面建議你使用CLIP Skip 2，因為作者自己測試也發現模組過擬合了。
- 使用了會強烈影響畫風，甚至無視提示詞的LoRA時。雖然可能會損失一些你需要的特徵，但是可以藉由加上關鍵字補回來。
參考文件
- What exactly is clip skip?
- Stable Diffusion Automatic1111 Clip Skip Explained | Clip Skip | Detailed Guide
- Clip Skip 1 vs 2 Comparison - Stable Diffusion AUTOMATIC1111 web ui
進階技巧目錄：
- Stable Diffusion進階 -- 製作角色設定圖
- Stable Diffusion進階 -- 轉換線稿/漫畫稿
- Stable Diffusion進階 -- 常用網站
- Stable Diffusion進階 -- CLIP Skip 2
- Stable Diffusion進階 -- 臉崩修復
- Stable Diffusion進階 -- X/Y/Z plot
- Stable Diffusion進階 -- 提示詞矩陣
- Stable Diffusion進階 -- 練習，歡迎來到我的家鄉
- Stable Diffusion進階 -- 穿衣換衣術
- Stable Diffusion進階 -- 醒來！表情變換
- Stable Diffusion進階 -- 雷光變幻！
- Stable Diffusion進階 -- 糊臉清晰化
- Stable Diffusion進階 -- 練習，這是利息
- Stable Diffusion進階 -- 人工與工人智慧去背
- Stable Diffusion進階 -- 手部修復
- Stable Diffusion進階 -- ControlNet新功能Reference
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
本文介紹如何使用即夢Dreamina視頻生成工具，以及相關的技巧和注意事項。即夢Dreamina是一個能夠通過靠頭尾幀補中間的幀生成完整視頻的AI工具，並提供每日60積分的服務。文章將介紹製作圖片、背景修改、運鏡控制等步驟，並提供無限生成穿梭動畫的方法。
Spline是一款輕量化的3D建模工具，只需在網頁上登入就能輕鬆繪製3D物件並加上互動效果，創作出的成品還可以轉成程式碼應用在網站或app上，也能轉成其他3D格式或影片、圖片...等。而Spline其實在去年時就有推出AI生成3D設計了，最近官方又有發布AI更新訊息，新版的 Spline AI 專注
接續著前篇，接著我要使用圖生圖的方式去達成多人構圖的目的，本篇會使用幾種圖生圖的工作流去測試。
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片，讓AI去理解圖像內容，或是直接參考圖像的構圖或色彩，再產生新的圖片。
雖然我最常用的是文字提示詞的方式生圖，但是圖像提示詞的應用比文字提示詞更廣也更加複雜，尤其在生成影片的範疇。
即使OpenAI在近日發表了強大的文生影片的Sora模型，但畢
為了測試特定的假設，研究人員為了測試這些假設的可行性，可以考慮決定使用Constraints Model，其對模型對特定參數進限制。 本文將講解 Constraints Model的定義和如何在RI-CLPM運用，以及如何在Mplus執行該模型。
軟體版本：CLIP STUDIO PAINT Ver.1.12.0
這裡預設讀者知道電腦繪圖的基本常識，並且有能力繪製一張彩色插畫，所以不會介紹任何基本概念，例如：圖層是什麼、色相環如何使用...等，也不會提到 CSP 繪圖環境設置（因為我就直接使用預設XD），如果需要基本教程，可以試試看 CLI
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
本文介紹如何使用即夢Dreamina視頻生成工具，以及相關的技巧和注意事項。即夢Dreamina是一個能夠通過靠頭尾幀補中間的幀生成完整視頻的AI工具，並提供每日60積分的服務。文章將介紹製作圖片、背景修改、運鏡控制等步驟，並提供無限生成穿梭動畫的方法。
Spline是一款輕量化的3D建模工具，只需在網頁上登入就能輕鬆繪製3D物件並加上互動效果，創作出的成品還可以轉成程式碼應用在網站或app上，也能轉成其他3D格式或影片、圖片...等。而Spline其實在去年時就有推出AI生成3D設計了，最近官方又有發布AI更新訊息，新版的 Spline AI 專注
接續著前篇，接著我要使用圖生圖的方式去達成多人構圖的目的，本篇會使用幾種圖生圖的工作流去測試。
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片，讓AI去理解圖像內容，或是直接參考圖像的構圖或色彩，再產生新的圖片。
雖然我最常用的是文字提示詞的方式生圖，但是圖像提示詞的應用比文字提示詞更廣也更加複雜，尤其在生成影片的範疇。
即使OpenAI在近日發表了強大的文生影片的Sora模型，但畢
為了測試特定的假設，研究人員為了測試這些假設的可行性，可以考慮決定使用Constraints Model，其對模型對特定參數進限制。 本文將講解 Constraints Model的定義和如何在RI-CLPM運用，以及如何在Mplus執行該模型。
軟體版本：CLIP STUDIO PAINT Ver.1.12.0
這裡預設讀者知道電腦繪圖的基本常識，並且有能力繪製一張彩色插畫，所以不會介紹任何基本概念，例如：圖層是什麼、色相環如何使用...等，也不會提到 CSP 繪圖環境設置（因為我就直接使用預設XD），如果需要基本教程，可以試試看 CLI