SDXL版本的ControlNet XL上線了，新增兩個功能：圖片重新上色+圖片風格學習

幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了，算是為SDXL補上最關鍵一塊地圖，以下快速的來瀏覽一下它的安裝方式與功能吧。

就我的感覺來說，SDXL版本的ControlNet討論度似乎較低，至少我的YT與新聞版面並沒有因為ControlNet XL的出現而排山倒海的向我推播相關訊息。反倒是我最近想說都過這麼久了，ControlNet XL總該上線了吧才自己去查一些相關訊息，原來ControlNet XL已在八月底上線了。

同樣的，網路上也是有許多網友反應更新後出現一堆有的沒的怪問題，所以仍是建議安裝前先做備份。(我一樣是懶人，這次也直接更新了)

安裝ControlNet XL

想使用ControlNet XL沒有特別的動作要做，它仍然是與stable diffusion完全結合，只要把軟體版本更新到最新版，並記得下載正確的ControlNet模型即可。

1.更新stable diffusion webui至最新版：

在cmd指令模式切換到stable diffusion webui安裝資料夾下，並執行git pull指令即可。

2.更新ControlNet至最新版：

這個照一般外掛套件的更新方式即可，在UI介面中切換至Extensions頁籤，接著點擊Check for updates按鈕，更新後重啟stable diffusion webui即可。

3.下載ControlNet XL版本新模型：

至下列網址下載專屬於ControlNet XL的新版解析模型：

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

在這次釋出的模型中，不同以往只有單一官方版本的模型，而是列出了各種不同來源的模型，此處依自己喜好擇一下載即可，我覺得相同功能的模型大同小異，並沒有特定版本最好或特定版本最差這種事。

同樣的，也是建議僅下載自己需要的即可，不需要一股腦的全部下載。

將下載後的檔案放至stable-diffusion-webui資料夾\extensions\sd-webui-controlnet\models即可。

模型檔案名稱的邏輯與以前一致，從檔名就可以判斷功能，例如openpose就是最經典的姿勢解析，而名稱帶有xl的才是XL版本的專用模型。

若比較生疏的話，可以回頭看看我以前的教學，雖然這些文章已有一段時日，但ControlNet的介面結構與使用邏輯其實並沒有太大的變化，這些教學還是通用的。

AI繪圖-用ControlNet控制人物姿勢：良心教學，沒必要下載全套，我只教你有用的!

AI繪圖-可以直接控制人物表情的ControlNet1.1來了!來看看如何更新，以及多了什麼功能?

實際使用ControlNet XL

使用方式跟以前一樣，但要記得新舊版的模型是不通用的，例如當你使用1.5版本的模型繪圖時，則ControlNet的模型也要選擇舊版的，而當你使用SDXL版本的模型繪圖時，ControlNet的模型就一定要選XL版本的，否則會出錯。

下面簡單的測一下最經典的openpose姿勢偵測，操作上一樣是先在ControlNet中傳入一張基礎姿勢參考圖，而Preprocessor與對應的Model都是選擇openpose，我這次是使用DreamShaperXL做為繪圖模型，所以ControlNet Model也要記得選擇XL版的openpose。

繪製成品如下，類似的教學與測試我已經寫過太多次了，在此簡單帶過就好。

新功能：

在這次更新中，有多了兩個有趣的小模型，recolor與ip-adapter，模型檔有分1.5版使用的與XL使用的，兩者不互通，不要下載錯了，模型名稱有sd15的即是1.5版專用，名稱有xl則是XL專用。

1.recolor，圖片重新上色

這個模型用於對一張圖片重新上色，直接在Model中選用此模型即可，不需要指定Preporcessor，並傳入一張想重新上色的基底圖：

在繪圖prompt中可以輸入你對顏色的期望(但仍然充滿隨機性，不一定符合你的期待。)

例如我輸入的prompt如下：

則繪圖結果如下：

這個功能比較實用的場景可能是對一張黑白圖片或線稿做上色處理。

2.ip-adapter圖片風格學習

這個功能可以讓ControlNet模仿一個基底圖的風格並依此風格繪製新圖。

首先在Preprocessor與Model都是選擇ip-adapter，並傳入一張特定風格的圖片，接著就可以開始繪圖。(第一次使用這功能時有可能要等待它下載一些額外物件。)

而繪製成品如下：

網路上的教學有的會說這算是簡易版的Lora，但我用起來還是覺得不太一樣，因為依賴這功能畫出來的圖會跟原圖極度相似，不只是圖片風格，包括整體色調與構圖都會非常相像，即使修改prompt也很難改變這個特性。

以我測的這張圖片來說，我刻意亂寫一堆跟原圖內容毫不相關的prompt，但它畫出來仍然是中古風格的女性，而且幾乎無視了我全部的prompt要求。

我使用的prompt:

girl,office white shirt,photo,looking back,smile,laugh,blue sky,blue eyes,car,red lighting,birds,

其它心得：

SDXL也許使用門檻較高，討論度似乎一直不算高，相對的ControlNet XL也一樣低調，相比以前我YT或是新聞一開就是一整排的推播差異挺大。

看網路論壇，大家還是以SD 1.5版本為主流，想想也是，1.5畢竟硬體門檻較低，效能較好，CP值較高。而若想要使用SDXL，很多基礎模組都要重新下載，而這些新模組又大上許多，完全是個大工程，所以會有現在的這個現象完全可以理解。