2023-09-22|閱讀時間 ‧ 約 6 分鐘

SDXL版本的ControlNet XL上線了,新增兩個功能:圖片重新上色+圖片風格學習

幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。

就我的感覺來說,SDXL版本的ControlNet討論度似乎較低,至少我的YT與新聞版面並沒有因為ControlNet XL的出現而排山倒海的向我推播相關訊息。反倒是我最近想說都過這麼久了,ControlNet XL總該上線了吧才自己去查一些相關訊息,原來ControlNet XL已在八月底上線了。

同樣的,網路上也是有許多網友反應更新後出現一堆有的沒的怪問題,所以仍是建議安裝前先做備份。(我一樣是懶人,這次也直接更新了)

安裝ControlNet XL

想使用ControlNet XL沒有特別的動作要做,它仍然是與stable diffusion完全結合,只要把軟體版本更新到最新版,並記得下載正確的ControlNet模型即可。

1.更新stable diffusion webui至最新版:

在cmd指令模式切換到stable diffusion webui安裝資料夾下,並執行git pull指令即可。

2.更新ControlNet至最新版:

這個照一般外掛套件的更新方式即可,在UI介面中切換至Extensions頁籤,接著點擊Check for updates按鈕,更新後重啟stable diffusion webui即可。

3.下載ControlNet XL版本新模型:

至下列網址下載專屬於ControlNet XL的新版解析模型:

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

在這次釋出的模型中,不同以往只有單一官方版本的模型,而是列出了各種不同來源的模型,此處依自己喜好擇一下載即可,我覺得相同功能的模型大同小異,並沒有特定版本最好或特定版本最差這種事。

同樣的,也是建議僅下載自己需要的即可,不需要一股腦的全部下載。

將下載後的檔案放至stable-diffusion-webui資料夾\extensions\sd-webui-controlnet\models即可。

模型檔案名稱的邏輯與以前一致,從檔名就可以判斷功能,例如openpose就是最經典的姿勢解析,而名稱帶有xl的才是XL版本的專用模型。

若比較生疏的話,可以回頭看看我以前的教學,雖然這些文章已有一段時日,但ControlNet的介面結構與使用邏輯其實並沒有太大的變化,這些教學還是通用的。

AI繪圖-用ControlNet控制人物姿勢:良心教學,沒必要下載全套,我只教你有用的!

AI繪圖-可以直接控制人物表情的ControlNet1.1來了!來看看如何更新,以及多了什麼功能?


實際使用ControlNet XL

使用方式跟以前一樣,但要記得新舊版的模型是不通用的,例如當你使用1.5版本的模型繪圖時,則ControlNet的模型也要選擇舊版的,而當你使用SDXL版本的模型繪圖時,ControlNet的模型就一定要選XL版本的,否則會出錯。

下面簡單的測一下最經典的openpose姿勢偵測,操作上一樣是先在ControlNet中傳入一張基礎姿勢參考圖,而Preprocessor與對應的Model都是選擇openpose,我這次是使用DreamShaperXL做為繪圖模型,所以ControlNet Model也要記得選擇XL版的openpose。

繪製成品如下,類似的教學與測試我已經寫過太多次了,在此簡單帶過就好。

新功能:

在這次更新中,有多了兩個有趣的小模型,recolor與ip-adapter,模型檔有分1.5版使用的與XL使用的,兩者不互通,不要下載錯了,模型名稱有sd15的即是1.5版專用,名稱有xl則是XL專用。

1.recolor,圖片重新上色

這個模型用於對一張圖片重新上色,直接在Model中選用此模型即可,不需要指定Preporcessor,並傳入一張想重新上色的基底圖:

在繪圖prompt中可以輸入你對顏色的期望(但仍然充滿隨機性,不一定符合你的期待。)

例如我輸入的prompt如下:

則繪圖結果如下:


這個功能比較實用的場景可能是對一張黑白圖片或線稿做上色處理。

2.ip-adapter圖片風格學習

這個功能可以讓ControlNet模仿一個基底圖的風格並依此風格繪製新圖。

首先在Preprocessor與Model都是選擇ip-adapter,並傳入一張特定風格的圖片,接著就可以開始繪圖。(第一次使用這功能時有可能要等待它下載一些額外物件。)

而繪製成品如下:


網路上的教學有的會說這算是簡易版的Lora,但我用起來還是覺得不太一樣,因為依賴這功能畫出來的圖會跟原圖極度相似,不只是圖片風格,包括整體色調與構圖都會非常相像,即使修改prompt也很難改變這個特性。

以我測的這張圖片來說,我刻意亂寫一堆跟原圖內容毫不相關的prompt,但它畫出來仍然是中古風格的女性,而且幾乎無視了我全部的prompt要求。

我使用的prompt:

girl,office white shirt,photo,looking back,smile,laugh,blue sky,blue eyes,car,red lighting,birds,

其它心得:

SDXL也許使用門檻較高,討論度似乎一直不算高,相對的ControlNet XL也一樣低調,相比以前我YT或是新聞一開就是一整排的推播差異挺大。

看網路論壇,大家還是以SD 1.5版本為主流,想想也是,1.5畢竟硬體門檻較低,效能較好,CP值較高。而若想要使用SDXL,很多基礎模組都要重新下載,而這些新模組又大上許多,完全是個大工程,所以會有現在的這個現象完全可以理解。



分享至
成為作者繼續創作的動力吧!
© 2024 vocus All rights reserved.