幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
就我的感覺來說,SDXL版本的ControlNet討論度似乎較低,至少我的YT與新聞版面並沒有因為ControlNet XL的出現而排山倒海的向我推播相關訊息。反倒是我最近想說都過這麼久了,ControlNet XL總該上線了吧才自己去查一些相關訊息,原來ControlNet XL已在八月底上線了。
同樣的,網路上也是有許多網友反應更新後出現一堆有的沒的怪問題,所以仍是建議安裝前先做備份。(我一樣是懶人,這次也直接更新了)
想使用ControlNet XL沒有特別的動作要做,它仍然是與stable diffusion完全結合,只要把軟體版本更新到最新版,並記得下載正確的ControlNet模型即可。
在cmd指令模式切換到stable diffusion webui安裝資料夾下,並執行git pull指令即可。
這個照一般外掛套件的更新方式即可,在UI介面中切換至Extensions頁籤,接著點擊Check for updates按鈕,更新後重啟stable diffusion webui即可。
至下列網址下載專屬於ControlNet XL的新版解析模型:
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
在這次釋出的模型中,不同以往只有單一官方版本的模型,而是列出了各種不同來源的模型,此處依自己喜好擇一下載即可,我覺得相同功能的模型大同小異,並沒有特定版本最好或特定版本最差這種事。
同樣的,也是建議僅下載自己需要的即可,不需要一股腦的全部下載。
將下載後的檔案放至stable-diffusion-webui資料夾\extensions\sd-webui-controlnet\models即可。
模型檔案名稱的邏輯與以前一致,從檔名就可以判斷功能,例如openpose就是最經典的姿勢解析,而名稱帶有xl的才是XL版本的專用模型。
若比較生疏的話,可以回頭看看我以前的教學,雖然這些文章已有一段時日,但ControlNet的介面結構與使用邏輯其實並沒有太大的變化,這些教學還是通用的。
AI繪圖-用ControlNet控制人物姿勢:良心教學,沒必要下載全套,我只教你有用的!
AI繪圖-可以直接控制人物表情的ControlNet1.1來了!來看看如何更新,以及多了什麼功能?
使用方式跟以前一樣,但要記得新舊版的模型是不通用的,例如當你使用1.5版本的模型繪圖時,則ControlNet的模型也要選擇舊版的,而當你使用SDXL版本的模型繪圖時,ControlNet的模型就一定要選XL版本的,否則會出錯。
下面簡單的測一下最經典的openpose姿勢偵測,操作上一樣是先在ControlNet中傳入一張基礎姿勢參考圖,而Preprocessor與對應的Model都是選擇openpose,我這次是使用DreamShaperXL做為繪圖模型,所以ControlNet Model也要記得選擇XL版的openpose。
繪製成品如下,類似的教學與測試我已經寫過太多次了,在此簡單帶過就好。
在這次更新中,有多了兩個有趣的小模型,recolor與ip-adapter,模型檔有分1.5版使用的與XL使用的,兩者不互通,不要下載錯了,模型名稱有sd15的即是1.5版專用,名稱有xl則是XL專用。
這個模型用於對一張圖片重新上色,直接在Model中選用此模型即可,不需要指定Preporcessor,並傳入一張想重新上色的基底圖:
在繪圖prompt中可以輸入你對顏色的期望(但仍然充滿隨機性,不一定符合你的期待。)
例如我輸入的prompt如下:
則繪圖結果如下:
這個功能比較實用的場景可能是對一張黑白圖片或線稿做上色處理。
這個功能可以讓ControlNet模仿一個基底圖的風格並依此風格繪製新圖。
首先在Preprocessor與Model都是選擇ip-adapter,並傳入一張特定風格的圖片,接著就可以開始繪圖。(第一次使用這功能時有可能要等待它下載一些額外物件。)
而繪製成品如下:
網路上的教學有的會說這算是簡易版的Lora,但我用起來還是覺得不太一樣,因為依賴這功能畫出來的圖會跟原圖極度相似,不只是圖片風格,包括整體色調與構圖都會非常相像,即使修改prompt也很難改變這個特性。
以我測的這張圖片來說,我刻意亂寫一堆跟原圖內容毫不相關的prompt,但它畫出來仍然是中古風格的女性,而且幾乎無視了我全部的prompt要求。
我使用的prompt:
girl,office white shirt,photo,looking back,smile,laugh,blue sky,blue eyes,car,red lighting,birds,
SDXL也許使用門檻較高,討論度似乎一直不算高,相對的ControlNet XL也一樣低調,相比以前我YT或是新聞一開就是一整排的推播差異挺大。
看網路論壇,大家還是以SD 1.5版本為主流,想想也是,1.5畢竟硬體門檻較低,效能較好,CP值較高。而若想要使用SDXL,很多基礎模組都要重新下載,而這些新模組又大上許多,完全是個大工程,所以會有現在的這個現象完全可以理解。