SDXL版本的ControlNet XL上線了,新增兩個功能:圖片重新上色+圖片風格學習

更新 發佈閱讀 5 分鐘

幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。

就我的感覺來說,SDXL版本的ControlNet討論度似乎較低,至少我的YT與新聞版面並沒有因為ControlNet XL的出現而排山倒海的向我推播相關訊息。反倒是我最近想說都過這麼久了,ControlNet XL總該上線了吧才自己去查一些相關訊息,原來ControlNet XL已在八月底上線了。

同樣的,網路上也是有許多網友反應更新後出現一堆有的沒的怪問題,所以仍是建議安裝前先做備份。(我一樣是懶人,這次也直接更新了)

安裝ControlNet XL

想使用ControlNet XL沒有特別的動作要做,它仍然是與stable diffusion完全結合,只要把軟體版本更新到最新版,並記得下載正確的ControlNet模型即可。

1.更新stable diffusion webui至最新版:

在cmd指令模式切換到stable diffusion webui安裝資料夾下,並執行git pull指令即可。

raw-image

2.更新ControlNet至最新版:

這個照一般外掛套件的更新方式即可,在UI介面中切換至Extensions頁籤,接著點擊Check for updates按鈕,更新後重啟stable diffusion webui即可。

raw-image

3.下載ControlNet XL版本新模型:

至下列網址下載專屬於ControlNet XL的新版解析模型:

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

在這次釋出的模型中,不同以往只有單一官方版本的模型,而是列出了各種不同來源的模型,此處依自己喜好擇一下載即可,我覺得相同功能的模型大同小異,並沒有特定版本最好或特定版本最差這種事。

raw-image

同樣的,也是建議僅下載自己需要的即可,不需要一股腦的全部下載。

將下載後的檔案放至stable-diffusion-webui資料夾\extensions\sd-webui-controlnet\models即可。

模型檔案名稱的邏輯與以前一致,從檔名就可以判斷功能,例如openpose就是最經典的姿勢解析,而名稱帶有xl的才是XL版本的專用模型。

若比較生疏的話,可以回頭看看我以前的教學,雖然這些文章已有一段時日,但ControlNet的介面結構與使用邏輯其實並沒有太大的變化,這些教學還是通用的。

AI繪圖-用ControlNet控制人物姿勢:良心教學,沒必要下載全套,我只教你有用的!

AI繪圖-可以直接控制人物表情的ControlNet1.1來了!來看看如何更新,以及多了什麼功能?


實際使用ControlNet XL

使用方式跟以前一樣,但要記得新舊版的模型是不通用的,例如當你使用1.5版本的模型繪圖時,則ControlNet的模型也要選擇舊版的,而當你使用SDXL版本的模型繪圖時,ControlNet的模型就一定要選XL版本的,否則會出錯。

下面簡單的測一下最經典的openpose姿勢偵測,操作上一樣是先在ControlNet中傳入一張基礎姿勢參考圖,而Preprocessor與對應的Model都是選擇openpose,我這次是使用DreamShaperXL做為繪圖模型,所以ControlNet Model也要記得選擇XL版的openpose。

raw-image

繪製成品如下,類似的教學與測試我已經寫過太多次了,在此簡單帶過就好。

raw-image

新功能:

在這次更新中,有多了兩個有趣的小模型,recolor與ip-adapter,模型檔有分1.5版使用的與XL使用的,兩者不互通,不要下載錯了,模型名稱有sd15的即是1.5版專用,名稱有xl則是XL專用。

1.recolor,圖片重新上色

這個模型用於對一張圖片重新上色,直接在Model中選用此模型即可,不需要指定Preporcessor,並傳入一張想重新上色的基底圖:

raw-image

在繪圖prompt中可以輸入你對顏色的期望(但仍然充滿隨機性,不一定符合你的期待。)

例如我輸入的prompt如下:

raw-image

則繪圖結果如下:

raw-image


這個功能比較實用的場景可能是對一張黑白圖片或線稿做上色處理。

2.ip-adapter圖片風格學習

這個功能可以讓ControlNet模仿一個基底圖的風格並依此風格繪製新圖。

首先在Preprocessor與Model都是選擇ip-adapter,並傳入一張特定風格的圖片,接著就可以開始繪圖。(第一次使用這功能時有可能要等待它下載一些額外物件。)

raw-image

而繪製成品如下:

raw-image


網路上的教學有的會說這算是簡易版的Lora,但我用起來還是覺得不太一樣,因為依賴這功能畫出來的圖會跟原圖極度相似,不只是圖片風格,包括整體色調與構圖都會非常相像,即使修改prompt也很難改變這個特性。

以我測的這張圖片來說,我刻意亂寫一堆跟原圖內容毫不相關的prompt,但它畫出來仍然是中古風格的女性,而且幾乎無視了我全部的prompt要求。

我使用的prompt:

girl,office white shirt,photo,looking back,smile,laugh,blue sky,blue eyes,car,red lighting,birds,

其它心得:

SDXL也許使用門檻較高,討論度似乎一直不算高,相對的ControlNet XL也一樣低調,相比以前我YT或是新聞一開就是一整排的推播差異挺大。

看網路論壇,大家還是以SD 1.5版本為主流,想想也是,1.5畢竟硬體門檻較低,效能較好,CP值較高。而若想要使用SDXL,很多基礎模組都要重新下載,而這些新模組又大上許多,完全是個大工程,所以會有現在的這個現象完全可以理解。



留言
avatar-img
留言分享你的想法!
avatar-img
因人廢言
285會員
92內容數
沙龍自介: 雜文派,舉凡AI介紹、科技新知、廢談網誌、小說動漫通通都寫。雖說如此,但目前以AI與科技類文章為主軸,我也不知道怎麼變這樣的,holy 媽祖。 本人不喜歡看長篇文章,也不擅長寫長篇文章,我的意思是:我的優點是廢話很少,看我一篇文不會花你太多時間。
因人廢言的其他內容
2024/03/19
簡介stable diffusion外掛之一的SadTalker。它能將靜態圖像配合聲音檔轉成對嘴動畫。 同時附上使用範例,惡搞了黃國昌甩蔥歌與川普。
Thumbnail
2024/03/19
簡介stable diffusion外掛之一的SadTalker。它能將靜態圖像配合聲音檔轉成對嘴動畫。 同時附上使用範例,惡搞了黃國昌甩蔥歌與川普。
Thumbnail
2024/02/20
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
Thumbnail
2024/02/20
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
Thumbnail
2024/01/26
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
Thumbnail
2024/01/26
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
Thumbnail
看更多
你可能也想看
Thumbnail
還在煩惱平凡日常該如何增添一點小驚喜嗎?全家便利商店這次聯手超萌的馬來貘,推出黑白配色的馬來貘雪糕,不僅外觀吸睛,層次豐富的雙層口味更是讓人一口接一口!本文將帶你探索馬來貘雪糕的多種創意吃法,從簡單的豆漿燕麥碗、藍莓果昔,到大人系的奇亞籽布丁下午茶,讓可愛的馬來貘陪你度過每一餐,增添生活中的小確幸!
Thumbnail
還在煩惱平凡日常該如何增添一點小驚喜嗎?全家便利商店這次聯手超萌的馬來貘,推出黑白配色的馬來貘雪糕,不僅外觀吸睛,層次豐富的雙層口味更是讓人一口接一口!本文將帶你探索馬來貘雪糕的多種創意吃法,從簡單的豆漿燕麥碗、藍莓果昔,到大人系的奇亞籽布丁下午茶,讓可愛的馬來貘陪你度過每一餐,增添生活中的小確幸!
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
Thumbnail
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
最近ControlNet最新版1.222引入了新的Inpaint模型 -- Inpaint_only+lama,是一個比Inpaint_only更能推論新圖象的模型。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News