SDXL版本的ControlNet XL上線了,新增兩個功能:圖片重新上色+圖片風格學習

閱讀時間約 5 分鐘

幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。

就我的感覺來說,SDXL版本的ControlNet討論度似乎較低,至少我的YT與新聞版面並沒有因為ControlNet XL的出現而排山倒海的向我推播相關訊息。反倒是我最近想說都過這麼久了,ControlNet XL總該上線了吧才自己去查一些相關訊息,原來ControlNet XL已在八月底上線了。

同樣的,網路上也是有許多網友反應更新後出現一堆有的沒的怪問題,所以仍是建議安裝前先做備份。(我一樣是懶人,這次也直接更新了)

安裝ControlNet XL

想使用ControlNet XL沒有特別的動作要做,它仍然是與stable diffusion完全結合,只要把軟體版本更新到最新版,並記得下載正確的ControlNet模型即可。

1.更新stable diffusion webui至最新版:

在cmd指令模式切換到stable diffusion webui安裝資料夾下,並執行git pull指令即可。

raw-image

2.更新ControlNet至最新版:

這個照一般外掛套件的更新方式即可,在UI介面中切換至Extensions頁籤,接著點擊Check for updates按鈕,更新後重啟stable diffusion webui即可。

raw-image

3.下載ControlNet XL版本新模型:

至下列網址下載專屬於ControlNet XL的新版解析模型:

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

在這次釋出的模型中,不同以往只有單一官方版本的模型,而是列出了各種不同來源的模型,此處依自己喜好擇一下載即可,我覺得相同功能的模型大同小異,並沒有特定版本最好或特定版本最差這種事。

raw-image

同樣的,也是建議僅下載自己需要的即可,不需要一股腦的全部下載。

將下載後的檔案放至stable-diffusion-webui資料夾\extensions\sd-webui-controlnet\models即可。

模型檔案名稱的邏輯與以前一致,從檔名就可以判斷功能,例如openpose就是最經典的姿勢解析,而名稱帶有xl的才是XL版本的專用模型。

若比較生疏的話,可以回頭看看我以前的教學,雖然這些文章已有一段時日,但ControlNet的介面結構與使用邏輯其實並沒有太大的變化,這些教學還是通用的。

AI繪圖-用ControlNet控制人物姿勢:良心教學,沒必要下載全套,我只教你有用的!

AI繪圖-可以直接控制人物表情的ControlNet1.1來了!來看看如何更新,以及多了什麼功能?


實際使用ControlNet XL

使用方式跟以前一樣,但要記得新舊版的模型是不通用的,例如當你使用1.5版本的模型繪圖時,則ControlNet的模型也要選擇舊版的,而當你使用SDXL版本的模型繪圖時,ControlNet的模型就一定要選XL版本的,否則會出錯。

下面簡單的測一下最經典的openpose姿勢偵測,操作上一樣是先在ControlNet中傳入一張基礎姿勢參考圖,而Preprocessor與對應的Model都是選擇openpose,我這次是使用DreamShaperXL做為繪圖模型,所以ControlNet Model也要記得選擇XL版的openpose。

raw-image

繪製成品如下,類似的教學與測試我已經寫過太多次了,在此簡單帶過就好。

raw-image

新功能:

在這次更新中,有多了兩個有趣的小模型,recolor與ip-adapter,模型檔有分1.5版使用的與XL使用的,兩者不互通,不要下載錯了,模型名稱有sd15的即是1.5版專用,名稱有xl則是XL專用。

1.recolor,圖片重新上色

這個模型用於對一張圖片重新上色,直接在Model中選用此模型即可,不需要指定Preporcessor,並傳入一張想重新上色的基底圖:

raw-image

在繪圖prompt中可以輸入你對顏色的期望(但仍然充滿隨機性,不一定符合你的期待。)

例如我輸入的prompt如下:

raw-image

則繪圖結果如下:

raw-image


這個功能比較實用的場景可能是對一張黑白圖片或線稿做上色處理。

2.ip-adapter圖片風格學習

這個功能可以讓ControlNet模仿一個基底圖的風格並依此風格繪製新圖。

首先在Preprocessor與Model都是選擇ip-adapter,並傳入一張特定風格的圖片,接著就可以開始繪圖。(第一次使用這功能時有可能要等待它下載一些額外物件。)

raw-image

而繪製成品如下:

raw-image


網路上的教學有的會說這算是簡易版的Lora,但我用起來還是覺得不太一樣,因為依賴這功能畫出來的圖會跟原圖極度相似,不只是圖片風格,包括整體色調與構圖都會非常相像,即使修改prompt也很難改變這個特性。

以我測的這張圖片來說,我刻意亂寫一堆跟原圖內容毫不相關的prompt,但它畫出來仍然是中古風格的女性,而且幾乎無視了我全部的prompt要求。

我使用的prompt:

girl,office white shirt,photo,looking back,smile,laugh,blue sky,blue eyes,car,red lighting,birds,

其它心得:

SDXL也許使用門檻較高,討論度似乎一直不算高,相對的ControlNet XL也一樣低調,相比以前我YT或是新聞一開就是一整排的推播差異挺大。

看網路論壇,大家還是以SD 1.5版本為主流,想想也是,1.5畢竟硬體門檻較低,效能較好,CP值較高。而若想要使用SDXL,很多基礎模組都要重新下載,而這些新模組又大上許多,完全是個大工程,所以會有現在的這個現象完全可以理解。



275會員
90內容數
沙龍自介: 雜文派,舉凡AI介紹、科技新知、廢談網誌、小說動漫通通都寫。雖說如此,但目前以AI與科技類文章為主軸,我也不知道怎麼變這樣的,holy 媽祖。 本人不喜歡看長篇文章,也不擅長寫長篇文章,我的意思是:我的優點是廢話很少,看我一篇文不會花你太多時間。
留言0
查看全部
發表第一個留言支持創作者!
因人廢言 的其他內容
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
tensor.art是一個很新的AI繪圖網站,目前還沒看到有什麼廣告或是業配,目前僅在Stable Diffusion 台灣社群v2社團看到一兩篇廣告跟介紹而已。 目前還沒有具體的營利模式,每天有100個繪圖點可以畫100張圖,但也因為還沒有營利模式,所以就算你想花錢買點數也沒得買。
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
其實我消息算是有點後知後覺,才剛寫完SDXL0.9的消息後,才知道其實SDXL 1.0也發佈了。 有個小小的差別是,目前想試用SDXL 1.0稍微麻煩一點點,它只能在discord中使用。目前還是免費使用,如果它的經營模式跟midjourney一樣的話,應該不久後就要收費了。
SDXL 0.9是stable diffusion新推出的一個繪圖模型,宣稱效果更好,且其訓練基礎由傳統的512x512提升到1024x1024,所以繪製大圖時效果較佳,且據某些網站表示,SDXL 0.9的假想敵會是Midjourney。 這裡介紹兩個可以簡單快速試用SDXL 0.9的網站。
這篇簡介一下目前在stable diffusion web UI中常見常用的四種圖片放大方法,包括:Hires.fix,Upscaler,ControlNet Tile。
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
tensor.art是一個很新的AI繪圖網站,目前還沒看到有什麼廣告或是業配,目前僅在Stable Diffusion 台灣社群v2社團看到一兩篇廣告跟介紹而已。 目前還沒有具體的營利模式,每天有100個繪圖點可以畫100張圖,但也因為還沒有營利模式,所以就算你想花錢買點數也沒得買。
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
其實我消息算是有點後知後覺,才剛寫完SDXL0.9的消息後,才知道其實SDXL 1.0也發佈了。 有個小小的差別是,目前想試用SDXL 1.0稍微麻煩一點點,它只能在discord中使用。目前還是免費使用,如果它的經營模式跟midjourney一樣的話,應該不久後就要收費了。
SDXL 0.9是stable diffusion新推出的一個繪圖模型,宣稱效果更好,且其訓練基礎由傳統的512x512提升到1024x1024,所以繪製大圖時效果較佳,且據某些網站表示,SDXL 0.9的假想敵會是Midjourney。 這裡介紹兩個可以簡單快速試用SDXL 0.9的網站。
這篇簡介一下目前在stable diffusion web UI中常見常用的四種圖片放大方法,包括:Hires.fix,Upscaler,ControlNet Tile。
你可能也想看
Google News 追蹤
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
Enhance This HiDiffusion SDXL是一個AI模型,結合HiDiffusion和SDXL兩種圖像生成模型,可以根據既有影像和文字描述生成新的圖像,可用來提高圖像解析度、修復瑕疵、轉換風格和自由創造新的圖像。
Thumbnail
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
Android版本的ChatGPT,它的語音系統讓我感覺到非常的驚艷,使我忍不住想要搶先來發表一下我的測試報告。 Android版本的ChatGPT在 8月1號正式在台灣上線,我現在已經在使用,不過很可惜的是,它對於一些在網頁版能夠使用的實驗性功能,並沒有辦法在Android app上使用。至少目
Thumbnail
最近 Stability AI 的 SD-XL 即將完工。原先只有 ComfyUI 能支援,但最近注意到 Vlad 也有支援了,遂嘗試了一下。
Thumbnail
20230718 SDXL 搶先體驗!! 如何在自己的電腦上安裝**SDXL 0.9** ~~~~~~~艾粒之異常仔細的教學~~~~~~~ 首先先註冊一個hugging face的帳號 hugging face網址 : https://huggingface.co/ 註冊好後記得到信箱收取確認
Thumbnail
如果在沒有任何限制的情況下,你想活出甚麼版本的自己? 這裡所提到的沒有任何限制的情況,是指不限於你現在所處的現實條件和情況,例如家庭背景、外貌長相、婚姻狀況,你目前的工作條件、職位、薪水、住家環境、學經歷背景、專業技能、朋友圈、社經地位…等,跳脫現實的框架,去思考你想要的全新版本的自己。
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
Enhance This HiDiffusion SDXL是一個AI模型,結合HiDiffusion和SDXL兩種圖像生成模型,可以根據既有影像和文字描述生成新的圖像,可用來提高圖像解析度、修復瑕疵、轉換風格和自由創造新的圖像。
Thumbnail
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
幾乎可以說是跟stable diffusion一體同命的ControlNet的XL版本總算是上線了,算是為SDXL補上最關鍵一塊地圖,以下快速的來瀏覽一下它的安裝方式與功能吧。
Thumbnail
Android版本的ChatGPT,它的語音系統讓我感覺到非常的驚艷,使我忍不住想要搶先來發表一下我的測試報告。 Android版本的ChatGPT在 8月1號正式在台灣上線,我現在已經在使用,不過很可惜的是,它對於一些在網頁版能夠使用的實驗性功能,並沒有辦法在Android app上使用。至少目
Thumbnail
最近 Stability AI 的 SD-XL 即將完工。原先只有 ComfyUI 能支援,但最近注意到 Vlad 也有支援了,遂嘗試了一下。
Thumbnail
20230718 SDXL 搶先體驗!! 如何在自己的電腦上安裝**SDXL 0.9** ~~~~~~~艾粒之異常仔細的教學~~~~~~~ 首先先註冊一個hugging face的帳號 hugging face網址 : https://huggingface.co/ 註冊好後記得到信箱收取確認
Thumbnail
如果在沒有任何限制的情況下,你想活出甚麼版本的自己? 這裡所提到的沒有任何限制的情況,是指不限於你現在所處的現實條件和情況,例如家庭背景、外貌長相、婚姻狀況,你目前的工作條件、職位、薪水、住家環境、學經歷背景、專業技能、朋友圈、社經地位…等,跳脫現實的框架,去思考你想要的全新版本的自己。