Stable Diffusion Webui的QRcode融合實驗紀錄,一個img2img的方法

更新 發佈閱讀 27 分鐘
註:以下僅為本人實驗的紀錄,可能無法一體適用,參數與方法過程僅供有興趣的朋友參考,歡迎有實驗精神的你參與交流。
raw-image

近期AI在影像生成領域的應用,特別是生產力的支援上,已經有愈來愈多的實際案例,特別是Stable Diffusion WebuiControlnet的協作上(它們的安裝方式亦有許多線上教學)網路上亦有許多專業人士撰文分享經由「動作控制」的創作成果(這裡就不加贅述)而其中一個蠻實際(也蠻有趣)的應用,也常被廣泛討論與實驗的例子,就是透過Controlnet所融合的特殊QRcode影像,透過這個「協同合作」的創作,融合出來的QRcode就不會像傳統二維碼那樣的單調,甚至還帶有濃厚的藝術性質,未來在商業應用上或許也會是一項新的嘗試,以下紀錄僅是我試驗的過程,過程的參數我會放在最後,讓有興趣的朋友研究參考。

這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。

以我的例子為例,醫院常有事求人的人員應徵需求,剛好過去又有各職類的棚內拍攝素材留下,而我們過去常有的狀況是,該員離職後,基於尊重的考量,以他為主的拍攝素材就必須撤換(或是重拍過),但是現在可以透過Stable Diffusion與Controlnet的合作,將素材重新運算與重組成新的人物,這也不失為一種高效的工作流程選項之一,各位也不妨做為一種新的嘗試學習看看。

實驗過程

  1. 純化原始照片:照片的來源,是我在醫院實際棚拍的護理人員,接著我將這些實際人物用PS去背處裡,接著用Controlnet的Openpose模組重新運算人物,也將背景進行純化,於是我就有五個新的人物來進行後續的QRcode融合實驗。
  2. 調整照片尺寸與人物比例:照片我除了先以PS編修大小之外(我都改成正方形尺寸以配合QRcode的布局),我也會將人物在畫面的佔比重新調整,因為有時候人物佔比太大,會讓QRcode的準確率大幅降低,有時候在運算過程裡QRcode也比較無法正確「服貼」在人物的衣物上,我試驗的結果是,將人物主體調整成佔畫面的三分之一左右,會讓QRcode的布局完整一些,成功率也會提高許多。
  3. 製作QRcode:將需要宣傳的網址製作成QRcode,尺寸為350x350,容錯率設定在30%,我習慣用這個QRcode平台來產生,當然你也可以用你適合的平台。
  4. 置入圖形:進入Stable Diffusion Webui,選擇圖生圖(img2img),將你的QRcode圖形分別放進圖生圖的圖片欄位,以及Controlnet unit 0的裡面,人物圖形則是放進Controlnet unit 1裡面,Prompt跟Negative欄位你還是要填入適合的人物描繪的說明,愈清楚愈好。
  5. 選擇StableDiffusion的模型與取樣:運算模型繁多,選擇你喜歡的,我自己蠻喜歡moonfilm這個模組,我五張圖也都是用這個模型運算出來的,若你有興趣也可以下載使用。至於取樣(Sampling)我都習慣用DPM++ SDE Karras,你可以選擇你習慣的。
  6. 選擇Controlnet的模型:前面提到的Controlnet unit 0(放QRcode圖)與Controlnet unit 1(放人物圖),都各自有自己的模型需要選擇,Controlnet unit0(放QRcode圖)的預處理器可以選擇none,但模型我是用control_v1p_sd15_qrcode這個專用模型,請你記得前往下載使用。而Controlnet unit 1(放人物圖)的預處理器,我習慣用canny,而模組我習慣用control_v11p_sd15_canny
  7. 調整運算參數:說實在的,各項數值真的需要多多嘗試,沒有一定的規範,我會把五張圖的運算參數結果放在後面讓各位參考,記得看過某位前輩說,這段嘗試與運算的過程,一半是藝術,另一半就算是科學了,只能捲起袖子嘗試看看。
raw-image

以下則是我用上面五張運算過的圖片再次運算直出的結果,以iPhone來掃描很快可以得到連結,若以安卓系統掃描就會需要稍微等待一下(為何有這樣的差異?這一點我也不了解...),我把每張的運算參數都附在圖說裡,各位可以發揮實驗精神多方嘗試,最後預祝各位Controlnet之路平安順利。

raw-image


raw-image
raw-image
raw-image
raw-image

實驗後記(僅供參)

  1. Controlnet unit0放QR CODE時,若權重低於1.5可能會影響正確辨識率,但表現也會更有創意,大概到1.55左右QRcode正確率會提高。
  2. QRcode與人物圖(或產品圖)的大小,最好都是正方形,主體若是人物最好不要太大,約佔畫面的三分之一左右似乎有最佳結果(掃描成功率)。
  3. 關於Controlnet的控制步數, 人物跟QRcode不要同時算, 最好是人先進, 然後QRcode再進, 這樣服貼在人身上的QRcode會比較自然,一起算的話看起來會平面化,人物圖則是可以從零算到結束(0-1),QRcode圖的進出時間可設定在0.1-0.8之間。
  4. 若有算到滿意的圖像,也可把seed複製下來後,再去修改運算參數,或把Controlnet unit2再加上QRcode圖去算,進出時間可以設定在0.8至1之間。
  5. 以上僅為個人實驗筆記,無法確認正確性,若有失誤都歡迎指正交流。


《如果我的文章對你有任何的幫助或是啟發,非常歡迎你持續追蹤這裡的專題,或是分享給你的朋友,也感謝你的耐心閱讀。

祝你順心 by 福妹可啡工作室



留言
avatar-img
隨機森林咖啡沙龍
52會員
43內容數
平凡上班族,咖啡烘焙師。
2024/05/11
本文章介紹如何將繁體中文TAIDE模型與Comfyui及ollama平臺結合,以實現中文語言模型與圖像生成的應用。從安裝Comfyui工作流到導入TAIDE模型,再整合ollama平臺,最後使用Comfyui開啟ollama工作流,當中也分享了個人的心得與建議,純粹作為工作紀錄用途。
Thumbnail
2024/05/11
本文章介紹如何將繁體中文TAIDE模型與Comfyui及ollama平臺結合,以實現中文語言模型與圖像生成的應用。從安裝Comfyui工作流到導入TAIDE模型,再整合ollama平臺,最後使用Comfyui開啟ollama工作流,當中也分享了個人的心得與建議,純粹作為工作紀錄用途。
Thumbnail
2022/09/30
有一座橋連接天堂與人間, 因為它繽紛的色彩,於是被稱作「彩虹橋」。 在彩虹橋的彼端是......
Thumbnail
2022/09/30
有一座橋連接天堂與人間, 因為它繽紛的色彩,於是被稱作「彩虹橋」。 在彩虹橋的彼端是......
Thumbnail
2022/09/15
個人覺得AI工具雖然很方便,但會不會讓人們愈來愈懶得思考了呢?有這樣的工具,作文都不用想半天了,但會不會寫出來的作文都差不多呢?或許還需要更多的人來驗證看看了,把這些工具當作輔助與幫助,然後讓自己有時間做其他更想做的事情,這樣會不會比較正面積極一點?
Thumbnail
2022/09/15
個人覺得AI工具雖然很方便,但會不會讓人們愈來愈懶得思考了呢?有這樣的工具,作文都不用想半天了,但會不會寫出來的作文都差不多呢?或許還需要更多的人來驗證看看了,把這些工具當作輔助與幫助,然後讓自己有時間做其他更想做的事情,這樣會不會比較正面積極一點?
Thumbnail
看更多
你可能也想看
Thumbnail
創作不只是個人戰,在 vocus ,也可以是一場集體冒險、組隊升級。最具代表性的創作者社群「vocus 野格團」,現在有了更強大的新夥伴加入!除了大家熟悉的「官方主題沙龍」,這次我們徵召了 8 位領域各異的「個人主題專家」,將再度嘗試創作的各種可能,和格友們激發出更多未知的火花。
Thumbnail
創作不只是個人戰,在 vocus ,也可以是一場集體冒險、組隊升級。最具代表性的創作者社群「vocus 野格團」,現在有了更強大的新夥伴加入!除了大家熟悉的「官方主題沙龍」,這次我們徵召了 8 位領域各異的「個人主題專家」,將再度嘗試創作的各種可能,和格友們激發出更多未知的火花。
Thumbnail
vocus 最具指標性的創作者社群──「野格團」, 2026 年春季,這支充滿專業、熱情的團隊再次擴編,迎來了 8 位實力堅強的「個人主題專家」新成員 💫💫💫 從投資理財、自我成長、閱讀書評到電影戲劇,他們各自帶著獨特的「創作超能力」準備在格友大廳與大家見面。
Thumbnail
vocus 最具指標性的創作者社群──「野格團」, 2026 年春季,這支充滿專業、熱情的團隊再次擴編,迎來了 8 位實力堅強的「個人主題專家」新成員 💫💫💫 從投資理財、自我成長、閱讀書評到電影戲劇,他們各自帶著獨特的「創作超能力」準備在格友大廳與大家見面。
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
ControlNet這個Stable diffusion外掛非常實用,相關教學可算是滿坑滿谷了,我這篇教學主要是會特別說明整個套件其實有很多功能並不實用,你只需要專注在自己真正需要的功能上就好,而我會列一些我自己的測試結果以證明我為什麼說有些功能並不實用。
Thumbnail
ControlNet這個Stable diffusion外掛非常實用,相關教學可算是滿坑滿谷了,我這篇教學主要是會特別說明整個套件其實有很多功能並不實用,你只需要專注在自己真正需要的功能上就好,而我會列一些我自己的測試結果以證明我為什麼說有些功能並不實用。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News