Stable Diffusion Webui的QRcode融合實驗紀錄,一個img2img的方法

更新 發佈閱讀 27 分鐘
註:以下僅為本人實驗的紀錄,可能無法一體適用,參數與方法過程僅供有興趣的朋友參考,歡迎有實驗精神的你參與交流。
vocus|新世代的創作平台

近期AI在影像生成領域的應用,特別是生產力的支援上,已經有愈來愈多的實際案例,特別是Stable Diffusion WebuiControlnet的協作上(它們的安裝方式亦有許多線上教學)網路上亦有許多專業人士撰文分享經由「動作控制」的創作成果(這裡就不加贅述)而其中一個蠻實際(也蠻有趣)的應用,也常被廣泛討論與實驗的例子,就是透過Controlnet所融合的特殊QRcode影像,透過這個「協同合作」的創作,融合出來的QRcode就不會像傳統二維碼那樣的單調,甚至還帶有濃厚的藝術性質,未來在商業應用上或許也會是一項新的嘗試,以下紀錄僅是我試驗的過程,過程的參數我會放在最後,讓有興趣的朋友研究參考。

這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。

以我的例子為例,醫院常有事求人的人員應徵需求,剛好過去又有各職類的棚內拍攝素材留下,而我們過去常有的狀況是,該員離職後,基於尊重的考量,以他為主的拍攝素材就必須撤換(或是重拍過),但是現在可以透過Stable Diffusion與Controlnet的合作,將素材重新運算與重組成新的人物,這也不失為一種高效的工作流程選項之一,各位也不妨做為一種新的嘗試學習看看。

實驗過程

  1. 純化原始照片:照片的來源,是我在醫院實際棚拍的護理人員,接著我將這些實際人物用PS去背處裡,接著用Controlnet的Openpose模組重新運算人物,也將背景進行純化,於是我就有五個新的人物來進行後續的QRcode融合實驗。
  2. 調整照片尺寸與人物比例:照片我除了先以PS編修大小之外(我都改成正方形尺寸以配合QRcode的布局),我也會將人物在畫面的佔比重新調整,因為有時候人物佔比太大,會讓QRcode的準確率大幅降低,有時候在運算過程裡QRcode也比較無法正確「服貼」在人物的衣物上,我試驗的結果是,將人物主體調整成佔畫面的三分之一左右,會讓QRcode的布局完整一些,成功率也會提高許多。
  3. 製作QRcode:將需要宣傳的網址製作成QRcode,尺寸為350x350,容錯率設定在30%,我習慣用這個QRcode平台來產生,當然你也可以用你適合的平台。
  4. 置入圖形:進入Stable Diffusion Webui,選擇圖生圖(img2img),將你的QRcode圖形分別放進圖生圖的圖片欄位,以及Controlnet unit 0的裡面,人物圖形則是放進Controlnet unit 1裡面,Prompt跟Negative欄位你還是要填入適合的人物描繪的說明,愈清楚愈好。
  5. 選擇StableDiffusion的模型與取樣:運算模型繁多,選擇你喜歡的,我自己蠻喜歡moonfilm這個模組,我五張圖也都是用這個模型運算出來的,若你有興趣也可以下載使用。至於取樣(Sampling)我都習慣用DPM++ SDE Karras,你可以選擇你習慣的。
  6. 選擇Controlnet的模型:前面提到的Controlnet unit 0(放QRcode圖)與Controlnet unit 1(放人物圖),都各自有自己的模型需要選擇,Controlnet unit0(放QRcode圖)的預處理器可以選擇none,但模型我是用control_v1p_sd15_qrcode這個專用模型,請你記得前往下載使用。而Controlnet unit 1(放人物圖)的預處理器,我習慣用canny,而模組我習慣用control_v11p_sd15_canny
  7. 調整運算參數:說實在的,各項數值真的需要多多嘗試,沒有一定的規範,我會把五張圖的運算參數結果放在後面讓各位參考,記得看過某位前輩說,這段嘗試與運算的過程,一半是藝術,另一半就算是科學了,只能捲起袖子嘗試看看。
vocus|新世代的創作平台

以下則是我用上面五張運算過的圖片再次運算直出的結果,以iPhone來掃描很快可以得到連結,若以安卓系統掃描就會需要稍微等待一下(為何有這樣的差異?這一點我也不了解...),我把每張的運算參數都附在圖說裡,各位可以發揮實驗精神多方嘗試,最後預祝各位Controlnet之路平安順利。

vocus|新世代的創作平台


vocus|新世代的創作平台
vocus|新世代的創作平台
vocus|新世代的創作平台
vocus|新世代的創作平台

實驗後記(僅供參)

  1. Controlnet unit0放QR CODE時,若權重低於1.5可能會影響正確辨識率,但表現也會更有創意,大概到1.55左右QRcode正確率會提高。
  2. QRcode與人物圖(或產品圖)的大小,最好都是正方形,主體若是人物最好不要太大,約佔畫面的三分之一左右似乎有最佳結果(掃描成功率)。
  3. 關於Controlnet的控制步數, 人物跟QRcode不要同時算, 最好是人先進, 然後QRcode再進, 這樣服貼在人身上的QRcode會比較自然,一起算的話看起來會平面化,人物圖則是可以從零算到結束(0-1),QRcode圖的進出時間可設定在0.1-0.8之間。
  4. 若有算到滿意的圖像,也可把seed複製下來後,再去修改運算參數,或把Controlnet unit2再加上QRcode圖去算,進出時間可以設定在0.8至1之間。
  5. 以上僅為個人實驗筆記,無法確認正確性,若有失誤都歡迎指正交流。


《如果我的文章對你有任何的幫助或是啟發,非常歡迎你持續追蹤這裡的專題,或是分享給你的朋友,也感謝你的耐心閱讀。

祝你順心 by 福妹可啡工作室



留言
avatar-img
隨機森林咖啡沙龍
52會員
43內容數
平凡上班族,咖啡烘焙師。
2024/05/11
本文章介紹如何將繁體中文TAIDE模型與Comfyui及ollama平臺結合,以實現中文語言模型與圖像生成的應用。從安裝Comfyui工作流到導入TAIDE模型,再整合ollama平臺,最後使用Comfyui開啟ollama工作流,當中也分享了個人的心得與建議,純粹作為工作紀錄用途。
Thumbnail
2024/05/11
本文章介紹如何將繁體中文TAIDE模型與Comfyui及ollama平臺結合,以實現中文語言模型與圖像生成的應用。從安裝Comfyui工作流到導入TAIDE模型,再整合ollama平臺,最後使用Comfyui開啟ollama工作流,當中也分享了個人的心得與建議,純粹作為工作紀錄用途。
Thumbnail
2022/09/30
有一座橋連接天堂與人間, 因為它繽紛的色彩,於是被稱作「彩虹橋」。 在彩虹橋的彼端是......
Thumbnail
2022/09/30
有一座橋連接天堂與人間, 因為它繽紛的色彩,於是被稱作「彩虹橋」。 在彩虹橋的彼端是......
Thumbnail
2022/09/15
個人覺得AI工具雖然很方便,但會不會讓人們愈來愈懶得思考了呢?有這樣的工具,作文都不用想半天了,但會不會寫出來的作文都差不多呢?或許還需要更多的人來驗證看看了,把這些工具當作輔助與幫助,然後讓自己有時間做其他更想做的事情,這樣會不會比較正面積極一點?
Thumbnail
2022/09/15
個人覺得AI工具雖然很方便,但會不會讓人們愈來愈懶得思考了呢?有這樣的工具,作文都不用想半天了,但會不會寫出來的作文都差不多呢?或許還需要更多的人來驗證看看了,把這些工具當作輔助與幫助,然後讓自己有時間做其他更想做的事情,這樣會不會比較正面積極一點?
Thumbnail
看更多
你可能也想看
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
今天要來看一個ControlNet新出的模型 -- Reference以及它的一些用法。
Thumbnail
5 月,方格創作島正式開島。這是一趟 28 天的創作旅程。活動期間,每週都會有新的任務地圖與陪跑計畫,從最簡單的帳號使用、沙龍建立,到帶著你從一句話、一張照片開始,一步一步找到屬於自己的創作節奏。不需要長篇大論,不需要完美的文筆,只需要帶上你今天的日常,就可以出發。征服創作島,抱回靈感與大獎!
Thumbnail
5 月,方格創作島正式開島。這是一趟 28 天的創作旅程。活動期間,每週都會有新的任務地圖與陪跑計畫,從最簡單的帳號使用、沙龍建立,到帶著你從一句話、一張照片開始,一步一步找到屬於自己的創作節奏。不需要長篇大論,不需要完美的文筆,只需要帶上你今天的日常,就可以出發。征服創作島,抱回靈感與大獎!
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
雖然有了圖生圖讓我們除了文字描述外,能利用圖片參照的方式對Stable Diffusion生成結果進行引導,但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照,只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
見諸參與鄧伯宸口述,鄧湘庭於〈那個大霧的時代〉記述父親回憶,鄧伯宸因故遭受牽連,而案件核心的三人,在鄧伯宸記憶裡:「成立了成大共產黨,他們製作了五星徽章,印刷共產黨宣言——刻鋼板的——他們收集中共空飄的傳單,以及中國共產黨中央委員會有關文化大革命決議文的英文打字稿,另外還有手槍子彈十發。」
Thumbnail
見諸參與鄧伯宸口述,鄧湘庭於〈那個大霧的時代〉記述父親回憶,鄧伯宸因故遭受牽連,而案件核心的三人,在鄧伯宸記憶裡:「成立了成大共產黨,他們製作了五星徽章,印刷共產黨宣言——刻鋼板的——他們收集中共空飄的傳單,以及中國共產黨中央委員會有關文化大革命決議文的英文打字稿,另外還有手槍子彈十發。」
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
這個應用情境可能是,如果你有自己的產品想要以QRcode來行銷,而「文生圖」(txt2img)的結果又無法與你的實際想像契合時,那麼用你的實際產品做為基底的圖生圖(img2img)QRcode就是一個不錯的選項。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
當代名導基里爾.賽勒布倫尼科夫身兼電影、劇場與歌劇導演,其作品流動著強烈的反叛與詩意。在俄烏戰爭爆發後,他持續以創作回應專制體制的壓迫。《傳奇:帕拉贊諾夫的十段殘篇》致敬蘇聯電影大師帕拉贊諾夫。本文作者透過媒介本質的分析,解構賽勒布倫尼科夫如何利用影劇雙棲的特質,在荒謬世道中尋找藝術的「生存之道」。
Thumbnail
當代名導基里爾.賽勒布倫尼科夫身兼電影、劇場與歌劇導演,其作品流動著強烈的反叛與詩意。在俄烏戰爭爆發後,他持續以創作回應專制體制的壓迫。《傳奇:帕拉贊諾夫的十段殘篇》致敬蘇聯電影大師帕拉贊諾夫。本文作者透過媒介本質的分析,解構賽勒布倫尼科夫如何利用影劇雙棲的特質,在荒謬世道中尋找藝術的「生存之道」。
Thumbnail
當時間變少之後,看戲反而變得更加重要——這是在成為母親之後,我第一次誠實地面對這一件事:我沒有那麼多的晚上,可以任性地留給自己了。看戲不再只是「今天有沒有空」,而是牽動整個週末的結構,誰應該照顧孩子,我該在什麼時間回到家,隔天還有沒有精神帶小孩⋯⋯於是,我不得不學會一件以前並不擅長的事:挑選。
Thumbnail
當時間變少之後,看戲反而變得更加重要——這是在成為母親之後,我第一次誠實地面對這一件事:我沒有那麼多的晚上,可以任性地留給自己了。看戲不再只是「今天有沒有空」,而是牽動整個週末的結構,誰應該照顧孩子,我該在什麼時間回到家,隔天還有沒有精神帶小孩⋯⋯於是,我不得不學會一件以前並不擅長的事:挑選。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News