Stable Diffusion基礎 -- 圖生圖(img2img)

更新 發佈閱讀 6 分鐘

前言

這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。

在圖生圖的頁面上,大部分的功能跟文生圖的功能一樣,請直接查閱 Stable Diffusion基礎 -- 文生圖(txt2img) ,這邊就不復述了。這邊來討論不一樣的功能:

raw-image

這邊最重要的功能是1(圖片放置區)跟4(Denoising strength)。我們之後會常常用到。

功能分區

  1. 圖片放置區:這個區域我們有三個重要的次要區域在這邊,
    第一個是分頁標籤,裡面有圖生圖(img2img),塗鴉(sketch),局部修改(inpaint)等等,我們這邊主要聚焦於圖生圖這功能。
    第二區是圖片放置區,在這裡我們可以用拖曳或者點擊打開檔案選擇器,把自己要修改的圖放入。
    第三區是拷貝圖片到其他區域,在這邊我們可以把同一張圖自由切換到不同功能去,例如你用img2img載入圖片,突然發現其實你要的只是局部修改某個區域,就可以直接按Copy image to Inpaint把圖直接送進inpaint分頁來修改。
  2. 尺寸變動選項:當你的輸出尺寸設定與原先圖片尺寸不一致時,Automatic1111就會依照這邊選取的選項來調整畫面:
    Just resize:無視比例,直接把圖片縮放成目標尺寸(原圖內容無損失,但比例可能扭曲)。
    Crop and resize:依照目標尺寸的比例,先把多餘的內容都去除掉再縮放到目標尺寸(會損失原圖的內容)。
    Resize and fill:依照目標尺寸的比例,在不足的地方填充雜訊,然後縮放到目標尺寸,接下來靠img2img來把雜訊轉換成有意義的內容(會增加原圖的內容)。
    Just resize (latent upscale):與第一個功能Just resize相同,但是Just resize是直接縮放,而這個選項是使用AI放大演算法來縮放圖片,所以需時較久,但是在放大後可能產生比較多的細節(原圖內容無損失,但比例可能扭曲)。
  3. 輸出尺寸設定:我們可以在img2img的時候指定成品圖的新尺寸,有兩種方法:
    Resize to:直接指定成品圖的長與寬。
    Resize by:指定成品圖的放大或縮小倍率,預設是1,也就是不變動。
  4. 去躁力度(Denosing strength):輸出圖片的變動程度。在img2img的第一步,Stable Diffusion會將噪訊加進輸入圖片中,然後依照提示詞的內容來產生圖片。數值越大的話,第一步加入的噪訊就會越多,輸出圖片會差異越大。例如0.1到0.2時,只會在細微的圖樣,陰影產生變化。到了0.4以上,就會對畫面中的小物品產生明顯變化,到了0.6以上會對整張圖的組成產生很明顯的影響,例如人物姿勢與位置,甚至整個構圖都會不一樣。到了1就會產生一個跟輸入圖毫無關聯的圖,其實就等於純粹的文生圖。
    除此之外,AI跑新圖的時間也與去噪力度有關,數值越大就會跑越久。當你設定要跑100步,但是去噪力度為0.1時,它實際上只跑了100*0.1=10步。
  5. 提示詞提取按鈕:讓使用者可以從輸入圖提取可能的提示詞。Automatic1111提供了兩種不同的演算法來提取提示詞。
    Interrogate CLIP:使用OpenAI開發的CLIP演算法來提取提示詞。使用這個方法提取的提示詞使用的是自然英語的語法。由於大部分的網路圖片都是自然英文,而Stable Diffusion使用的是網路圖片以及其敘述來訓練基本模型,所以理論上使用這個方法得到的提示詞在生成真實世界照片時效果較佳。
    Interrogate DeepBooru:針對2D動畫的模型,例如Waifu-Diffusion或NovalAI都是從DanBooru這個網站抓圖下來訓練,而這個網站使用的分類標籤系統,就成了DeepBooru這個演算法的基本資料。使用這個方法會提取出以標籤為主的提示詞,以逗號分隔。常用的提示詞如1girl,long hair都是這個提示詞演算法引入的。也因此只有在動漫畫相關的模型裡面,這樣的提示詞才有明顯作用。如果是純粹的Stable Diffusion基本模型,應該沒有自然英文語法來得好用。


下面是一個原版圖片,依照不同的提示詞與0.65的Denoising strength來重繪的比較圖:

raw-image


參考文件

  • https://onceuponanalgorithm.org/using-inpaint-in-stable-diffusion-tutorial/
  • https://onceuponanalgorithm.org/guide-what-denoising-strength-does-and-how-to-use-it-in-stable-diffusion/
  • https://mccormickml.com/2022/12/06/how-img2img-works/
留言
avatar-img
子不語怪・力・亂・神
37.5K會員
454內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2023/06/20
本篇要來講解一下身為Automatic1111最重要的外掛ControlNet的安裝方法。
Thumbnail
2023/06/20
本篇要來講解一下身為Automatic1111最重要的外掛ControlNet的安裝方法。
Thumbnail
2023/06/14
本篇要來解說Automatic1111這個軟體很重要的一部分,就是外掛(Extension)管理。 外掛是Automatic1111之所以超越玩具與學術研究工具,成為有生產力的軟體的關鍵。
Thumbnail
2023/06/14
本篇要來解說Automatic1111這個軟體很重要的一部分,就是外掛(Extension)管理。 外掛是Automatic1111之所以超越玩具與學術研究工具,成為有生產力的軟體的關鍵。
Thumbnail
2023/06/08
本篇要來講述兩個很少用,而且也會讓人很困惑的小功能,塗鴉(Sketch)與局部塗鴉(Inpaint Sketch)。
Thumbnail
2023/06/08
本篇要來講述兩個很少用,而且也會讓人很困惑的小功能,塗鴉(Sketch)與局部塗鴉(Inpaint Sketch)。
Thumbnail
看更多
你可能也想看
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
在掌握Stable Diffusion文生圖的使用技巧幫助我們利用文字描述的組合/變化去生成所需的圖片內容後,再更進一步,我們也許會想要針對一張已經百分之七、八十符合我們需求的圖去進行部分內容的修改或是整體畫風的轉換。這時就需要有個”圖生圖 img2img”的操作介面讓我們能和SD溝通。
Thumbnail
在掌握Stable Diffusion文生圖的使用技巧幫助我們利用文字描述的組合/變化去生成所需的圖片內容後,再更進一步,我們也許會想要針對一張已經百分之七、八十符合我們需求的圖去進行部分內容的修改或是整體畫風的轉換。這時就需要有個”圖生圖 img2img”的操作介面讓我們能和SD溝通。
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
本篇要來講述一個使用頻率不輸給文生圖的功能:圖片智慧放大(Upscale)。 這個功能詭異的地方是,他其實是放在Extras這個頁籤裡面。
Thumbnail
本篇要來講述一個使用頻率不輸給文生圖的功能:圖片智慧放大(Upscale)。 這個功能詭異的地方是,他其實是放在Extras這個頁籤裡面。
Thumbnail
本篇要來討論一些目前在Stable Diffusion裡面,比較可行的向外擴展方法(Outpaint)。 向外擴展是將圖的周圍擴展開來,然後填充進新的內容,造成一種Zoom out的效果。
Thumbnail
本篇要來討論一些目前在Stable Diffusion裡面,比較可行的向外擴展方法(Outpaint)。 向外擴展是將圖的周圍擴展開來,然後填充進新的內容,造成一種Zoom out的效果。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的局部重繪(Inpaint)功能。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的局部重繪(Inpaint)功能。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
這一篇要來敘述Stable Diffusion的Automatic1111的圖生圖(img2img,簡稱i2i)功能。
Thumbnail
Stable Diffusion 算圖時,有時算出來的人臉都像是被揍過一樣!這其實是解析度過小的問題,我們可以透過 img2img upscale 加 inpaint 的手法來解決,只需要兩階段,一起來看看怎麼做吧!
Thumbnail
Stable Diffusion 算圖時,有時算出來的人臉都像是被揍過一樣!這其實是解析度過小的問題,我們可以透過 img2img upscale 加 inpaint 的手法來解決,只需要兩階段,一起來看看怎麼做吧!
Thumbnail
這一篇要開始來敘述Stable Diffusion的Automatic1111的基礎功能。 一切都要先從最基本的文生圖(txt2img)開始。這是Automatic1111開啟之後的第一個頁面,也是最常用最重要的功能。
Thumbnail
這一篇要開始來敘述Stable Diffusion的Automatic1111的基礎功能。 一切都要先從最基本的文生圖(txt2img)開始。這是Automatic1111開啟之後的第一個頁面,也是最常用最重要的功能。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News