AI繪圖-Stable Diffusion 010- ControlNet 空間深度/立體感約束

更新於 發佈於 閱讀時間約 5 分鐘
raw-image

ControlNet的Depth可以提取出畫面中人物/物體的前後關系/前景後景的分別,而Normal(法線)則可以紀錄出畫面中物體的凹凸面訊息。透過這兩種ControlNet約束類型,就可以幫助我們對成像的空間深度關係與物體的凹凸立體感/亮面暗面的光影效果進行約束控制。


Depth

Depth各預處理器效果如下圖,所產生出來的預處理圖,畫面愈近處愈白,畫面愈遠處則顏色漸深/至全黑。

(下圖提示詞 : street view in Korea at night, rainny day)

raw-image

在depth_leres 與 depth_leres++ 預處理器下,可透過Remove Near% 與 Remove Background%調整,對預處理圖的深度效果進行增減。

raw-image

Remove Near% : 數值從0~100,由最近處(白色)往最遠處開始逐漸將畫面中不同深度的人/物去除深度,直至全白(平面沒有深度)為止。

Remove Background% : 數值從0~100,由最遠處(黑色)往近處開始逐漸將畫面中不同深度的人/物去除深度,直至全黑(平面沒有深度)為止。

raw-image

 

Depth只能提供深度的訊息,在生成圖片時無法很好的掌控物體的內容與細節,成像效果通常再加上prompt描述或是搭配其它ContronlNet的特徵約束一起使用會比較理想。

Depth + (提示詞空白)。SD沒有自行腦補出每人手裡拿的是手機,有些該畫人臉的地方也被不知何物的物體所取代~

raw-image

Depth + (提示詞:crowd of people taking piture with smart phone in the party at night)

raw-image

 

雖然Depth無法掌控物體的內容與細節,但大家可以比對一下下面2種ControlNet約束成像方式(Depth與Lineart)的差別。最後畫面都是同樣的主題構圖,但經過Depth約束處理後的成像看起來會更立體/生動(感覺得出畫面的遠近深度)。

而從Lineart的線條約束中,常理透過線條輪廓所畫出的人臉比例大小,人類能理解腦補出畫面遠近的深度感。但對SD來說只有線條特徵並無法有效理解畫面的深淺前後關係,因此所畫出來的圖也就會少了該有的透視感,畫面整體看起來會很平面。

Depth與Lineart對比 ,(提示詞都是:crowd of people taking piture with smart phone in the party at night)

raw-image

(PS.上圖畫面中各種人手畸形的部分就先忽略它吧,對AI繪圖來說,畫手本來就是弱項了,畫面中又出現這麼多小面積要畫手的構圖,要整個畫面沒有bug完全畫得正常,不管怎麼調整也實在是為難了現在的SD與自己。這種時後就會很有感,同樣的主題畫面,相機攝影完勝AI繪圖~ 這張圖相機按下快門就能完成的事,我拿SD狂刷圖+細節一個個想辦法修正可能要花更多的時間吧~ 有些圖,用拍照的比較省事,有些圖用AI畫比較快~)

 

Normal

有學過3D的人對Normal map(法線貼圖)一定不陌生,它是一種模擬凹凸處光照效果的技術。經過ControlNet Normal預處理器提取出原圖畫面中物體的凹凸面/光影亮面暗面方向訊息後,就能用來約束新生成圖像中物體的立體度與光影方向效果。

Normal的預處理器有2個,一個是Normal_bae,另一個是Normal_midas。目前為止,我都只有用Normal_bae,測試過許多圖用Normal_midas讀取出來的效果與後續生成的圖片都是不太理想與成像會有許多奇怪的紋理。

(提示詞 : black hair, white dress)

raw-image

另外當我們在使用OpenPose,遇到特定姿勢如果一直無法正確提取出來時,Normal圖也能很好彌補這部份的缺失。

如下圖左邊男人坐在椅子上翹腳的姿勢,由於OpenPose所提取的姿勢骨架圖是平面的沒有深度,對於這種畫面角度需要考慮到深度效果的姿勢時,很大機率就會無法順利生成。但如果改用Normal則可以比較容易正確還原出原圖人物的動作姿勢。

(提示詞 : a man and a woman sitting on chair talking to each other)

raw-image

不過Normal的預處理圖又會控制住畫面中過多姿勢以外我不需要的細節訊息特徵(邊桌、椅子造型樣式…等),這時如果是本身有使用3D軟體的人,當SD與ControlNet一直無法調整出理想效果時,也許就可以直接用3D軟體產出一張去除不必要細節的Normal圖來讓SD在限定的人物動作以外其它細節都自由發揮變化。

AI繪圖不是用來取代誰,小孩子才做選擇,多種工具交互截長補短,最終目的是用最快的速度達到所需出圖品質就好。過去已經學過2D、3D繪圖的人,玩SD一開始就有一定基礎的優勢在,對於現有AI繪圖與各種外掛功能的參數都很難調整出理想畫面結果的時後就沒必要死嗑在這上面一直刷圖或放棄,稍微借用一下別的工具輔助,問題就能快速解決了~

留言
avatar-img
留言分享你的想法!
avatar-img
店小二DianXiaoEr的沙龍
83會員
275內容數
記錄店小二建立網賺被動收入歷程、自我學習成長以及各類財富自由資訊的分享專區。
2023/09/21
高保真圖像放大??超高清無損?滿滿的細節? – StableSR…….
Thumbnail
2023/09/21
高保真圖像放大??超高清無損?滿滿的細節? – StableSR…….
Thumbnail
2023/09/21
由於現有顯卡性能限制,想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式,無法一次生成。之前試過大家很推崇的Ultimate SD upscale,但對於我要重繪放大的”真人寫實照片”類型的圖來說,一直出現各種問題........
Thumbnail
2023/09/21
由於現有顯卡性能限制,想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式,無法一次生成。之前試過大家很推崇的Ultimate SD upscale,但對於我要重繪放大的”真人寫實照片”類型的圖來說,一直出現各種問題........
Thumbnail
2023/09/18
關於Tile模型,在網路上普遍的教學說法就是它可以”增加畫面細節”、”高清修復放大”,有多神多好用,用了它會讓原圖畫面變更細緻/精緻….等等。但一開始看了很多Youtube上對於tile的教學,我整個印象就是沒能有一個貫通的邏輯性有很明確的指出Tile到底對SD起到的約束/影響是什麼.....
Thumbnail
2023/09/18
關於Tile模型,在網路上普遍的教學說法就是它可以”增加畫面細節”、”高清修復放大”,有多神多好用,用了它會讓原圖畫面變更細緻/精緻….等等。但一開始看了很多Youtube上對於tile的教學,我整個印象就是沒能有一個貫通的邏輯性有很明確的指出Tile到底對SD起到的約束/影響是什麼.....
Thumbnail
看更多
你可能也想看
Thumbnail
ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference,其中Tile和Inpaint會花比較多篇幅就之後另外再介紹,這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。 Shuffl
Thumbnail
ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference,其中Tile和Inpaint會花比較多篇幅就之後另外再介紹,這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。 Shuffl
Thumbnail
語義分割(Semantic Segmentation)指的就是針對畫面中每個像素點進行辨別分類(山、河流、人、車、沙發….等),並將同一類型的區域分塊標註成特定顏色。而ControlNet的控制約束裡就有這一項功能。
Thumbnail
語義分割(Semantic Segmentation)指的就是針對畫面中每個像素點進行辨別分類(山、河流、人、車、沙發….等),並將同一類型的區域分塊標註成特定顏色。而ControlNet的控制約束裡就有這一項功能。
Thumbnail
ControlNet的Depth可以提取出畫面中人物/物體的前後關系/前景後景的分別,而Normal(法線)則可以紀錄出畫面中物體的凹凸面訊息。透過這兩種ControlNet約束類型,就可以幫助我們對成像的空間深度關係與物體的凹凸立體感/亮面暗面的光影效果進行約束控制。 Depth Dept
Thumbnail
ControlNet的Depth可以提取出畫面中人物/物體的前後關系/前景後景的分別,而Normal(法線)則可以紀錄出畫面中物體的凹凸面訊息。透過這兩種ControlNet約束類型,就可以幫助我們對成像的空間深度關係與物體的凹凸立體感/亮面暗面的光影效果進行約束控制。 Depth Dept
Thumbnail
ControlNet裡,目前針對邊緣檢測進行線條約束的類型分別有Cannny、Lineart、SoftEdge、Scribble以及MLSD。
Thumbnail
ControlNet裡,目前針對邊緣檢測進行線條約束的類型分別有Cannny、Lineart、SoftEdge、Scribble以及MLSD。
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
這篇文章要來分享的是,怎麼把一張糊掉的圖精細化。 這個問題最主要的對象是已經有明顯的提示詞,並且以ControlNet的refernece_only來生產的圖。
Thumbnail
因為想嘗試將真實照片中的人物姿態融入成品中,所以在Text2Image(文生圖)階段使用了三種ControlNet:Depth (景深)、reference_only (參照)、lightingBasedPicture_v10 (打光模型)。
Thumbnail
因為想嘗試將真實照片中的人物姿態融入成品中,所以在Text2Image(文生圖)階段使用了三種ControlNet:Depth (景深)、reference_only (參照)、lightingBasedPicture_v10 (打光模型)。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
Thumbnail
玩AI手繪也不錯<Stable Diffusion篇> 在當今數碼時代,照片成為人們記錄生活的重要方式。然而,有時我們渴望將照片轉化為更加藝術性的形式,以獨特的風格呈現。這就是人工智能的力量發揮作用的時候了。利用深度學習和計算機視覺技術,研究人員開發出了一種令人驚嘆的AI技術,可以將照片轉換為手繪效
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News