運行Stable Diffusion繪圖模型的操作介面有很多選擇，這邊介紹的是目前最廣泛被大家主流使用的版本(AUTOMATIC1111)在本機電腦的安裝方式。




Stable Diffusion基礎概況

在開始安裝運行Stable Diffusion的操作介面前，有幾個基礎知識要先了解一下

AI繪圖-Stable Diffusion 001- 本機安裝 Stable Diffusion WebUi 

投資理財

在掌握Stable Diffusion文生圖的使用技巧幫助我們利用文字描述的組合/變化去生成所需的圖片內容後，再更進一步，我們也許會想要針對一張已經百分之七、八十符合我們需求的圖去進行部分內容的修改或是整體畫風的轉換。這時就需要有個”圖生圖 img2img”的操作介面讓我們能和SD溝通。

AI繪圖-Stable Diffusion 005- 圖生圖 img2img

前面完成了運行Stable Diffusion圖像模型的繪圖/溝通介面(WebUi)的安裝，在正式進入實際操作前，這邊我們先來分類釐清一下常見的模型有哪些種類以及它的主要功能作用。

AI繪圖-Stable Diffusion 003- 模型分類 & 常用下載網站

開源軟體時常更新版本，有時新出的外掛擴充或是Stability.Ai所更新發佈的新模型會需要更新版本的WebUi操作介面才能運行。所以每隔一段時間都要記得去注意一下是否有修正/新增功能的版本可以更新。



確認目前使用的WebUi版本~

這個Stable Diffusion WebUi是由AUT

AI繪圖-Stable Diffusion 002- 如何更新 Stable Diffusion WebUi 版本

在SD WebUi 文生圖的介面下，我們可以通過文字描述(提示詞-prompt)搭配不同採樣演算法，迭代步數，CFG值…等參數的設定，去控制圖像模型生成我們所想要的圖片內容。

AI繪圖-Stable Diffusion 004- 文生圖 txt2img

從2022年AI繪圖迅速掘起，到如今一年多的期間，各平台相互競爭不斷快速進化，幾個主流AI繪圖平台都發展出各自的優勢特色(Adobe Firefly、Midjourney，Stable Diffusion、Leonardo.Ai)。而其中Stable Diffusion的免費開源以及更高的操控自由度

AI繪圖-Stable Diffusion-前言

雖然有了圖生圖讓我們除了文字描述外，能利用圖片參照的方式對Stable Diffusion生成結果進行引導，但它仍然還有許多不足的地方。有些時後我並不想整張圖都完全參照，只是想提取出參考圖中單一/部分的特定元素(構圖、人物/物體間空間關係、配色、肢體動作、外觀輪廓……等)來對生成的圖像結果進行約束.

AI繪圖-Stable Diffusion 008- ControlNet 前言

高保真圖像放大？？超高清無損？滿滿的細節？ – StableSR…….

AI繪圖-Stable Diffusion 017- 高保真圖像放大？？ – StableSR

ControlNet的OpenPose是一開始最主要引起大家關注的一項約束類型。透過提取出原圖中人物的動作姿勢骨架圖，讓我們可以更精準地做到對成像人物姿勢的掌控，即使是一些光靠文字描述也形容不出的動作姿勢，也能輕易實現。



OpenPose 預處理器 & 實例

OpenPose目前的預處理器有

AI繪圖-Stable Diffusion 011- ControlNet 動作姿勢約束

雖然有了文生圖、圖生圖可以負責幫我們畫圖/算圖，但使用文生圖或圖生圖在算圖時，目前依電腦顯卡設備的不同，都有一定的極限值在，想要直接畫出4k、8k或者是16k以上的高清圖又不爆顯存實在有困難。因此我們就需要有能夠把小圖高清放大的功能(Extras頁籤底下的智慧放大-Upscale)。



Extr

AI繪圖-Stable Diffusion 006- Extras 以及 PNG info

外掛擴充 Extensions對Stable Diffusion來說非重要，如果少了它，SD就不會如此豐富多元，比起其它繪圖AI更具可玩性。在開始介紹一些好用實用的外掛前，我們先來了解一下WebUi上所有外掛程式安裝、更新、移除與備份的方法。

AI繪圖-Stable Diffusion 007- 外掛擴充 Extensions 的安裝、更新、移除與備份

關於Tile模型，在網路上普遍的教學說法就是它可以”增加畫面細節”、”高清修復放大”，有多神多好用，用了它會讓原圖畫面變更細緻/精緻….等等。但一開始看了很多Youtube上對於tile的教學，我整個印象就是沒能有一個貫通的邏輯性有很明確的指出Tile到底對SD起到的約束/影響是什麼.....

AI繪圖-Stable Diffusion 015- ControlNet其它特殊效果 – Tile

由於現有顯卡性能限制，想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式，無法一次生成。之前試過大家很推崇的Ultimate SD upscale，但對於我要重繪放大的”真人寫實照片”類型的圖來說，一直出現各種問題........

AI繪圖-Stable Diffusion 016- Tiled Diffusion with Tiled VAE

ControlNet的Inpaint主要功能和我們過去圖生圖裡的Inpaint局部重繪大致是一樣的作用，而其中一個預處理器(inpaint_only_lama)還可以產出不錯的背景填充延伸圖(Outpainting)。

AI繪圖-Stable Diffusion 014- ControlNet其它特殊效果 – Inpaint

ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference，其中Tile和Inpaint會花比較多篇幅就之後另外再介紹，這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。



Shuffl

AI繪圖-Stable Diffusion 013- ControlNet其它特殊效果 – Shuffle & IP2P

語義分割(Semantic Segmentation)指的就是針對畫面中每個像素點進行辨別分類(山、河流、人、車、沙發….等)，並將同一類型的區域分塊標註成特定顏色。而ControlNet的控制約束裡就有這一項功能。


AI繪圖-Stable Diffusion 012- ControlNet 物品類型約束(語義分割)

ControlNet的Depth可以提取出畫面中人物/物體的前後關系/前景後景的分別，而Normal(法線)則可以紀錄出畫面中物體的凹凸面訊息。透過這兩種ControlNet約束類型，就可以幫助我們對成像的空間深度關係與物體的凹凸立體感/亮面暗面的光影效果進行約束控制。



Depth

Dept

AI繪圖-Stable Diffusion 010- ControlNet 空間深度/立體感約束

ControlNet裡，目前針對邊緣檢測進行線條約束的類型分別有Cannny、Lineart、SoftEdge、Scribble以及MLSD。

店小二的AI繪圖

所有文章