ComfyUI 研究 - LCM & SDXL Turbo

這篇介紹LCM跟SDXL Turbo。

LCM

LCM是Latent Consistency Models推出的加速Lora，因為是以Lora型式推出，只要在工作流中加入Lora就可以使用，讓AI繪圖的時間大幅減少，同時期也出現了實時繪圖的應用。

簡易的工作流如下圖：

這個工作流中我將CLIP Text Encode (Prompt)的文字欄位透過右鍵選單變成為輸入節點，將文字提示詞改用Primitive String mulitiline節點，這個處理方式可以讓同一組提示詞輸出到不同工作流中。

會這樣處理是因為最近為了測試不同模型重繪的效果，遭遇到模型不相容的問題，其中一個原因就是CLIP Text Encode (Prompt)不可以共用，因此採用這種手段解決，減少複製提示詞的時間。

從上圖中可以看到出圖的步數已經縮減到5步就可以畫出不錯品質的圖，LCM的出現，除了節省出圖時間，也降低了硬體的門檻。

另外採樣器必須選用LCM，才可以有效地使用LCM lora。

除了SD 1.5可用的LCM Lora外，SDXL也有對應的LCM Lora可用。

下圖是採用了直接融合LCM的模型後的工作流。

這個工作流少去了Lora的節點，同樣可以達到快速出圖的效果，但會受限於基底模型的風格。

SDXL Turbo

下圖的工作流是為了同時測時兩種SDXL Turbo模型搭建的。

比起工作流的架構，SDXL Turbo模型的使用重點在CFG跟Steps參數。

CFG是classifier-free guidance的縮寫，粗淺的解釋就是提示詞的相關程度，數值愈小則在執行過程中AI會忽視提示詞的相關性跟順序，減少推理的時間。

Steps是執行步數，以往需要高步數才可以繪製出高細節及高畫質的圖片，使用SDXL Turbo的模型可以在1步就畫出可以看的圖片。

上圖中下半使用的模型是SDXL Turbo模型，是官方釋出的基底模型，搭配適當的提示詞可以實現1步出圖。

上圖中上半使用的模型是名為Turbovision XL系列的模型，是以SDXL Turbo為基底訓練出來的模型，雖然需要3步以上才可以畫出不錯的圖，但是畫質跟細節會比SDXL Turbo模型來得好。

結論

LCM 跟 SDXL Turbo都是2023年底發表的，撰文的此時Stable Diffusion已經在2024年2月推出了新的Stable Cascade模型，看相關的報導和討論，Stable Cascade使用的就是小圖像放大增加細節的做法去生成圖像，因而分成了三階段處理文生圖的過程，目的在減少模型訓練的時間跟提高生成圖像的效率。

採用相同的概念，我們也可以先使用LCM或SDXL Turbo去生成草圖，再給其他模型用圖生圖的方式增加細節跟提高畫質。

這樣在抽卡階段就可以快速生成大量的草圖，再挑選喜愛的圖片做進一歩處理。