ComfyUI研究 - SDXL Lightning 模型測試

不免俗的放一下工作流。

這個工作流跟之前的這篇ComfyUI 研究 - LCM & SDXL Turbo用的一樣，都是為了比較不同模型的表現去搭建。

開源模型的推出速度很快，如果都要測試勢必要花費不少時間下載跟調整參數。

所以這篇只是大致比較一下SDXL Turbo的一步出圖跟SDXL Lightning的四步出圖效果比較。

測試用的SDXL Turbo模型是sd_xl_turbo_1.0_fp16.safetensors，這是官方䆁出的基底模型。

SDXL Lightning用的則是juggernautXL_v9Rdphoto2Lightning.safetensors，如果有用過fooocus這個介面應該會注意到在某次更新後就會從原本的SDXL官方模型變成juggernautXL_version6Rundiffusion.safetensors模型，表示這個模型的表現比起官方模型要來得好，當然，這些模型都是基於官方模型再去訓練出來的，所以在生圖的時候會有一些特定的風格方向。

在參數設定上，CFG皆為1，SDXL Turbo使用 1 step，SDXL Lightning使用4 step，採樣器都使用dpmpp_sde(dpm++ sde)，Scheduler使用normal，Seed固定為1，生成圖像大小512*512。

測試過程中只會改變正向文字提示詞，負向文字提示詞保持空白。

基本上除了首次執行時要載入模型會花比較長時間，SDXL Turbo模型的生成速度還是會比SDXL Lightning模型要快一點點。

我使用的顯示卡是NVIDIA GeForce RTX 3080 Ti Laptop Gpu 16G。

以下圖片左邊為SDXL Turbo，右邊為SDXL Lightning。

• a cute cat

• 1girl

• a boy

• frog

• photorealistic, a man, rainning,

• comic book, batman suit, pig,

• watercolor, tower, garden,

經過簡單的文字提示詞測試可以發現SDXL Turbo的基底模型很容易生成繪畫風格的圖片，juggernautXL_v9Rdphoto2Lightning.safetensors這個模型則是偏向生成照片風格的圖片。

下面再用複雜的文字提示詞測試這兩個模型。

• moody aesthetic, beautiful cozy, cramped bedroom with floor to ceiling glass windows overlooking a cyberpunk city at night, view from top of skyscraper, white bedsheets, bookshelves, thunderstorm outside with torrential rain, detailed, high resolution, photorrealistic, dark, gloomy,

• A hyperdetailed photograph of a Cat dressed as a mafia boss holding a fish walking down a Japanese fish market with an angry face, 8k resolution, best quality, beautiful photograph, dynamic lighting,

• a woman, flat shading, bizarre technology, faded colors, faded bright colors, cyber-inspired typography, futuristic imagery, retrofuturism graphic designe, Holographic and Reflective Elements, Geometric Influences, strait lines, space thriller movie poster, Bauhaus, shapes, lines, abstract

即使使用更複雜的提示詞，只要沒有強調照片或真實風格，SDXL Turbo還是會生成較接近繪畫風格的圖片，在身體結構的合理性表現上也會比較差一點。

下面是改用juggernautXL提供的建議圖像尺寸832*1216後生成的圖像，因為SDXL Turbo會生成好幾個頭身的詭異圖片，就不放上來了。