「快，還能更快？」讓AI四步成畫的LCM
今天我們來看一個最近討論度非常高的AI繪圖新技術，一個讓你可以在幾秒鐘內看到成品，不論是訓練還是生成都大大降低了資源成本的技術。
※影片中有誤的地方補充在CC字幕，本篇內容也已修正。
甚麼是LCM
這個AI爆炸年到現在也快過完了吼，大家應該都對「等待AI運算」這件事習以為常了吧！
自己的電腦如果配備稍微差一點，想算一張upscale就要等老久了，算完不滿意的話，來回修改、重繪，有時候搞到來一天都沒了。
就算是線上算圖平台，比如說Leonardo、Recarft，在人流正常的情況下，也都需要等待十幾秒至幾十秒。
這是因為擴散模型的工作過程中，逐步降噪需要時間來運算，要得到一張OK的圖，通常最少我們會用20步，有時候甚至會設到50步，每一步都需要耗費時間。
從很多年前開始，就有各方研究團隊在尋找改良方法，能夠兼顧加快生成、降低消耗、提高成果精度，於是各種各樣採樣器、調度器出現了；用SDwebui本機運算的人也都必裝xformers；後來更低耗能更快速的comfyui也誕生了。
但這些都還是基於擴散模型(LDMs=Latent Diffusion models)的算法之下。
在十月初的時候，中國清華大學的研究團隊發表了一篇論文，「潛在一致模型：透過幾步推理合成高解析度影像」，他們提出一種新的算法模型，有別於目前大家使用的擴散模型需要幾十步的降噪迭代，僅僅只用幾步就能讓AI生成出一張高品質的圖像，這個新的算法簡稱LCM或LCMs。
這是他們的展示頁面，你可以從arXiv Paper直接點開論文原文，我的能力有限，就不帶大家看論文了哈。
你需要知道的大概只有：他們發表的這個LCM可以直接distill目前市面上的擴散模型，distill這個字是蒸餾的意思，我應該會把它翻成「提煉」。
因為它能夠基於擴散模型去做精煉，所以才有了最後我們會講到的，僅僅是安插一個LCM lora，就可以讓擴散模型達到七步成詩的效果。
那接下來我們就來看一些實際範例。
試用LCM的demo
從展示頁面上，點hugging face demo可以線上試用他們的研究成果。
這是一個簡單的試用介面，上面寫著它使用的模型是用LCM算法重新提煉的DSv7。
在上面這個框裡輸入prompt後，按一下run就可以感受LCM的極速運算了。因為能夠調整的設定有限，所以成品不用想會有多漂亮，在這個測試頁單純就體驗一個速度感，因此prompt不用特別精心去寫，可以隨便從平常玩的prompt裡面抽一個就好。
這是其中一串我隨便丟的測試prompt：
closeup, (line art) Michael Cheval style illustration of a twenty-year-old woman, focus-on-face, very beautiful, dressed in a beautiful turquoise blue lace dress, masterpiece, best quality, photography
（有時候會看到要等一下的情況，顯示等待隊列（好像是queuery），這不是等待運算本身，而是因為這是一個公開的雲端測試用平台，如果同時有太多人接進來使用，等待隊列就會稍微長一點，但因為每個排到的人算出結果的速度都很快，因此也不會等太久。這個情形本身也不容易遇上。）
從右上角可以看到它實際上真的只跑了4步，顯示結果有時候要等一下才會刷新，有時候會有幾張圖是整個黑掉的，不太確定是我這邊的問題，還是因為它是雲端的關係。
下面的進階設定打開，你可以調整參數看看不同的結果。
下載LCM lora
除了可以線上試用之外，現在團隊也給出了幾個LCM的大模型跟lora可供下載。
推薦平常有使用SDwebui也就是A1111，以及comfyui的朋友，把LCM的兩個lora載下來玩看看，lora的泛用性比較高，調用的操作上也比較簡單。
在Latent Consistency的hugging face頁面往下滑，你可以找到團隊發布的三個lora，按照平常那樣下載下來，丟進你放lora的地方就可以了。
要記得存檔的時候，或存完自己手動改一下檔案名稱，因為他們預設的檔名都一樣，比方說我把1.5 lora的檔案名稱設為LCM_SD15。
如果你也想試試看LCM的大模型，要注意，目前LCM大模型在SDwebui上沒辦法直接使用，它們需要透過新的LCM調度採樣方式來生成，目前webui要支援需要透過比較複雜的方式去安裝LCM調度器，而comfy上已經有一些大神製作了適配的custom nodes。
還沒有用過comfy的朋友可以參考一下，我之前做的comfy教學，真的不難的。
lora的調用方法跟一般lora一樣，在webui或comfy都是。
- 權重不要調整，設為1
- 步數必須設置在2-8步之間
- CFG或說guidance scale設置在1.0-2.0之間
如果你使用的模型是1.5的，就套用1.5的LCM lora，如果是XL就套XL的LCM lora，可以同時疊加其他lora使用。
在comfy中要記得把採樣器改為LCM，如果你的comfy沒有LCM選項，打開manager更新下comfy，就可以看到了。
結語
其實比起生成所耗費的時間與資源，我認為訓練才是接下來將會真正受惠的部分。
因為大型基模的訓練，需要耗費非常大的算力資源和時間，如果不能夠突破，那麼未來更加大型的繪圖模型的技術突破，可能不會太容易（我寫下這句話時，SDXL Turbo還沒出w），LCM或許就能為此帶來解方，也就是說，接下來繪圖模型的進化，可能會以更超乎想像的速度前進。
讓我們一起期待未來的發展吧！
補充
我原本使用的SDXL sampler在更新comfy後，一直沒辦法正常使用，顯示紅框，後來我是把它整個砍掉重裝一遍。如果你在更新後也發生類似的問題，有nodes讀不出來，可以跟我一樣重裝，理論上就能解決。
另外還有一個消息，在剪片的時候呢，發現十一月底，Stability也發布了自己的即時文生圖模型，SDXL-Turbo，主打一個一步到位生成。
相關資料請點這裡，有興趣的朋友可以去看看，之後有時間我們再來聊聊這個turbo。
希望這篇文章有幫助到你，有任何問題歡迎在文章下方或影片下方留言。
也歡迎跟我分享你的使用心得、討論你對LCM的看法！
你可能也想看
