北京清華大學改進了傳統Stable Diffusion (SD) 文生圖的加速算法,讓SD這項技術,可以在筆電達到即時(Real Time)運算等級,讓我們一起來了解這項技術,期許未來能在各種應用上使用,或是看到源碼也不陌生。改良思路與影響:總體來說,Luo et al. 的研究,基於Latent做一致性模型的迭代調整,大幅降低運算複雜度,衍伸出一系列的改良,大幅降低訓練時間,提高生成影像的品質,然後在inference的時候能達到Real-time的輸出水平。以下列出四點論文的重要貢獻:基於Latent 做Consistency Model 的計算,而非Image本身,大大降低計算複雜度使用"Latent" Consistency Model (LCM) 應用在更高的解析度圖片生成: 768 x 768 pixel2 or higher大幅降低所需的運算複雜度: O(N2)->O(N),對Latent向量(而非輸入圖片)做CM蒸餾