2023-11-26|閱讀時間 ‧ 約 2 分鐘

即時生圖應用大行其道,LCM手法理解與未來應用

北京清華大學改進了傳統Stable Diffusion (SD) 文生圖的加速算法,讓SD這項技術,可以在筆電達到即時(Real Time)運算等級,讓我們一起來了解這項技術,期許未來能在各種應用上使用,或是看到源碼也不陌生。

改良思路與影響:

總體來說,Luo et al. 的研究,基於Latent做一致性模型的迭代調整,大幅降低運算複雜度,衍伸出一系列的改良,大幅降低訓練時間,提高生成影像的品質,然後在inference的時候能達到Real-time的輸出水平。以下列出四點論文的重要貢獻:


基於Latent 做Consistency Model 的計算,而非Image本身,大大降低計算複雜度


使用"Latent" Consistency Model (LCM)

  • 應用在更高的解析度圖片生成: 768 x 768 pixel2 or higher
  • 大幅降低所需的運算複雜度: O(N2)->O(N),對Latent向量(而非輸入圖片)做CM蒸餾
分享至
成為作者繼續創作的動力吧!
從 Google News 追蹤更多 vocus 的最新精選內容從 Google News 追蹤更多 vocus 的最新精選內容

作者的相關文章

無限智慧學院的沙龍 的其他內容

你可能也想看

發表回應

成為會員 後即可發表留言
© 2024 vocus All rights reserved.