LoRA 是什麼？為何在 Stable Diffusion 社群討論中常常出現？Prompt 有時看到很奇怪的文字是什麼？本文一次解答上述問題，並用白話文簡介 LoRA 原理，讓大家在操作時更有感覺！

目錄

• 1 LoRA 是什麼？
• 2 去哪裡下載 LoRA？
• 3 如何安裝 LoRA 到 Stable Diffusion WebUI？
• 4 如何使用 LoRA
• 5 套用 LoRA 的效果
• 6 同時套用兩個 LoRA

LoRA 是什麼？

在 最詳細的 Stable diffusion WebUI 操作教學 – txt2img | Part 1 中提到，所有算圖的第一步是選擇模型（model，或者說 checkpoint）。

此時會發現幾個問題：

• checkpoint 檔案非常大，動輒 2 ~ 7 GB 不等，若需要多種風格，將佔用大量硬碟空間
• 每個 checkpoint 不能在算圖操作時 直接疊加 ，需先透過 Checkpoint Merger 作混合，產生出新的 checkpoint 才能使用
• 若要 fine tune model 訓練新的風格，因模型過大，需大量硬體資源才能辦到

為了解決 fine-tuning large-language models 的問題， Microsoft researchers 提出 LoRA: Low-Rank Adaption of Large Language Models 方法。

簡單說明重點：

• LoRA 透過 inject 的方式，在大型語言模型中，每個 transformer block 前插入一層 trainable layers (rank-decomposition matrices)
• fine tune 訓練時，固定 model 所有神經元權重，只訓練 inject trainable layers 的權重，因此訓練參數量可以大幅下降
• 權重參數下降代表檔案大小也變小，因此 LoRA 只有幾百 MB（通常是 151 MB）

若以上太學術看不懂沒關係，可以簡單把 LoRA 當成風格濾鏡來理解。在 Prompt 中加入 LoRA 引用，即能大幅改變算圖的結果，甚至也能同時套用多個 LoRA 來取得混合風格。使用上比單純更換 model 或作 checkpoint merge 更有彈性且多變。

延伸閱讀：Using LoRA for Efficient Stable Diffusion Fine-Tuning

去哪裡下載 LoRA？

在 如何在 M1 Macbook 上跑 Stable Diffusion？ 文末有推薦各種風格的 LoRA，或者直接上 Civitai 下載網友分享的 LoRA...

👉👉前往 KodingWork - Stable Diffusion 的 LoRA 是什麼？如何使用？ 閱讀全文

延伸閱讀

如何用 Stable Diffusion 產生高解析度的圖？
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
如何在 M1 Macbook 上跑 Stable Diffusion？
免費用 Google Colab 玩 Stable Diffusion WebUI
不用顯卡也能玩 Stable Diffusion WebUI – 使用 AWS 架設