Stable Diffusion 的 LoRA 是什麼？如何使用？
更新於 2023/08/17閱讀時間約 3 分鐘
LoRA 是什麼？為何在 Stable Diffusion 社群討論中常常出現？Prompt 有時看到很奇怪的文字是什麼？本文一次解答上述問題，並用白話文簡介 LoRA 原理，讓大家在操作時更有感覺！
目錄
- 1 LoRA 是什麼？
- 2 去哪裡下載 LoRA？
- 3 如何安裝 LoRA 到 Stable Diffusion WebUI？
- 4 如何使用 LoRA
- 5 套用 LoRA 的效果
- 6 同時套用兩個 LoRA
LoRA 是什麼？
在 最詳細的 Stable diffusion WebUI 操作教學 – txt2img | Part 1 中提到，所有算圖的第一步是選擇模型（model，或者說 checkpoint）。
雖然每個 checkpoint 都是 Stable Diffusion model，但因為透過不同圖片訓練，神經元權重不同，因此有各自的風格（簡單想像，大家都是人類，但因為學習、經驗等不同，因此大家都能展現出獨特的自己）。
此時會發現幾個問題：
- checkpoint 檔案非常大，動輒 2 ~ 7 GB 不等，若需要多種風格，將佔用大量硬碟空間
- 每個 checkpoint 不能在算圖操作時 直接疊加 ，需先透過 Checkpoint Merger 作混合，產生出新的 checkpoint 才能使用
- 若要 fine tune model 訓練新的風格，因模型過大，需大量硬體資源才能辦到
為了解決 fine-tuning large-language models 的問題， Microsoft researchers 提出 LoRA: Low-Rank Adaption of Large Language Models 方法。
簡單說明重點：
- LoRA 透過 inject 的方式，在大型語言模型中，每個 transformer block 前插入一層 trainable layers (rank-decomposition matrices)
- fine tune 訓練時，固定 model 所有神經元權重，只訓練 inject trainable layers 的權重，因此訓練參數量可以大幅下降
- 權重參數下降代表檔案大小也變小，因此 LoRA 只有幾百 MB（通常是 151 MB）
若以上太學術看不懂沒關係，可以簡單把 LoRA 當成風格濾鏡來理解。在 Prompt 中加入 LoRA 引用，即能大幅改變算圖的結果，甚至也能同時套用多個 LoRA 來取得混合風格。使用上比單純更換 model 或作 checkpoint merge 更有彈性且多變。
去哪裡下載 LoRA？
在 如何在 M1 Macbook 上跑 Stable Diffusion？ 文末有推薦各種風格的 LoRA，或者直接上 Civitai 下載網友分享的 LoRA...
延伸閱讀
為什麼會看到廣告
4會員
12內容數
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
tensor.art是一個很新的AI繪圖網站，目前還沒看到有什麼廣告或是業配，目前僅在Stable Diffusion 台灣社群v2社團看到一兩篇廣告跟介紹而已。
目前還沒有具體的營利模式，每天有100個繪圖點可以畫100張圖，但也因為還沒有營利模式，所以就算你想花錢買點數也沒得買。
本篇要來分享一下如何用之前學到的技巧來製作有透視關係的多人圖。
這張圖用於我自己的小說 哈娜與修的談判的概念插畫，所以對於角色的表情、姿勢與攝影角度有一定的要求，不是光靠提示詞就能輕鬆生成，最省時間的方法就是使用人偶生圖法來產生姿勢固定的圖。
這篇很短，僅提供在算圖時於VAE階段%卡死不動的可能解決方案。
方法：關掉Token Merge
祝大家算圖愉快！
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
這篇要來討論，我們是否能靠著一張圖，就能鍛鍊出LoRA。
用ACG圖片訓練出來的LoRA models，時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
接續上一篇，我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
如何完全靠雲端運算，簡單產生高品質，穩定的角色LoRA，讓AI繪圖能在不同模型下產生一致的人物。上集。
這個方法主要是借用Google Colab的威力。
這次要介紹的LoRA訓練法，特別適用於下列對象：
nVidia顯卡不夠高級，跑不動訓練程序
根本不是nVidia顯卡的使用者，Stable Diffusion的訓練程序不支援
不想花錢花電力花顯卡時間訓練
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
tensor.art是一個很新的AI繪圖網站，目前還沒看到有什麼廣告或是業配，目前僅在Stable Diffusion 台灣社群v2社團看到一兩篇廣告跟介紹而已。
目前還沒有具體的營利模式，每天有100個繪圖點可以畫100張圖，但也因為還沒有營利模式，所以就算你想花錢買點數也沒得買。
本篇要來分享一下如何用之前學到的技巧來製作有透視關係的多人圖。
這張圖用於我自己的小說 哈娜與修的談判的概念插畫，所以對於角色的表情、姿勢與攝影角度有一定的要求，不是光靠提示詞就能輕鬆生成，最省時間的方法就是使用人偶生圖法來產生姿勢固定的圖。
這篇很短，僅提供在算圖時於VAE階段%卡死不動的可能解決方案。
方法：關掉Token Merge
祝大家算圖愉快！
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
這篇要來討論，我們是否能靠著一張圖，就能鍛鍊出LoRA。
用ACG圖片訓練出來的LoRA models，時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
接續上一篇，我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
如何完全靠雲端運算，簡單產生高品質，穩定的角色LoRA，讓AI繪圖能在不同模型下產生一致的人物。上集。
這個方法主要是借用Google Colab的威力。
這次要介紹的LoRA訓練法，特別適用於下列對象：
nVidia顯卡不夠高級，跑不動訓練程序
根本不是nVidia顯卡的使用者，Stable Diffusion的訓練程序不支援
不想花錢花電力花顯卡時間訓練