Stable Diffusion 的 LoRA 是什麼？如何使用？
閱讀時間約 3 分鐘
LoRA 是什麼？為何在 Stable Diffusion 社群討論中常常出現？Prompt 有時看到很奇怪的文字是什麼？本文一次解答上述問題，並用白話文簡介 LoRA 原理，讓大家在操作時更有感覺！
目錄
- 1 LoRA 是什麼？
- 2 去哪裡下載 LoRA？
- 3 如何安裝 LoRA 到 Stable Diffusion WebUI？
- 4 如何使用 LoRA
- 5 套用 LoRA 的效果
- 6 同時套用兩個 LoRA
LoRA 是什麼？
在 最詳細的 Stable diffusion WebUI 操作教學 – txt2img | Part 1 中提到，所有算圖的第一步是選擇模型（model，或者說 checkpoint）。
雖然每個 checkpoint 都是 Stable Diffusion model，但因為透過不同圖片訓練，神經元權重不同，因此有各自的風格（簡單想像，大家都是人類，但因為學習、經驗等不同，因此大家都能展現出獨特的自己）。
此時會發現幾個問題：
- checkpoint 檔案非常大，動輒 2 ~ 7 GB 不等，若需要多種風格，將佔用大量硬碟空間
- 每個 checkpoint 不能在算圖操作時 直接疊加 ，需先透過 Checkpoint Merger 作混合，產生出新的 checkpoint 才能使用
- 若要 fine tune model 訓練新的風格，因模型過大，需大量硬體資源才能辦到
為了解決 fine-tuning large-language models 的問題， Microsoft researchers 提出 LoRA: Low-Rank Adaption of Large Language Models 方法。
簡單說明重點：
- LoRA 透過 inject 的方式，在大型語言模型中，每個 transformer block 前插入一層 trainable layers (rank-decomposition matrices)
- fine tune 訓練時，固定 model 所有神經元權重，只訓練 inject trainable layers 的權重，因此訓練參數量可以大幅下降
- 權重參數下降代表檔案大小也變小，因此 LoRA 只有幾百 MB（通常是 151 MB）
若以上太學術看不懂沒關係，可以簡單把 LoRA 當成風格濾鏡來理解。在 Prompt 中加入 LoRA 引用，即能大幅改變算圖的結果，甚至也能同時套用多個 LoRA 來取得混合風格。使用上比單純更換 model 或作 checkpoint merge 更有彈性且多變。
去哪裡下載 LoRA？
在 如何在 M1 Macbook 上跑 Stable Diffusion？ 文末有推薦各種風格的 LoRA，或者直接上 Civitai 下載網友分享的 LoRA...
延伸閱讀
為什麼會看到廣告
4會員
12內容數
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
tensor.art是一個很新的AI繪圖網站，目前還沒看到有什麼廣告或是業配，目前僅在Stable Diffusion 台灣社群v2社團看到一兩篇廣告跟介紹而已。
目前還沒有具體的營利模式，每天有100個繪圖點可以畫100張圖，但也因為還沒有營利模式，所以就算你想花錢買點數也沒得買。
本篇要來分享一下如何用之前學到的技巧來製作有透視關係的多人圖。
這張圖用於我自己的小說 哈娜與修的談判的概念插畫，所以對於角色的表情、姿勢與攝影角度有一定的要求，不是光靠提示詞就能輕鬆生成，最省時間的方法就是使用人偶生圖法來產生姿勢固定的圖。
這篇很短，僅提供在算圖時於VAE階段%卡死不動的可能解決方案。
方法：關掉Token Merge
祝大家算圖愉快！
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
這篇要來討論，我們是否能靠著一張圖，就能鍛鍊出LoRA。
用ACG圖片訓練出來的LoRA models，時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
接續上一篇，我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
如何完全靠雲端運算，簡單產生高品質，穩定的角色LoRA，讓AI繪圖能在不同模型下產生一致的人物。上集。
這個方法主要是借用Google Colab的威力。
這次要介紹的LoRA訓練法，特別適用於下列對象：
nVidia顯卡不夠高級，跑不動訓練程序
根本不是nVidia顯卡的使用者，Stable Diffusion的訓練程序不支援
不想花錢花電力花顯卡時間訓練
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
Stable Diffusion 的 Mov2Mov 套件是一個非常強大的工具，讓你可以自動化和簡化視頻轉換過程。這個套件特別適合那些希望在視頻中進行面部替換、添加配件或改變角色外觀的人。這裡是關於這個套件的一些詳細介紹：
功能和優點
自動化視頻轉換：
Mov2Mov 可以自動化視頻到
tensor.art是一個很新的AI繪圖網站，目前還沒看到有什麼廣告或是業配，目前僅在Stable Diffusion 台灣社群v2社團看到一兩篇廣告跟介紹而已。
目前還沒有具體的營利模式，每天有100個繪圖點可以畫100張圖，但也因為還沒有營利模式，所以就算你想花錢買點數也沒得買。
本篇要來分享一下如何用之前學到的技巧來製作有透視關係的多人圖。
這張圖用於我自己的小說 哈娜與修的談判的概念插畫，所以對於角色的表情、姿勢與攝影角度有一定的要求，不是光靠提示詞就能輕鬆生成，最省時間的方法就是使用人偶生圖法來產生姿勢固定的圖。
這篇很短，僅提供在算圖時於VAE階段%卡死不動的可能解決方案。
方法：關掉Token Merge
祝大家算圖愉快！
這個應用情境可能是，如果你有自己的產品想要以QRcode來行銷，而「文生圖」（txt2img）的結果又無法與你的實際想像契合時，那麼用你的實際產品做為基底的圖生圖（img2img）QRcode就是一個不錯的選項。
這篇要來討論，我們是否能靠著一張圖，就能鍛鍊出LoRA。
用ACG圖片訓練出來的LoRA models，時有難以使用寫實風checkpoints models繪製出滿意成果的情況。
接續上一篇，我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
如何完全靠雲端運算，簡單產生高品質，穩定的角色LoRA，讓AI繪圖能在不同模型下產生一致的人物。上集。
這個方法主要是借用Google Colab的威力。
這次要介紹的LoRA訓練法，特別適用於下列對象：
nVidia顯卡不夠高級，跑不動訓練程序
根本不是nVidia顯卡的使用者，Stable Diffusion的訓練程序不支援
不想花錢花電力花顯卡時間訓練