Stable Diffusion 的 LoRA 是什麼？如何使用？
更新於 發佈於 閱讀時間約 3 分鐘
LoRA 是什麼？為何在 Stable Diffusion 社群討論中常常出現？Prompt 有時看到很奇怪的文字是什麼？本文一次解答上述問題，並用白話文簡介 LoRA 原理，讓大家在操作時更有感覺！
目錄
- 1 LoRA 是什麼？
- 2 去哪裡下載 LoRA？
- 3 如何安裝 LoRA 到 Stable Diffusion WebUI？
- 4 如何使用 LoRA
- 5 套用 LoRA 的效果
- 6 同時套用兩個 LoRA
LoRA 是什麼？
在 最詳細的 Stable diffusion WebUI 操作教學 – txt2img | Part 1 中提到，所有算圖的第一步是選擇模型（model，或者說 checkpoint）。
雖然每個 checkpoint 都是 Stable Diffusion model，但因為透過不同圖片訓練，神經元權重不同，因此有各自的風格（簡單想像，大家都是人類，但因為學習、經驗等不同，因此大家都能展現出獨特的自己）。
此時會發現幾個問題：
- checkpoint 檔案非常大，動輒 2 ~ 7 GB 不等，若需要多種風格，將佔用大量硬碟空間
- 每個 checkpoint 不能在算圖操作時 直接疊加 ，需先透過 Checkpoint Merger 作混合，產生出新的 checkpoint 才能使用
- 若要 fine tune model 訓練新的風格，因模型過大，需大量硬體資源才能辦到
為了解決 fine-tuning large-language models 的問題， Microsoft researchers 提出 LoRA: Low-Rank Adaption of Large Language Models 方法。
簡單說明重點：
- LoRA 透過 inject 的方式，在大型語言模型中，每個 transformer block 前插入一層 trainable layers (rank-decomposition matrices)
- fine tune 訓練時，固定 model 所有神經元權重，只訓練 inject trainable layers 的權重，因此訓練參數量可以大幅下降
- 權重參數下降代表檔案大小也變小，因此 LoRA 只有幾百 MB（通常是 151 MB）
若以上太學術看不懂沒關係，可以簡單把 LoRA 當成風格濾鏡來理解。在 Prompt 中加入 LoRA 引用，即能大幅改變算圖的結果，甚至也能同時套用多個 LoRA 來取得混合風格。使用上比單純更換 model 或作 checkpoint merge 更有彈性且多變。
去哪裡下載 LoRA？
在 如何在 M1 Macbook 上跑 Stable Diffusion？ 文末有推薦各種風格的 LoRA，或者直接上 Civitai 下載網友分享的 LoRA...
延伸閱讀
為什麼會看到廣告
4會員
12內容數
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我天真的以為，LoRA 就是一種改變或賦予 "風格" 的模型工具，沒想到，她也可以有所 "功能性"，我真是大開眼界了。
在此介紹 Envy Zoom Slider XL 01 (TenSor.Art 上面的名字)
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為「透過LoRA執行Fine Tuning」
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
關於 SORA 技術原理的圖像式解說，內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。
提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神，以及對視覺產業可能帶來的影響。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
OpenAI 發表的Sora，對於我這個浸淫AI繪圖還有AI產生(基礎的)動畫一段時間的人來說，可以說是非常的震撼。為什麼Sora 跟其他的文字產生影片的工具如Pika 或是 Runway 完全不同呢? 他對我們來說又有什麼意義呢? 這就是這篇文章我們想探討的。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我天真的以為，LoRA 就是一種改變或賦予 "風格" 的模型工具，沒想到，她也可以有所 "功能性"，我真是大開眼界了。
在此介紹 Envy Zoom Slider XL 01 (TenSor.Art 上面的名字)
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為「透過LoRA執行Fine Tuning」
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
關於 SORA 技術原理的圖像式解說，內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。
提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神，以及對視覺產業可能帶來的影響。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
OpenAI 發表的Sora，對於我這個浸淫AI繪圖還有AI產生(基礎的)動畫一段時間的人來說，可以說是非常的震撼。為什麼Sora 跟其他的文字產生影片的工具如Pika 或是 Runway 完全不同呢? 他對我們來說又有什麼意義呢? 這就是這篇文章我們想探討的。
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。