Stable Diffusion -- 如何使用LoRA
閱讀時間約 5 分鐘
感想
在文章最前頭，先說感想：
奮戰整整三天，終於可以讓妳在任何模組上出現，這感覺真好。😊
問題
當我們在用AI算圖的時候，無論是MidJourney，DALL-E，Stable Diffusion還是其他生成式AI算圖，最常遇到的兩個麻煩事是：
- 角色在同一個模組逐漸變形
- 角色跨模組直接變形
- 知名角色，模組不認識
第一個情形是，當你用提示詞好不容易算出一個你喜歡的角色時，想在同一個模型裡面使用不同姿勢、場景、表情、服裝與藝術家風格等調整角色時，AI算出來的圖不一定都跟原本你一開始算出來的角色一樣。這時候最常用的做法就是不停微調提示詞，然後大量產圖拼手氣。
第二個情形是，一模一樣的提示詞在模組A能產生你要的角色形象，但是在模組B不一定能產生非常相像的角色，例如下圖：
這時候你只能靠不斷調整提示詞來拼運氣，但有時候不管怎麼調整都沒用。
第三個情況在動漫模組非常常見，某個在動漫模組非常知名的角色，跑到寫實模組裡面就對應不到任何相像的角色，例如巴洛克大叔在他的文章中提到的問題。
使用LoRA
為了解決這些問題，生成式AI有許多不同特性的解法，今天要介紹的LoRA就是一個才剛在Stable Diffusion上實作沒多久，但是因為效果非常顯著，所以很快就流行起來的手段。
LoRA在Automatic1111上的使用方法很簡單，無論是自己烘焙的LoRA或者從huggingface，Civitai等網站抓下來的LoRA，例如這個薩爾達公主的LoRA，抓下來之後放入/models/Lora/ 檔案夾之後，重新啟動Automatic1111之後就能用了！
至於確實的用法，請參考這篇巴洛克大叔的文章，有非常詳盡的步驟介紹。
這邊提一下最簡單的用法：
- 在Show/Hide Extra Network按鈕上按一下打開Extra Network區域
- 在新出現的區域上選擇Lora標籤，挑選自己要的LoRA
- LoRA會以 <lora:檔案名:權重>的型式出現在正面提示詞裡面（也只能用在正面提示詞）
- 把啟動提示詞填在正面提示詞裡面，每個LoRA的正面提示詞都不一樣，在下載的頁面中會提到，例如薩爾達公主的LoRA下載頁面，作者提到他的提示詞是princess zelda
使用LoRA的時候要注意的是，LoRA算是一種對整個模型都會產生影響的外掛，所以給他的權重過高，會造成整個畫面嚴重變形，而且不同的LoRA對不同模型的干擾程度都不一樣，需要自行測試。
以我自己烘焙出來的LoRA為例，在不同模型不同權重下的結果：
(extremely detailed CG unity 8k wallpaper),
digital painting of Vallaria with black dress,
headband, hair ribbons, solo, fantasy,
best quality, masterpiece, hdr, ultra highres,
trending on artstation
<lora:Vallaria30Epochs:0.0>
權重為0的時候其實毫無營響。當權重到達0.5以上，就會開始產生破圖。某些模組甚至在0.3的時候就連畫風與背景風格都會改變。所以在實際使用時，都會先從0.1開始慢慢往上加，測試這個模組能夠容忍不變形的極限。
順帶一提，LoRA其實可以共同使用，所以使用人物的LoRA同時使用風格類的LoRA理論上是可行的：
上面的圖就是同時使用人物LoRA與wlop大大的畫風LoRA的成果。
但是，Automatic1111會在把LoRA提示詞在LoRA混合進模型之後拿掉，所以一些特殊的Automatic1111語法是無法使用的，例如混合提示詞：
[Vallaria:old man:0.2]
下一篇，讓我們來看看如何準備自己的訓練圖，然後烘焙自己的LoRA！
參考連結
- AI繪圖-用Lora打造你的夢幻模特兒吧!三集之一：Kohya's GUI安裝
- What are LoRA models and how to use them in AUTOMATIC1111
- ULTIMATE FREE LORA Training In Stable Diffusion! Less Than 7GB VRAM!
- Stable Diffusion LoRA models: a complete guide
LoRA目錄：
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
Dream Machine 是由Luma AI 研發開發的 AI 影片生成工具，可以根據文字提示或圖像生成5秒鐘的高質量、逼真的影片。
本文介紹一個能將影片轉3D的AI工具，名為Luma AI。它能將影片或照片轉換成令人驚奇的3D圖像。文章介紹了Luma AI的願景、使用技術、使用方式、優缺點以及應用發想
我天真的以為，LoRA 就是一種改變或賦予 "風格" 的模型工具，沒想到，她也可以有所 "功能性"，我真是大開眼界了。
在此介紹 Envy Zoom Slider XL 01 (TenSor.Art 上面的名字)
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
Open AI影片生成模型Sora橫空出世
Sora是一個 AI 模型，可依據文字指令創建現實和富有想像的場景
這是Open AI首頁關於生成模型Sora的簡介
Open AI執行長將籌資數兆美元重塑全球半導體產業
全美娛樂產業接受訪談的300位主管，認為未來3年將有20萬個工作
受到AI
關於 SORA 技術原理的圖像式解說，內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。
提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神，以及對視覺產業可能帶來的影響。
OpenAI 發表的Sora，對於我這個浸淫AI繪圖還有AI產生(基礎的)動畫一段時間的人來說，可以說是非常的震撼。為什麼Sora 跟其他的文字產生影片的工具如Pika 或是 Runway 完全不同呢? 他對我們來說又有什麼意義呢? 這就是這篇文章我們想探討的。
AI生成技術領頭羊Open AI又出手了，旗下產品「Sora」有別於Chat GPT，只要給予指令，生產出來的不再只是文字，而是一幕幕需要耗費大量人工努力下產出的產品，所謂大量人工包含了：攝影、剪接、燈光、彩妝、演員、美術道具，甚至導演、製片等等。
而AI只要彈指之間，便能將無形化有形，從無到有
Dream Machine 是由Luma AI 研發開發的 AI 影片生成工具，可以根據文字提示或圖像生成5秒鐘的高質量、逼真的影片。
本文介紹一個能將影片轉3D的AI工具，名為Luma AI。它能將影片或照片轉換成令人驚奇的3D圖像。文章介紹了Luma AI的願景、使用技術、使用方式、優缺點以及應用發想
我天真的以為，LoRA 就是一種改變或賦予 "風格" 的模型工具，沒想到，她也可以有所 "功能性"，我真是大開眼界了。
在此介紹 Envy Zoom Slider XL 01 (TenSor.Art 上面的名字)
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
Open AI影片生成模型Sora橫空出世
Sora是一個 AI 模型，可依據文字指令創建現實和富有想像的場景
這是Open AI首頁關於生成模型Sora的簡介
Open AI執行長將籌資數兆美元重塑全球半導體產業
全美娛樂產業接受訪談的300位主管，認為未來3年將有20萬個工作
受到AI
關於 SORA 技術原理的圖像式解說，內容從通用型人工智慧到生成運算的原理以及相關的技術研究成果。
提供了使用生成運算方式的 Diffusion Transformer 介紹和進階閱讀的指路。分享 AI 研究領域的開放性和合作精神，以及對視覺產業可能帶來的影響。
OpenAI 發表的Sora，對於我這個浸淫AI繪圖還有AI產生(基礎的)動畫一段時間的人來說，可以說是非常的震撼。為什麼Sora 跟其他的文字產生影片的工具如Pika 或是 Runway 完全不同呢? 他對我們來說又有什麼意義呢? 這就是這篇文章我們想探討的。
AI生成技術領頭羊Open AI又出手了，旗下產品「Sora」有別於Chat GPT，只要給予指令，生產出來的不再只是文字，而是一幕幕需要耗費大量人工努力下產出的產品，所謂大量人工包含了：攝影、剪接、燈光、彩妝、演員、美術道具，甚至導演、製片等等。
而AI只要彈指之間，便能將無形化有形，從無到有