增加訓練LoRA、LoCon模型的精準度 - Stable Diffusion

閱讀時間約 5 分鐘

本教學使用Automatic 1111介面


  AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。
圖片預處理
  預處理很常勾選「Use deepbooru for caption」(上圖紅框),並在預處理完成後生成配對每張圖片的.txt文字檔案--大多數的教學文在這道步驟後就直接開始訓練。
  這樣其實很可惜,因為只要再多花點工夫,就可以顯著提升訓練成果的「準確度」,且只需要中等程度的英文能力和基本的關鍵字蒐圖技巧。

deepbooru - Danbooru

  在勾選「Use deepbooru for caption」時,有沒有想過什麼是「deepbooru」?其實這和Stable Diffusion訓練來源的圖片有很大的關係,也就是下列網站:
https://danbooru.donmai.us/
*未成年者請勿點入*未成年者請勿點入*未成年者請勿點入
  而進行圖片預處理後,有沒有想過為什麼會生成.txt文字檔案?
  其實只要打開生成的.txt,就會發現是和+Prompts類似的內容。換言之,預處理就是AI以圖片反推關鍵字的工序,而deepbooru的反推結果會套用Danbooru的關鍵字格式
  以下是兩張範例:
範例1
範例1 - 預處理生成的.txt內容
範例2
範例2 - 預處理生成的.txt內容
  注意到了嗎?AI預處理產生的關鍵字不太理想」。舉例而言,範例1的.txt沒有「狐狸」和背景的「薰衣草」,而且紅框圈起的「purple_sky」(紫色天空)根本不存在。
  範例2的.txt問題就更多了,例如雙胞胎的眼睛和頭髮的顏色各只提供一種、完全沒提到衣服的顏色,以及最糟糕的「own_hands_together」(自己握自己的手)!
  試想一下,如果就這樣直接交給AI訓練LoRA、LoCon模型,AI當然會產生「困惑」、進而算出「無厘頭」的結果--不是因為AI笨,而是AI很忠實地遵照了荒謬的關鍵字

參考Danbooru,修正文字檔的內容

  這時就輪到https://danbooru.donmai.us/(*未成年者請勿點入)登場並充分運用英文知識的時候了。既然「deepbooru」生成了Danbooru格式的關鍵字,若要修正其內容,理所當然最好的方式就是去Danbooru尋找正確的關鍵字
  以範例1而言,我在該網站輸入「fox」搜尋結果,並點入了一張圖片:
某張圖片的關鍵字清單 - 不包含圖片是顧慮版權問題
  紅框的部分除了「fox boy」不能用以外,其他都可以加入到範例1的.txt檔案中。參考了幾張有狐狸的圖片後,我將範例1的.txt內容調整如下:
範例1調整後的.txt內容
animal_focus = 圖片中有動物角色
fox = 狐狸
animal_feet = 動物腳
yellow_eyes = 黃色/金色眼睛
flaming_eye = 單眼冒出火焰的特效,雙眼請用 flaming_eyes
fluffy = 蓬鬆毛茸茸
lavender_(flower) = 薰衣草花,直接沿用了Danbooru網站的關鍵字格式
  我也遵照AI生成的關鍵字格式,單個關鍵字的空白以「_」取代(例:flaming_eye),不過使用訓練出來的LoRA、LoCon模型來生圖時,Prompts中直接使用空白即可。
以下是調整後的範例2的.txt內容:
範例2調整後的.txt內容 - 差距相當大
Lu_Ashkol/Eye_Ashkol = 角色名字
*如訓練特定角色模型,以Danbooru格式輸入該角色的英文名會非常有助益。
child = 小孩
female_child = 小女孩 -- 千萬不要使用「loli」,除非想生成「壞壞」的圖片。
flat_chest = 平胸
multicolored_eyes = 多色眼睛
two-tone_hair = 雙色髮色
multicolored_hair = 多色髮色
streaked_hair = 挑染髮色
off-shoulder_shirt = 平口露肩上衣
frilled_sleeves = 摺邊袖
bare_shoulder = 露肩
shoulder_strap = 肩帶
collarbone = 鎖骨
bangs = 瀏海
interlocked_fingers = 十指交扣

推薦使用Danbooru的關鍵字

  原本我想使用「gold_eyes」代表金色眼睛,但實際在Danbooru搜尋後發現找不到結果:
輸入gold_eyes沒有找到圖片,附帶一提golden_eyes搜到的結果也不對
  於是最後改用了yellow_eyes --其實使用Stable Diffusion生圖時,包括網路上一些Prompts範例,其中不乏一些亂七八糟、有輸入有保佑的關鍵字。雖然因為這樣做的人很多、且AI還是有一定程度的「彈性」,所以也不乏瞎貓碰到死耗子的例子,但還是建議找關鍵字時首先來Danbooru搜尋,畢竟用這裡的關鍵字生成想要結果的機率會比較高。
  祝大家激發潛藏已久的英文能力,心想「繪」成!

範例2的雙胞胎故事:
有興趣的話,歡迎前往KadoKado閱讀喔(自產自推)。

為什麼會看到廣告
avatar-img
82會員
104內容數
筆者探索AI工具時遇到的難題、解方和雜談,不定期更新。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
黑米BR的沙龍 的其他內容
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
  最近玩了個台灣製的遊戲,內容不多,玩了三小時就進入「片尾曲」。   這時我突發奇想,擷取一張截圖,然後用這張圖跑Stable Diffusion的Img2Img(以圖算圖)。   因為非業配,沒有取得原圖授權,所以原圖我就不貼了,但有看過結局的人,一定能從下面幾張圖猜出原圖出處: +Prompt
  2023/Apr/8 補充更新 - 想訓練AI模型的人,建議正常安裝Python和Git,理由如下:
ChatGPT創作大賽投稿的短篇推理懸疑故事,見證了ChatGPT的無厘頭...
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
  最近玩了個台灣製的遊戲,內容不多,玩了三小時就進入「片尾曲」。   這時我突發奇想,擷取一張截圖,然後用這張圖跑Stable Diffusion的Img2Img(以圖算圖)。   因為非業配,沒有取得原圖授權,所以原圖我就不貼了,但有看過結局的人,一定能從下面幾張圖猜出原圖出處: +Prompt
  2023/Apr/8 補充更新 - 想訓練AI模型的人,建議正常安裝Python和Git,理由如下:
ChatGPT創作大賽投稿的短篇推理懸疑故事,見證了ChatGPT的無厘頭...
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
今天想跟大家聊聊分享一些市場的噪音, 以及後面會談到擊敗大盤績效的投資/交易方法。 一般來說, 在每天的交易上, 市場充斥的大量的訊息, 這些訊息常常對個股或大盤基本面沒有太多的影響, 但卻是會影響短期個股的報酬率
Thumbnail
▌阻力訓練增加肌肉的秘訣: 肌肉成長關鍵要素? 擁有強壯的肌肉與吸引人的外貌體魄是許多人的夢想,不僅是為了健康,更是為了展現自己最好的一面。而談到肌肉成長,其背後有許多運動生理學當中的關鍵概念......
Thumbnail
長距離騎車活動需要大量時間跟距離,增加訓練量和強度並不一定有效。可以考慮減法思維,適當減少無效的訓練。此篇文章分享瞭如何運用不同強度的訓練和減少訓練量的技巧,來達成長距離賽事訓練的效果。
Thumbnail
這篇文章總結了在抖音上的7種變現模式,包括創作者變現、直播模式、課程變現、影片製作變現等。作者提供了相關的資訊和連結,並提到2024年的風口。文章標籤包括抖音變現、抖音賺錢、TIKTOK賺錢等。
原文可以點這裡進入 跳出好感增加/減少訊息 【Renpy教學】 在開始之前建議你先讀過以下這篇: 什麼是變量? 其實要做出簡單的這個好感加減的跳出小框框 (rr 不知道怎麼叫它 w) 是很簡單的 以下是一個小
Thumbnail
你想讓客人直接在網路上報名服務 / 活動 / 會議嗎? 免費的預約報名工具可能是你的第一選擇,不過:免費,通常是最貴的!免費工具通常無法完全符合你的實際需求,而且讓你需要另外付出極高的時間、勞力成本。 以下一共整理出你可能還沒想到,或者還沒遇到的 6 大缺點,告訴你為何不建議使用免費的預約報名工具
Thumbnail
本作品花型為盤花基本型第二型,△佔隅,宧點象地轉盤。 ■作者:尤秋玲 ■攝影:王凱鶴
Thumbnail
我在父母生前就經常夢見父母過逝留下孤獨的自己,而今父母業已過世,這樣的夢還是出現,人類沒辦法不面對這樣的現實,娶了妻子生了孩子,相伴在身邊的妻子、子女成為失去父母後精神的依靠,無論是現實或者心靈,終究是無法將孤獨抹去,在每天忙碌的工作生活中暫時忘去,但在睡夢獨處中浮現。
Thumbnail
往常這個季節是大翅鯨洄游的季節,只有出海才會看到的鯨種! 因此,我們決定舉凡各種多元方案(疑?)各式各樣的優惠、 讓價格甜甜蜜蜜!就是希望您可以一起出海走走!
Thumbnail
電商必考題第4題,甜點蛋糕電商該怎麼做?幫你解析六大體質,讓你掌握新知,題題破解,命中盲點。甜點蛋糕一直以來都是很熱門的創業題目,因為他的進入門檻低、材料取得與製作相對簡單。像我就有在蝦皮買過一個手工蛋糕,跟他聊了之後才知道她是家庭主婦利用帶小孩的空檔來作蛋糕,所以都需要提前一個禮拜預約才行。但是
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
今天想跟大家聊聊分享一些市場的噪音, 以及後面會談到擊敗大盤績效的投資/交易方法。 一般來說, 在每天的交易上, 市場充斥的大量的訊息, 這些訊息常常對個股或大盤基本面沒有太多的影響, 但卻是會影響短期個股的報酬率
Thumbnail
▌阻力訓練增加肌肉的秘訣: 肌肉成長關鍵要素? 擁有強壯的肌肉與吸引人的外貌體魄是許多人的夢想,不僅是為了健康,更是為了展現自己最好的一面。而談到肌肉成長,其背後有許多運動生理學當中的關鍵概念......
Thumbnail
長距離騎車活動需要大量時間跟距離,增加訓練量和強度並不一定有效。可以考慮減法思維,適當減少無效的訓練。此篇文章分享瞭如何運用不同強度的訓練和減少訓練量的技巧,來達成長距離賽事訓練的效果。
Thumbnail
這篇文章總結了在抖音上的7種變現模式,包括創作者變現、直播模式、課程變現、影片製作變現等。作者提供了相關的資訊和連結,並提到2024年的風口。文章標籤包括抖音變現、抖音賺錢、TIKTOK賺錢等。
原文可以點這裡進入 跳出好感增加/減少訊息 【Renpy教學】 在開始之前建議你先讀過以下這篇: 什麼是變量? 其實要做出簡單的這個好感加減的跳出小框框 (rr 不知道怎麼叫它 w) 是很簡單的 以下是一個小
Thumbnail
你想讓客人直接在網路上報名服務 / 活動 / 會議嗎? 免費的預約報名工具可能是你的第一選擇,不過:免費,通常是最貴的!免費工具通常無法完全符合你的實際需求,而且讓你需要另外付出極高的時間、勞力成本。 以下一共整理出你可能還沒想到,或者還沒遇到的 6 大缺點,告訴你為何不建議使用免費的預約報名工具
Thumbnail
本作品花型為盤花基本型第二型,△佔隅,宧點象地轉盤。 ■作者:尤秋玲 ■攝影:王凱鶴
Thumbnail
我在父母生前就經常夢見父母過逝留下孤獨的自己,而今父母業已過世,這樣的夢還是出現,人類沒辦法不面對這樣的現實,娶了妻子生了孩子,相伴在身邊的妻子、子女成為失去父母後精神的依靠,無論是現實或者心靈,終究是無法將孤獨抹去,在每天忙碌的工作生活中暫時忘去,但在睡夢獨處中浮現。
Thumbnail
往常這個季節是大翅鯨洄游的季節,只有出海才會看到的鯨種! 因此,我們決定舉凡各種多元方案(疑?)各式各樣的優惠、 讓價格甜甜蜜蜜!就是希望您可以一起出海走走!
Thumbnail
電商必考題第4題,甜點蛋糕電商該怎麼做?幫你解析六大體質,讓你掌握新知,題題破解,命中盲點。甜點蛋糕一直以來都是很熱門的創業題目,因為他的進入門檻低、材料取得與製作相對簡單。像我就有在蝦皮買過一個手工蛋糕,跟他聊了之後才知道她是家庭主婦利用帶小孩的空檔來作蛋糕,所以都需要提前一個禮拜預約才行。但是