增加訓練LoRA、LoCon模型的精準度 - Stable Diffusion

更新 發佈閱讀 6 分鐘

本教學使用Automatic 1111介面


  AI繪圖風行至今,網上已有不少中文教學,包括教導如何訓練LoRA、LoCon等模型的文章,而訓練上述模型時,通常會經過一道「Preprocess Images」工序,中文稱為「圖片預處理」。

raw-image

  預處理很常勾選「Use deepbooru for caption」(上圖紅框),並在預處理完成後生成配對每張圖片的.txt文字檔案--大多數的教學文在這道步驟後就直接開始訓練。

  這樣其實很可惜,因為只要再多花點工夫,就可以顯著提升訓練成果的「準確度」,且只需要中等程度的英文能力和基本的關鍵字蒐圖技巧。

deepbooru - Danbooru

  在勾選「Use deepbooru for caption」時,有沒有想過什麼是「deepbooru」?其實這和Stable Diffusion訓練來源的圖片有很大的關係,也就是下列網站:

https://danbooru.donmai.us/
*未成年者請勿點入*未成年者請勿點入*未成年者請勿點入

  而進行圖片預處理後,有沒有想過為什麼會生成.txt文字檔案?

  其實只要打開生成的.txt,就會發現是和+Prompts類似的內容。換言之,預處理就是AI以圖片反推關鍵字的工序,而deepbooru的反推結果會套用Danbooru的關鍵字格式

  以下是兩張範例:

raw-image
raw-image
raw-image
raw-image

  注意到了嗎?AI預處理產生的關鍵字不太理想」。舉例而言,範例1的.txt沒有「狐狸」和背景的「薰衣草」,而且紅框圈起的「purple_sky」(紫色天空)根本不存在。

  範例2的.txt問題就更多了,例如雙胞胎的眼睛和頭髮的顏色各只提供一種、完全沒提到衣服的顏色,以及最糟糕的「own_hands_together」(自己握自己的手)!

  試想一下,如果就這樣直接交給AI訓練LoRA、LoCon模型,AI當然會產生「困惑」、進而算出「無厘頭」的結果--不是因為AI笨,而是AI很忠實地遵照了荒謬的關鍵字

參考Danbooru,修正文字檔的內容

  這時就輪到https://danbooru.donmai.us/(*未成年者請勿點入)登場並充分運用英文知識的時候了。既然「deepbooru」生成了Danbooru格式的關鍵字,若要修正其內容,理所當然最好的方式就是去Danbooru尋找正確的關鍵字

  以範例1而言,我在該網站輸入「fox」搜尋結果,並點入了一張圖片:

raw-image

  紅框的部分除了「fox boy」不能用以外,其他都可以加入到範例1的.txt檔案中。參考了幾張有狐狸的圖片後,我將範例1的.txt內容調整如下:

raw-image
animal_focus = 圖片中有動物角色
fox = 狐狸
animal_feet = 動物腳
yellow_eyes = 黃色/金色眼睛
flaming_eye = 單眼冒出火焰的特效,雙眼請用 flaming_eyes
fluffy = 蓬鬆毛茸茸
lavender_(flower) = 薰衣草花,直接沿用了Danbooru網站的關鍵字格式

  我也遵照AI生成的關鍵字格式,單個關鍵字的空白以「_」取代(例:flaming_eye),不過使用訓練出來的LoRA、LoCon模型來生圖時,Prompts中直接使用空白即可。

以下是調整後的範例2的.txt內容:

raw-image
Lu_Ashkol/Eye_Ashkol = 角色名字
*如訓練特定角色模型,以Danbooru格式輸入該角色的英文名會非常有助益。
child = 小孩
female_child = 小女孩 -- 千萬不要使用「loli」,除非想生成「壞壞」的圖片。
flat_chest = 平胸
multicolored_eyes = 多色眼睛
two-tone_hair = 雙色髮色
multicolored_hair = 多色髮色
streaked_hair = 挑染髮色
off-shoulder_shirt = 平口露肩上衣
frilled_sleeves = 摺邊袖
bare_shoulder = 露肩
shoulder_strap = 肩帶
collarbone = 鎖骨
bangs = 瀏海
interlocked_fingers = 十指交扣



推薦使用Danbooru的關鍵字

  原本我想使用「gold_eyes」代表金色眼睛,但實際在Danbooru搜尋後發現找不到結果:

raw-image

  於是最後改用了yellow_eyes --其實使用Stable Diffusion生圖時,包括網路上一些Prompts範例,其中不乏一些亂七八糟、有輸入有保佑的關鍵字。雖然因為這樣做的人很多、且AI還是有一定程度的「彈性」,所以也不乏瞎貓碰到死耗子的例子,但還是建議找關鍵字時首先來Danbooru搜尋,畢竟用這裡的關鍵字生成想要結果的機率會比較高。

  祝大家激發潛藏已久的英文能力,心想「繪」成!

範例2的雙胞胎故事:
有興趣的話,歡迎前往KadoKado閱讀喔(自產自推)。

留言
avatar-img
︾黑米BR的沙龍︽
82會員
106內容數
筆者探索各種感興趣事物的紀錄。 *副帳非主流政治沙龍《黑米BR不政確》:https://vocus.cc/user/@BRriceP
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/11/01
筆者最近開啟連載的小說《M.O.N》是以AI、仿生人、安寧療護為主軸的科幻短篇。書封,按照慣例,是自製;也按照慣例,使用了Stable Diffusion (SD)。
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/10/04
實際上,筆者的Stable Diffusion (Vlad)依舊有些問題,仍不曉得原因是顯卡、Win11、SSD、Vlad或其他,但會先從更新顯卡驅動和重裝Vlad開始找錯。 現況是Vlad運算了二三張圖後就會因為GPU記憶體不夠的問題開始極度緩慢,因此打擊了我創圖的意願。 另一方面,也是對創作
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
2023/09/20
想著有一陣子沒碰SD,就生成了一張繪圖來致敬。
Thumbnail
看更多
你可能也想看
Thumbnail
賽勒布倫尼科夫以流亡處境回望蘇聯電影導演帕拉贊諾夫的舞台作品,以十段寓言式殘篇,重新拼貼記憶、暴力與美學,並將審查、政治犯、戰爭陰影與「形式即政治」的劇場傳統推到台前。本文聚焦於《傳奇:帕拉贊諾夫的十段殘篇》的舞台美術、音樂與多重扮演策略,嘗試解析極權底下不可言說之事,將如何成為可被觀看的公共發聲。
Thumbnail
賽勒布倫尼科夫以流亡處境回望蘇聯電影導演帕拉贊諾夫的舞台作品,以十段寓言式殘篇,重新拼貼記憶、暴力與美學,並將審查、政治犯、戰爭陰影與「形式即政治」的劇場傳統推到台前。本文聚焦於《傳奇:帕拉贊諾夫的十段殘篇》的舞台美術、音樂與多重扮演策略,嘗試解析極權底下不可言說之事,將如何成為可被觀看的公共發聲。
Thumbnail
柏林劇團在 2026 北藝嚴選,再次帶來由布萊希特改編的經典劇目《三便士歌劇》(The Threepenny Opera),導演巴里・柯斯基以舞台結構與舞台調度,重新向「疏離」進行提問。本文將從觀眾慾望作為戲劇內核,藉由沉浸與疏離的辯證,解析此作如何再次照見觀眾自身的位置。
Thumbnail
柏林劇團在 2026 北藝嚴選,再次帶來由布萊希特改編的經典劇目《三便士歌劇》(The Threepenny Opera),導演巴里・柯斯基以舞台結構與舞台調度,重新向「疏離」進行提問。本文將從觀眾慾望作為戲劇內核,藉由沉浸與疏離的辯證,解析此作如何再次照見觀眾自身的位置。
Thumbnail
本文深入解析臺灣劇團「晃晃跨幅町」對易卜生經典劇作《海妲.蓋柏樂》的詮釋,從劇本歷史、聲響與舞臺設計,到演員的主體創作方法,探討此版本如何讓經典劇作在當代劇場語境下煥發新生,滿足現代觀眾的觀看慾望。
Thumbnail
本文深入解析臺灣劇團「晃晃跨幅町」對易卜生經典劇作《海妲.蓋柏樂》的詮釋,從劇本歷史、聲響與舞臺設計,到演員的主體創作方法,探討此版本如何讓經典劇作在當代劇場語境下煥發新生,滿足現代觀眾的觀看慾望。
Thumbnail
《轉轉生》為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,融合舞蹈、音樂、時尚和視覺藝術,透過身體、服裝與群舞結構,回應殖民歷史、城市經驗與祖靈記憶的交錯。本文將從服裝設計、身體語彙與「輪迴」的「誕生—死亡—重生」結構出發,分析《轉轉生》如何以當代目光,形塑去殖民視角的奈及利亞歷史。
Thumbnail
《轉轉生》為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,融合舞蹈、音樂、時尚和視覺藝術,透過身體、服裝與群舞結構,回應殖民歷史、城市經驗與祖靈記憶的交錯。本文將從服裝設計、身體語彙與「輪迴」的「誕生—死亡—重生」結構出發,分析《轉轉生》如何以當代目光,形塑去殖民視角的奈及利亞歷史。
Thumbnail
今日我們使用一個也是很簡易的,以ai來抓取生成【圖生圖】,依照你放入的畫風,能夠實現各種風格觸感而不被發現是AI畫的,真是便利的工具,俗稱: AI圖生圖
Thumbnail
今日我們使用一個也是很簡易的,以ai來抓取生成【圖生圖】,依照你放入的畫風,能夠實現各種風格觸感而不被發現是AI畫的,真是便利的工具,俗稱: AI圖生圖
Thumbnail
操作很簡單 使用電腦 開啟GPT-4,選擇DALLE.3 複製這段指令進去 注意:這條指令只針對chatgpt 的PLUS會員,同時已經可以使用DALLE.3的使用者。 ##圖片提示字產生器 版本:v0.11 作者:秒懂AI提問指令 {任務}你將扮演圖片提示詞產生器,當我提供簡短{主
Thumbnail
操作很簡單 使用電腦 開啟GPT-4,選擇DALLE.3 複製這段指令進去 注意:這條指令只針對chatgpt 的PLUS會員,同時已經可以使用DALLE.3的使用者。 ##圖片提示字產生器 版本:v0.11 作者:秒懂AI提問指令 {任務}你將扮演圖片提示詞產生器,當我提供簡短{主
Thumbnail
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
Thumbnail
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
Thumbnail
用 AI 練習英文寫作及準備各種考試檢定英文寫作(大學學測、全民英檢、多益、托福、雅思、GRE)。
Thumbnail
用 AI 練習英文寫作及準備各種考試檢定英文寫作(大學學測、全民英檢、多益、托福、雅思、GRE)。
Thumbnail
AI 生成圖片已經夯一陣子了 油菜爸也玩過好幾種生圖軟體 不知道大家對於這新穎的技術感不感興趣 或許我們可以來場線上直播或整理成小文章 來教大家如何快速上手,快速生圖唷 ~ #StableDiffusion #Midjourney #leonardoai #Ai生成 #Ai生圖
Thumbnail
AI 生成圖片已經夯一陣子了 油菜爸也玩過好幾種生圖軟體 不知道大家對於這新穎的技術感不感興趣 或許我們可以來場線上直播或整理成小文章 來教大家如何快速上手,快速生圖唷 ~ #StableDiffusion #Midjourney #leonardoai #Ai生成 #Ai生圖
Thumbnail
製作提案、報告,或文章、影片新媒體創作的你, 是否覺得找圖片素材曠日廢時,又常不符需求? 這支影片會實測10種AI繪圖網站,幫你速成插圖素材, 並加碼分享排版技巧,應用在內容創作與提案簡報中。 你的原因又是什麼呢? 一起留言討論吧! 待會馬上揭曉答案。 現在就來揭曉問題答案, 就是A,不過如果你猜B
Thumbnail
製作提案、報告,或文章、影片新媒體創作的你, 是否覺得找圖片素材曠日廢時,又常不符需求? 這支影片會實測10種AI繪圖網站,幫你速成插圖素材, 並加碼分享排版技巧,應用在內容創作與提案簡報中。 你的原因又是什麼呢? 一起留言討論吧! 待會馬上揭曉答案。 現在就來揭曉問題答案, 就是A,不過如果你猜B
Thumbnail
今天我這邊提供大家一個方法,讓大家可以自己成為這些AI繪圖的主角,也就是在AI裡面建立屬於你自己個人的模型。Stable Diffusion比較少這部分的教學,是因為這部分的訓練的確比較有一些技術的門檻,我這邊會嘗試用比較簡單的方式讓大家可以一個步驟一個步驟照著做,就能夠達到我們想要達到的結果。
Thumbnail
今天我這邊提供大家一個方法,讓大家可以自己成為這些AI繪圖的主角,也就是在AI裡面建立屬於你自己個人的模型。Stable Diffusion比較少這部分的教學,是因為這部分的訓練的確比較有一些技術的門檻,我這邊會嘗試用比較簡單的方式讓大家可以一個步驟一個步驟照著做,就能夠達到我們想要達到的結果。
Thumbnail
此篇文章再分享如何用最短的時間快速做出第一個AI創作 只需要15分鐘,帶你一步一步做出第一張AI圖!
Thumbnail
此篇文章再分享如何用最短的時間快速做出第一個AI創作 只需要15分鐘,帶你一步一步做出第一張AI圖!
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News