Stable Diffusion -- 訓練LoRA （六）

前言

選圖

• 大臉圖要多，AI訓練時需要學習的特徵越明顯越好，尤其是人臉。人類對於人臉的辨識能力經過幾百萬年的演化，能夠看出一兩個像素的差異，所以在訓練時，必須提供足夠多的大臉圖片，讓AI能盡量學到臉部特徵以及顏色。建議在訓練素材中，大臉照片至少要佔一半。半身照與全身照適量，超遠鏡頭則不必，因為會讓AI學到不屬於人物的景色。
• 不同攝影角度、表情、光影、髮型與肢體動作等不同變數，讓AI可以學習到這個角色的輪廓、光影表現、肢體比例與臉部肌肉等變數。
• 高品質圖片。這裡說的高品質不只是解析度高，也包含了圖片要清晰，否則一坨糊掉的4K照片就會跟512x512的小圖片一樣無用。例如下圖，左邊的素材圖乍看之下眼睛是清楚的，但這是人腦補完之後的結果，如果放大看就會發現眼睛瞳孔是一片模糊的，右邊的素材圖，人物的眼睛與眼白是清晰分明的，這更能讓AI學到對人類來說很容易分辨好壞的細節。真人角色LoRA之所以難以訓練，一部分原因是因為相機拍照後的人物特徵其實是模糊的，儘管解析度很高，但因為搖晃、人物動作與過曝等問題，造成影像在放大時其實是模糊不清晰的，AI難以學習。

• 規範圖（regulation images），規範圖是用於AI訓練時避免LoRA過擬合的手段，當AI訓練的步數越多，就越能學到更多的人物特徵，但同時也會讓成果太過符合素材圖的圖片。為了避免這種情形，挑選許多同類型但不同人物的圖來當作規範圖就能避免LoRA太早過擬合。例如我要訓練一個特定女性擬真角色，就可以選許多女性的動漫、擬真與真人照片當作規範圖。但不需要選到印象派、抽象主義或野獸派風格的女性圖片，因為這分類差太遠了，反而會讓AI難以學習角色特徵。

提示詞

• 如果是人物LoRA，應該要包含他們的分類提示詞，例如1girl，1boy，a woman，a man之類的，因為基本的Dreambooth在訓練圖片時就有包含分類提示詞，而人物LoRA則是在分類提示詞之前再放入識別詞，所以如果要訓練一個名為Asuka123的女性角色，通常提示詞文件檔的開頭會是Asuka123, 1girl, ......
• LoRA的識別詞越特別越好，通常加入數字效果更好，因為Stable Diffusion的文字系統包含了數百萬以上的詞組，太過平常的識別詞會造成模型混淆，例如Jack這個詞就會產生一個西方男性，所以如果要訓練的人物就叫Jack，最好加個數字例如Jack1988之類的識別詞。
• 文件檔中的提示詞，代表的是LoRA中的變量（Variant），而沒有被提示詞描述的東西，就是LoRA中的不變量（Invariant）。以下面這幅畫為例，它擁有這樣的提示詞：

ProfShannon, 1girl, solo, looking at viewer, jewelry, upper body, earrings, outdoors, parted lips, day, cape, lips, grey eyes, floating hair, brooch, wind, gem, black cape

參照