方格精選
Stable Diffusion -- 訓練LoRA（一）
閒聊
剛剛在刷股癌的IG，看到一個很有趣的秘辛：
從我自己學了LoRA之後，在動漫模型裡練出了我要的角色圖樣之後，再餵進colab訓練出LoRA，然後把LoRA用在真人向模型，結果就能弄出各種逆天實景：
所以，Stable Diffusion上面除了學好提示詞算是基本技巧，接下來的LoRA，ControlNet，3D OpenPose Editor等都是讓你的出圖時間更快的進階技巧。確實可以大幅縮短創作時間。
閒話時間結束了，開始正文吧。
準備
LoRA可以在很多地方下載不同的角色、物品、風格，例如Civita.com，huggingface.co。但是如果你想要訓練自己的LoRA，像我一樣，那你需要準備好訓練的素材圖，才能順利烘焙LoRA。
- 數量：依照經驗，7張到100張都可以，但是張數過少，同一張訓練的次數會非常多，訓練出來的LoRA在高權重的時候會讓算出來的圖嚴重變形（尤其是背景部分）。所以最好是20張上下。當然你可以用鏡像出圖的方法讓訓練圖數量加倍，但這樣還是沒辦法避免高權重下整體變形的問題。
- 品質：如果是訓練人物或物品的LoRA，最好不要有太多同一個角度，同一個表情的圖片，尤其在張數少的情況下，訓練出來的LoRA會有人物表情僵直的問題。人物的臉通常是LoRA的重點，最好能有面孔多角度，不同光影，不同表情，不同服裝配件，讓模型能夠涵蓋夠多的情況。切記不要加入模糊失焦、被擋住部份臉部的圖片，除非你準備的張數夠多。
- 尺寸：以Stable Diffusion 1.X為基準訓練的圖片要求至少要是512x512像素的正方形圖片，而Stable Diffusion 2.X的話圖片至少要768x768像素。
裁切
當我們準備好圖片之後，就要開始裁切，如果沒有洩密疑慮的話，什麼美術工具都不會的美術小白可以使用BIRME這個網站，把過大的尺寸裁切成512x512的訓練素材圖：
預處理
接下來是最重要的一步，LoRA的品質除了跟訓練圖本身的品質，以及訓練的設定有關之外，另一個重點是訓練圖的提示詞文本。
有關如何在Automatic1111上幫訓練圖提煉提示詞文本，在AI繪圖-用Lora打造你的夢幻模特兒吧!三集之二：訓練Lora模型的圖片預處理小節就有詳盡的步驟，請自行觀看。
這裡要提的是不同處：
在Use BLIP for caption與Use deepbooru for caption這兩個選項，我都用BLIP來提煉提示詞，因為deepbooru給的提示詞實在太多了，很多其實是瞎猜，如果你的訓練圖超過30張，光是刪掉不對的提示詞就夠累了。
第二點，你必須打開每個提示詞文本檔案，一個一個修正提示詞，否則你怎麼訓練都不會練出有用的LoRA。
以我想要訓練的角色為例：
- 名字（提示詞）：Vallaria。
- 外表特徵：銀白色頭髮，白皮膚，深藍色眼眸，黑眉毛，有雀斑。
名字最好是夠獨特的，如果太菜市場的名字，會跟模組裡面的同名物體衝突，如果真的不想取其他名字，試試看後面加數字，例如Jack999，避免衝突。
（順帶一提，SD裡面真的有一個叫Jack的提示詞，會算出成年男性，雖然每次叫出來的Jack都長得不一樣😄）
當你打開提示詞文件時，可能會看到像這樣的敘述：
a woman with white hair and blue eyes and black robe and a flower on the shoulder of the robe at a snowy street.
- 此時，要將對象提示詞a woman換成你要的角色名，在這個例子要換成Vallaria。
- 接著，把關於髮色white hair與眼眸顏色blue eyes等我們定義好的外表特徵也刪掉。
- 接著，觀察原本的圖片，把不是你想要但是顯示在圖片上的提示詞寫進去，例如頭上有戴帽的話就要加hat，背景的光線佈局與季節是秋光autumn lights，她手上有一根燭台之類的，與角色特徵無關，但是預處理程式沒抓出來的事情。
更改過的提示詞會變成這樣：
Vallaria with black robe and a hat on her head and a flower on the shoulder of the robe at a snowy street, autumn lights, candle stick on her hand
你大概會覺得這句子文法不通。沒關係，電腦在訓練時會將整個提示詞文本用自己的方法拆成一堆單詞，電腦是不太在乎文法的。
至於為什麼要刪掉特徵，加上沒提到的事情，是因為這就是訓練的目的。
AI學習算圖，就是建立在圖形與提示詞的關聯上，所以當電腦發現這是一個藍眼睛白皮膚白頭髮的女性，但是卻在提示詞文本上找不到眼睛顏色、頭髮顏色、皮膚顏色的提示詞，卻反而每張圖都有一個叫Vallaria的提示詞時，他就會學到Vallaria等於藍眼睛白髮的白人女性，以及諸如臉型，五官比例等等特徵。
相反地，你不要AI建立關聯的特質，就必須要盡量標示出來，例如我的訓練圖八成以上Vallaria都有戴上帽子或公主冠等頭飾，就必須要在每個出現的圖片上都標示在提示詞文本上，否則AI會認為頭上有頭飾是這個角色的外表特徵，訓練出來的LoRA會變成Vallaria出現時，頭上必戴公主冠的問題。
準備訓練
將訓練圖與文本都準備好之後，請上Google Drive確認自己有足夠多的空間（大約1到2GB），沒有Google帳號的請申請，我們將在下一篇開始訓練LoRA，而且這個方式不需要本機安裝任何東西，也不需要任何怪獸顯卡，人人都能用！
接下來，就是正式訓練：
參照
LoRA目錄：
即將進入廣告，捲動後可繼續閱讀
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
Dream Machine 是由Luma AI 研發開發的 AI 影片生成工具，可以根據文字提示或圖像生成5秒鐘的高質量、逼真的影片。
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為「透過LoRA執行Fine Tuning」
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
Open AI影片生成模型Sora橫空出世
Sora是一個 AI 模型，可依據文字指令創建現實和富有想像的場景
這是Open AI首頁關於生成模型Sora的簡介
Open AI執行長將籌資數兆美元重塑全球半導體產業
全美娛樂產業接受訪談的300位主管，認為未來3年將有20萬個工作
受到AI
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片，讓AI去理解圖像內容，或是直接參考圖像的構圖或色彩，再產生新的圖片。
雖然我最常用的是文字提示詞的方式生圖，但是圖像提示詞的應用比文字提示詞更廣也更加複雜，尤其在生成影片的範疇。
即使OpenAI在近日發表了強大的文生影片的Sora模型，但畢
OpenAI最新推出的「Sora」是一款文本生成影像的AI模型，只要輸入幾句簡單的文字描述，就能自動生成出影像，影片內容可以包含多名角色，搭配特定的動態場景，且影片長度最高可達60秒，同時還能展示複雜的攝影機運動。Sora還能夠根據靜態圖片來製作動畫，功能十分強大。目前Sora還沒有開放給大眾使
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
Dream Machine 是由Luma AI 研發開發的 AI 影片生成工具，可以根據文字提示或圖像生成5秒鐘的高質量、逼真的影片。
大家在跟Chat GPT互動的時候，會不會覺得常常雞同鴨講
我們梳理了一些提升Chat GPT回答能力的作法 ChatGPT回答不是你要的怎麼辦？
我們也實作了當中的一種方法，叫做RAG於 自己做免錢Chat GPT吧
這篇文章，我們談談其他技巧，稱為「透過LoRA執行Fine Tuning」
試著去訓練 LoRA 幾次後，發現一些有趣的問題... ㄜ~技術問題後面再說好了，先分享最近訓練的 LoRA YunQiuWaterColor 一個類似水彩畫風的 LoRA。
以下來欣賞幾張圖片吧!
最近在試著用 Tensor Art 訓練 LoRA，老實說，成功率...不太高，或許是我挑選訓練圖片的問題。
但訓練出來，可以給別人用(雖然根本也就是我自己用)，就感覺蠻有意思的!
最近，又訓練了一個亂塗鴉的 LoRA(YunQiuLineArt01)，我覺得還蠻有趣的，分享給您。
大叔最近在研究如何使用 TensorArt 來訓練自己的 LoRA 模型，昨晚終於測試成功了，太令人感動了，有興趣的話，請您也來試試大叔的手繪風格 LoRA YunQiuStyleColor 吧!
Open AI影片生成模型Sora橫空出世
Sora是一個 AI 模型，可依據文字指令創建現實和富有想像的場景
這是Open AI首頁關於生成模型Sora的簡介
Open AI執行長將籌資數兆美元重塑全球半導體產業
全美娛樂產業接受訪談的300位主管，認為未來3年將有20萬個工作
受到AI
這篇要講的圖像提示詞概念是在AI繪圖的過程中輸入圖片，讓AI去理解圖像內容，或是直接參考圖像的構圖或色彩，再產生新的圖片。
雖然我最常用的是文字提示詞的方式生圖，但是圖像提示詞的應用比文字提示詞更廣也更加複雜，尤其在生成影片的範疇。
即使OpenAI在近日發表了強大的文生影片的Sora模型，但畢
OpenAI最新推出的「Sora」是一款文本生成影像的AI模型，只要輸入幾句簡單的文字描述，就能自動生成出影像，影片內容可以包含多名角色，搭配特定的動態場景，且影片長度最高可達60秒，同時還能展示複雜的攝影機運動。Sora還能夠根據靜態圖片來製作動畫，功能十分強大。目前Sora還沒有開放給大眾使
Tensor Art 使用 Stable Diffusion 的各種模型，也能使用ControlNet 和 LoRA功能，根據使用者的輸入來文生圖、圖生圖，生成各種風格的高質量圖像，包括人像、動人的風景、創意的抽象畫等。