用1張黑白照片練出你的LoRA

閱讀時間約 7 分鐘

(♥ :為杰克艾粒的影片或文章連結 / :下載或載點提供 / ✿ :推薦或重點提示)

大家好,我們是杰克艾粒,事發源由你們應該都在Youtube看過了,那我們直接開始吧▼▼▼
♥♥相信來到這裡的人們都是有使用並安裝過stable diffusion的!!♥♥
還沒裝的話有兩個選擇(杰克艾粒YT安裝教學連結)
猴子都會的簡易安裝包

挑戰能力的標準安裝

GOGO!!!

GOGO!!!

每張照片的狀況不同處理方式不一樣,
我們以這張照片為範例跟大家分享一下製作方法

歌手 純純 活躍於1930年代

歌手 純純 活躍於1930年代

首先打開webui,上方列表選擇附加功能
使用✿✿BSRGAN和GFPGAN✿✿(本次數值如下),codeformer會變現代網紅(GFPGAN和codformer為webui內建功能)
▼BSRGAN下載網址▼
(下載BSRGAN.pth,模型存放路徑 : SD資料夾 > models > ESRGAN)

本次使用參數

本次使用參數

在不希望臉部細節改變的情況下,這個做法非常方便且優秀

BSRGAN(降噪)GFPGAN(臉部修復)

BSRGAN(降噪)GFPGAN(臉部修復)

接下來在Huggingface上,下載我們訓練的WBfix controlnet
▼JackEllie的WBfix controlnet▼

▼WBfix yaml▼

再加一個lineart realistic樣貌會更準確

▼lineart controlnet 模型▼

(模型存放路徑 : SD資料夾\models\ControlNet)

♥♥ControlNET基礎介紹♥♥

使用方法很簡單,在文生圖視窗操作
需放上對應的提示詞
範例:
正向 : (masterpiece), (best quality), (realistic:1.5),(colorful photograph),(Headshot of an Asian woman),black hair

反向 : 3d, cartoon, anime, sketches, (worst quality:2), (low quality:2),(make up:1.35),(Fake eyelashes:1.3)

參數設置沒甚麼特殊要求,這次用Euler a / step: 20/CFG: 7 / 種子: -1

模型推薦使用 :✿✿Beautiful Realistic Asians 6.0✿✿

▼▼ 點這裡連結到CivitAI下載▼▼

WBfix參數範例

WBfix參數範例

lineart參數範例

lineart參數範例

畫個三張選一張喜歡的吧!!

按照上面敘述製作的三張圖片

按照上面敘述製作的三張圖片

大家可以把圖片放大看看,這時候的膚感還沒有很優秀

所以我們來使用VQFR吧!


♥♥VQFR猴子安裝包+介面化+使用說明♥♥

使用完VQFR後的結果是這樣,可以對比一下

文生圖(左)                                                                          VQFR(右)

文生圖(左) VQFR(右)

若是要訓練真人的LoRA,真心推薦使用VQFR先處理過 (╥ω╥)

接下來就簡單啦!!

▼▼ContrilNet 局部重繪▼▼

▼▼ControlNet openpose▼▼

▼▼ControlNet Tile▼▼

(模型存放路徑 : SD資料夾\models\ControlNet)

把VQFR處理好的圖片放進圖生圖頁面

✿✿ControlNET 局部重繪&openpose&Tile混合使用✿✿

(沒有思路的話就上discord跟大家討論吧)

提詞就按照​的部位填寫

範例 :

正向 :(Delicate red cheongsam:1.35),(realistic)

反向 :3d, cartoon, anime, sketches, (worst quality:2), (low quality:2)


如果預處理的pose不理想可以使用

▼▼openpose editor▼▼

webui擴充功能>從網址安裝
https://github.com/huchenlei/sd-webui-openpose-editor.git

webui從網址安裝頁面

webui從網址安裝頁面

安裝好後使用方法如下 :

放入圖片>選擇預處理器>開啟預覽畫面>預覽預處理>如需修改openpode則點選Edit

放入圖片>選擇預處理器>開啟預覽畫面>預覽預處理>如需修改openpode則點選Edit

Edit內介面,直接用滑鼠拖動右側openpose關節,調整好後選擇左上角的發送姿勢到controlnet

Edit內介面,直接用滑鼠拖動右側openpose關節,調整好後選擇左上角的發送姿勢到controlnet

完成

完成

✿✿簡單又方便,openpose editor推推✿✿

大致流程 :

1、用局部重繪把黑色先填滿

2、使用局部重繪+openpose換身體

3、局部重繪+tile resample換背景

4、局部重繪+tile resample換頭髮

大致流程範例

大致流程範例


你們以為到這裡就結束了嗎?

------------------------------------------------------------------------------還沒!!

笑死

笑死

接下來要使用 "VQFR"
先看一下效果吧

(掃描QRcode加入杰克艾粒discord社群吧!!)

VQFR使用前                                                                       VQFR使用後

VQFR使用前 VQFR使用後

♥♥VQFR猴子安裝+介面化&使用方法♥♥

------------------------------------------------------------------------------

修復前後的對比圖

修復前後的對比圖

當然還可以修得更好,但是做為訓練素材,臉部的完整度才是重點,所以我們修到這就好,不然如果一套素材30張,修完會看到阿祖在跟你揮手

好了,接下來是如果你的素材就只有那麼一張該怎麼辦

以下的圖我們就不細修了,告訴大家做法就好,自己慢慢修吧

呆

~~Photoshop 生素材大法~~

這個做法有點麻煩而且效果不是那麼好,但在素材有限的情況下,暫時還沒有更優秀的方式,

不過再怎麼麼說,也比同一張圖只換衣服跟背景來的強

因為是photoshop又是中文介面,我們就輕鬆介紹啦!!

1、打開photoshop,放入圖片

濾鏡 > Neural Fliters

濾鏡 > Neural Fliters

選擇智慧型肖像

選擇智慧型肖像

可調整選項

可調整選項

我們可以得到這些結果

調整表情、方向和光源

調整表情、方向和光源

✿✿如果你的LoRA訓練得夠成功,可以使用ControlNet做出更多的動作✿✿

photoshop的頭部控制就差不多是這樣子,

拿這些圖片,去webui使用上面那一套,畫出各種不同的背景髮型,半身照全身照,訓練你的LoRA吧!!

♥♥Kohya標準安裝♥♥

♥♥Kohya基本操作♥♥ (舊安裝不要用了,我們從4分37秒開始看基本操作就好)

這邊再提供一個目前不太推薦但有人在使用的方式
♥♥StableSR 安裝與使用♥♥

好啦!!
這次就先介紹到這邊,

♥♥這次的內容包含了我們自己的ControlNet和VQFR簡易安裝及介面分享♥♥

♥♥記得點讚訂閱喔!!♥♥

♥♥斗內連結 : Buy me a coffee 方格子

Discord : https://discord.gg/TM5d89YNwA

杰克艾粒Discord                                                                杰克艾粒youtube

杰克艾粒Discord 杰克艾粒youtube


avatar-img
16會員
5內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Ellie Jack的沙龍 的其他內容
資料來源 : StableSR官方GitHub ✿✿杰克艾粒✿✿的StableSR使用指南 ###警告!! 情況高機率不如你的預期,但若你真的很困擾,可以試試看### (內含使用StableSR所需的所有安裝套件) 首先我們來看一下StableSR的效果 如果我們有找到更正確的使用方法
(♥ :為杰克艾粒的影片或文章連結 / ▼ :下載或載點提供 / ✿ :推薦或重點提示) 各位,VQFR雖然能改變的幅度不高,但卻是臉部質感提升的BUFF工具 快來使用我們的自動安裝與簡易介面吧!! 我們知道他優秀的地方了,那來安裝吧!! ▼▼點這裡下載VQFR簡易安裝包▼▼ 對下載的壓
20230718 SDXL 搶先體驗!! 如何在自己的電腦上安裝**SDXL 0.9** ~~~~~~~艾粒之異常仔細的教學~~~~~~~ 首先先註冊一個hugging face的帳號 hugging face網址 : https://huggingface.co/ 註冊好後記得到信箱收取確認
資料來源 : StableSR官方GitHub ✿✿杰克艾粒✿✿的StableSR使用指南 ###警告!! 情況高機率不如你的預期,但若你真的很困擾,可以試試看### (內含使用StableSR所需的所有安裝套件) 首先我們來看一下StableSR的效果 如果我們有找到更正確的使用方法
(♥ :為杰克艾粒的影片或文章連結 / ▼ :下載或載點提供 / ✿ :推薦或重點提示) 各位,VQFR雖然能改變的幅度不高,但卻是臉部質感提升的BUFF工具 快來使用我們的自動安裝與簡易介面吧!! 我們知道他優秀的地方了,那來安裝吧!! ▼▼點這裡下載VQFR簡易安裝包▼▼ 對下載的壓
20230718 SDXL 搶先體驗!! 如何在自己的電腦上安裝**SDXL 0.9** ~~~~~~~艾粒之異常仔細的教學~~~~~~~ 首先先註冊一個hugging face的帳號 hugging face網址 : https://huggingface.co/ 註冊好後記得到信箱收取確認
本篇參與的主題活動
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下,有許多工具可以幫助我們學習與撰寫程式,這篇文章提供了實作範例與一些經驗,分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習,並且完成屬於自己的程式。
前幾個禮拜,AWS 舉行 Startup Day Taiwan。想當然爾,最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具,身為一名工程師,自然看看無妨,這篇文章算是新手開箱文,會說明如何部署一套基礎模型,並使用 AWS SDK 與其互動。
前言 我在工作中沒有什麼機會接觸到機器學習,學生時期也沒有學習過相關知識。 作為一個業餘小白,我對機器學習非常感興趣。在自學的過程中,我逐漸意識到利用機器學習可以做很多有趣的事情。 因此,我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ,以了解機
最近玩到了一個我覺得很新奇有趣的軟體,叫做SillyTavern。 SillyTavern是專用於創建虛擬角色的AI聊天軟體,SillyTavern是TavernAI的分支,但SillyTavern走上了自己的路,加進了許多額外功能,並且仍在積極的持續更新中。 然後,可以色色!
「Prompt」這個詞是提示的意思,但為什麼需要提示呢? 當AI不理解我們的時候,勢必給出的回應並非準確的為我們解答,因此一個好的提示是非常重要的,就如同我們人與人之間的溝通一樣,如何將自己心裡的疑惑轉化成好的問題來提問對方,讓對方理解,進而給出一個明確的答案,這就是提示(Prompt)的重要性,對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下,有許多工具可以幫助我們學習與撰寫程式,這篇文章提供了實作範例與一些經驗,分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習,並且完成屬於自己的程式。
前幾個禮拜,AWS 舉行 Startup Day Taiwan。想當然爾,最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具,身為一名工程師,自然看看無妨,這篇文章算是新手開箱文,會說明如何部署一套基礎模型,並使用 AWS SDK 與其互動。
前言 我在工作中沒有什麼機會接觸到機器學習,學生時期也沒有學習過相關知識。 作為一個業餘小白,我對機器學習非常感興趣。在自學的過程中,我逐漸意識到利用機器學習可以做很多有趣的事情。 因此,我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ,以了解機
最近玩到了一個我覺得很新奇有趣的軟體,叫做SillyTavern。 SillyTavern是專用於創建虛擬角色的AI聊天軟體,SillyTavern是TavernAI的分支,但SillyTavern走上了自己的路,加進了許多額外功能,並且仍在積極的持續更新中。 然後,可以色色!
「Prompt」這個詞是提示的意思,但為什麼需要提示呢? 當AI不理解我們的時候,勢必給出的回應並非準確的為我們解答,因此一個好的提示是非常重要的,就如同我們人與人之間的溝通一樣,如何將自己心裡的疑惑轉化成好的問題來提問對方,讓對方理解,進而給出一個明確的答案,這就是提示(Prompt)的重要性,對
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
讀書的時候常常會覺得看著書,卻一個字也讀不進去嗎? 可以試看看,拿出一張白紙。 是的,一張白紙就能讓自己的視覺加速。
Thumbnail
OGSM是能夠用在公司經營、專案執行含人生規劃的工具,把所有重的項目,都列在一張表格之中,完美達成公司理念 透過Object最終目的、Goal目標、Strategy策略、Measure檢核四個指標,可以自我反思,也可以與人溝通,運用在生涯規劃上,可以讓你的每一個行動,都都能達成你的人生意義
Thumbnail
在人人都是自媒體的時代,如何打造個人專業知識品牌系統? 不知大家聽過知識系統三部曲嗎?這分別由建立價值、傳遞價值、獲取價值共三個面向所組成,看似簡單但實務上要怎麼做到呢? 一、建立價值的高手攻略-知識圖解 要結合你的經驗與觀點 要用自己的話重新詮釋 要能建立屬於你的架構 形式: 頻率: 平台:
Thumbnail
如果要去參加一場以恐怖、驚悚為主題的化妝舞會,你最想要做的舞會造型是? 喪屍:最怕孤獨、寂寞、冷 【心理測驗】5秒看透你心底深處!超神準心測用一張圖測出「你內心的恐懼、潛意識在乎的事」 殭屍:最怕無趣、無活力 【心理測驗】5秒看透你心底深處!超神準心測用一張圖測出「你內心的恐懼、潛意識在乎的事」
Thumbnail
開始將近三個月幾乎天天進健身房的追求健康生活,很明顯的感覺到體態、體能和姿勢的改善。當然除了教練很認真開菜單之外,倒也是90%的執行。剛好看到圖書館有這本電子書,於是順手借來翻先。
Thumbnail
學生百百種,如何更有效率地引起學習興趣?這裡提供您1分鐘VAK學習風格檢測。並依VAK三種學習風格推薦合適的APP,讓您的教學風格更多元!
Thumbnail
版权归作者所有,任何形式转载请联系作者。 作者:Edith老師(来自豆瓣)2020-11-06 00:26:14 来源:https://www.douban.com/not
Thumbnail
【經比爾蓋茲蓋章推薦,打造個人心態的實用利器|固定型心態V.S.成長型心態【了解篇】#1】 系列文章 #1 閃耀登場💃🕺 🔥若你想改變外在,你必須先改變你的內在🔥 從源起👉定義👉判斷方法,大樹之旅啟航🌳🌳 快點入連結進行閱讀👇 下篇文章預告:將於8/14(五)早上7:30發佈
Thumbnail
自學計劃書到寫越厚,通過的機率越高嗎,來看看最狂之一的自學生振煜是怎麼反其道而行
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
讀書的時候常常會覺得看著書,卻一個字也讀不進去嗎? 可以試看看,拿出一張白紙。 是的,一張白紙就能讓自己的視覺加速。
Thumbnail
OGSM是能夠用在公司經營、專案執行含人生規劃的工具,把所有重的項目,都列在一張表格之中,完美達成公司理念 透過Object最終目的、Goal目標、Strategy策略、Measure檢核四個指標,可以自我反思,也可以與人溝通,運用在生涯規劃上,可以讓你的每一個行動,都都能達成你的人生意義
Thumbnail
在人人都是自媒體的時代,如何打造個人專業知識品牌系統? 不知大家聽過知識系統三部曲嗎?這分別由建立價值、傳遞價值、獲取價值共三個面向所組成,看似簡單但實務上要怎麼做到呢? 一、建立價值的高手攻略-知識圖解 要結合你的經驗與觀點 要用自己的話重新詮釋 要能建立屬於你的架構 形式: 頻率: 平台:
Thumbnail
如果要去參加一場以恐怖、驚悚為主題的化妝舞會,你最想要做的舞會造型是? 喪屍:最怕孤獨、寂寞、冷 【心理測驗】5秒看透你心底深處!超神準心測用一張圖測出「你內心的恐懼、潛意識在乎的事」 殭屍:最怕無趣、無活力 【心理測驗】5秒看透你心底深處!超神準心測用一張圖測出「你內心的恐懼、潛意識在乎的事」
Thumbnail
開始將近三個月幾乎天天進健身房的追求健康生活,很明顯的感覺到體態、體能和姿勢的改善。當然除了教練很認真開菜單之外,倒也是90%的執行。剛好看到圖書館有這本電子書,於是順手借來翻先。
Thumbnail
學生百百種,如何更有效率地引起學習興趣?這裡提供您1分鐘VAK學習風格檢測。並依VAK三種學習風格推薦合適的APP,讓您的教學風格更多元!
Thumbnail
版权归作者所有,任何形式转载请联系作者。 作者:Edith老師(来自豆瓣)2020-11-06 00:26:14 来源:https://www.douban.com/not
Thumbnail
【經比爾蓋茲蓋章推薦,打造個人心態的實用利器|固定型心態V.S.成長型心態【了解篇】#1】 系列文章 #1 閃耀登場💃🕺 🔥若你想改變外在,你必須先改變你的內在🔥 從源起👉定義👉判斷方法,大樹之旅啟航🌳🌳 快點入連結進行閱讀👇 下篇文章預告:將於8/14(五)早上7:30發佈
Thumbnail
自學計劃書到寫越厚,通過的機率越高嗎,來看看最狂之一的自學生振煜是怎麼反其道而行