方格精選

Stable Diffusion進階 -- 轉換線稿/漫畫稿

閱讀時間約 9 分鐘

前言

今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。
例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格,例如下面這張圖顯示的:
真人向與真實照片轉換成漫畫線稿
在網路上可以找到好幾種方法,我自己測試了每一個能找到的方法,最後確定了一個既可以使用在所有類型的圖片,步驟又大體一致的方法,下面列一下我看過的方法,如果有我沒嘗試過的方法且效果也不錯,請跟我說一下:
  1. 用img2img配上空白圖片,加上ControlNet的Canny來生圖
  2. 用txt2img配上專用Lora,加上ControlNet的Canny來生圖
  3. 用txt2img配上漫畫向模組與Lora,加上ControlNet的Canny或Lineart來生圖
我這次要用的是第三種方法。這種方法除了能正確去除色彩之外,也能讓風格貼向我們需要的漫畫風,而不是黑白寫實風。

第一步,準備

 首先,我們必須去下載一個動畫漫畫向模組與一個轉換成線稿專用的LoRA。
將模組放到/models/Stable-diffusion/這個資料夾裡面,將LoRA放到/models/Lora/這個資料夾底下,然後按Refresh來重讀,或者乾脆重啟Automatic1111讓設定生效。

第二步,生小圖

選擇一個你要轉換的圖,在這裡我用這張從CounterfeitV25模組產生的圖當範例:
在txt2img裏面,將相對應的正面與負面提示詞輸入進去。
如果這張圖是Automatic1111產生的圖,你可以用 Stable Diffusion提示詞訣竅(二) 提到的方法抓到提示詞。
如果這張圖本來沒有提示詞,你可以在img2img裡面上傳圖片,然後用Interrogate CLIP(真人向圖片),或者Interrogate DeepBooru(動漫向圖片)直接從圖片提煉出正向提示詞。至於負面提示詞,就使用你常用的負面提示詞應該就足夠了。
以我的例子,這是我用的正面提示詞:
(best quality:1.4), (masterpiece:1.4),
digital painting of Vallaria, holding_bouquet, bangs, skirt, shirt, long_sleeves, hat, dress, kindly smile,
flower field,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face
<lora:VallariaV2:0.3>
然後在正面提示詞,你必須將所有可能產生顏色的提示詞都去掉,例如頭髮顏色或眼睛顏色,或者主觀判斷將他們替換成黑白灰三色。當然如果你想要產生的圖片是類似漫畫周刊彩頁的效果,那這步就可省略。
接著將模組替換成AnythingV5,並且將LoRA提示詞,還有啟動詞加入正面提示詞內:
lineart, monochrome, (black and white:1.4),
(best quality:1.4), (masterpiece:1.4), digital painting of Vallaria, holding_bouquet, bangs, skirt, shirt, long_sleeves, hat, dress, kindly smile, flower field,
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face
<lora:VallariaV2:0.3> <lora:animeLineartMangaLike_v30MangaLike:1>
當然,如果你不需要黑白線稿,(black and white:1.4)就不用加。
接著開啟ControlNet,將同一張圖拉進來,使用Canny作為預處理器與模組:
記得勾選Enable,將權重調為1。否則你會生出完全不同的圖。
接著開始跑圖,直到出現你想要的結果:
512X512的成果圖
很接近我們想要的圖了,但在這邊有幾個問題:
  • 如果原圖過小,例如512X512,跑出來的圖,它的線條與光影會非常模糊,像是鉛筆稿而不是漫畫墨水筆稿。
  • 陰影的轉換過於光滑,像是圖片直接轉成灰階,而不像漫畫的墨水或網點。
如果以上問題對你來說都可接受,那就可以停在這邊,否則我們可以繼續反精細化它。

第三步,放大與反精細

接下來修改同一個正面提示詞,將所有能讓畫面精細的提示詞都移除掉,例如我的正面提示詞中:
real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face
移除這些提示詞之後,就能讓圖片得到接近手繪漫畫的質感。而且由於我們的圖已經被ControlNet用Canny牢牢控制住,所以豐富細節的提示詞被移除也不會影響我們的人物臉型與五官特徵。
接著我們要開啟Hires. fix(高解析度修正),將圖放大到兩邊都要超過1024像素,這樣筆觸才能銳利到有漫畫鋼筆的感覺。
這就是我們最後的結果:
漫畫風格

結語

昨天ControlNet釋出了1.1版,增加了許多新的預處理器跟模組,其中一個Lineart也是專門產生類似手繪動畫稿的風格,用了之後可以看出一些細微的差別:
Canny vs Lineart
利用之前提到的 Stable Diffusion進階 -- 製作角色設定圖 ,我們就可以大批量地製造漫畫專用的人物設定稿了!
例如這樣:
動漫畫用的人物設定圖
享受AI算圖的快樂吧!

進階技巧目錄:
即將進入廣告,捲動後可繼續閱讀
為什麼會看到廣告
16.3K會員
282Content count
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
留言0
查看全部
發表第一個留言支持創作者!
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
你可能也想看
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
此篇文章再分享如何用最短的時間快速做出第一個AI創作 只需要15分鐘,帶你一步一步做出第一張AI圖!
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
Thumbnail
AI 每天每週都在進步,我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝,很快就推出新版了,所以,我把 Automatic1111 最新版本安裝方式寫在這裡,以便盡我所能為各位讀者更新。 建議使用 windows 桌機PC,具有 Nvidia GTX1660以上等級的獨立顯示卡,算圖會比較容易。
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
Stable Diffusion Online是網頁版的Stable Diffusion AI圖像生成工具,省去了繁瑣的安裝和設定步驟,可以無限生成圖片,且不用註冊就可以免費使用,更棒的是還可以商業使用,為使用者提供更便捷的圖像生成體驗。
Thumbnail
在 Stable Diffusion 中有時人物的大小遠近好像很隨機,除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。
Generative models have made remarkable strides in recent years, enabling machines to create diverse and realistic content across various domains. Amon
Thumbnail
stable-diffusion-webui AUTOMATIC1111在近期更新到1.6版了,我在本文中列出較重要的8個有感且實用的更新項目。 而那些較為底層的,或是專給高手使用的更新項目我就不細說了。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
此篇文章再分享如何用最短的時間快速做出第一個AI創作 只需要15分鐘,帶你一步一步做出第一張AI圖!
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
stable diffusion 是一款AI繪圖軟體,你可以免費把stable diffusion算出來的圖免費拿來商用,但是像我的電腦因為顯卡太舊而無法快速運行,而浪費很多時間,你只要準備一個google帳號即可。
Thumbnail
先說結論:   演算Img2Img時,Sampling Methods(取樣方法)中Karras類型比較忠於原圖,非Karras類型比較放飛自我。
Thumbnail
AI 每天每週都在進步,我寫在 繪圖0能者的AI藝術入門手冊 的推薦軟體安裝,很快就推出新版了,所以,我把 Automatic1111 最新版本安裝方式寫在這裡,以便盡我所能為各位讀者更新。 建議使用 windows 桌機PC,具有 Nvidia GTX1660以上等級的獨立顯示卡,算圖會比較容易。