AI繪圖-Stable Diffusion 003- 模型分類 & 常用下載網站

閱讀時間約 5 分鐘
raw-image

前面完成了運行Stable Diffusion圖像模型的繪圖/溝通介面(WebUi)的安裝,在正式進入實際操作前,這邊我們先來分類釐清一下常見的模型有哪些種類以及它的主要功能作用。


前言 綜合知識 –

Checkpoint、VAE、Embedding(又稱Textual inversion)、Hypernetwork、LoRA和LyCORIS是使用Stable Diffusion時一般常見到的模型種類(另外還有外掛ControlNet所使用到的模型,不過這部分我把它歸類到講外掛擴充時再說明。)

  • 圖像模型的副檔名有很多種,常看到的有.ckpt,.bin,.pth,.safetensors..等。其中.safetensors是後期所開發的檔案模式,.safetensors主要好處就是可以有效避免檔案中被夾帶病毒的風險。現在愈來愈多模型的檔案模式都開始使用.safetensors。因此,當我們在網上尋找模型資源下載時,只要有.safetensors格式可選,就以此為優先。
  • 可供下載模型的網站主要有2個 :
    Hugging Face : 這個網站裡大多以官方模型為主,再加上網站都是密密麻麻的文字內容,不夠視覺化方便使用者瀏覽找到喜歡的模型。
    Civitai : Civitai裡的模型豐富多元,幾乎所有官方、非官方的模型這裡都找得到。圖像化顯示方式讓人可以更快速了解每個模型的風格特色,以及每個模型頁面中也都會有完整的使用相關說明提示,所以要下載模型時主要都會使用這個網站。




Checkpoint

Checkpoint,一般我們常稱之為大模型/主模型/底模型。一定要有一個主模型在,Stable Diffusion才能進行繪圖。

  • 檔案大小 : 一般至少都在2GB以上

Checkpoint它就是一個包含大量圖片內容訊息的集合,最初要從無到有訓練出一個Checkpoint模型會需要花費大量的預算和時間(數千張的高階顯卡、數十億張的圖片內容、花費數月以上的時間去運算訓練…..),這通常不是一般人可以負擔得起的。

所以我們在C站上所看到各式各樣豐富多元的Checkpoint模型都是在官方所發布開源的模型基礎上(Base Model)進行修改微調而成。雖然一般我們常會嫌棄官方模型不好用/畫出來的圖不夠好看,都會另外去下載其它微調修改過的非官方模型來使用,但沒有這個官方模型的基礎在就什麼都沒有…。

即使有了官方模型的基礎,讓個人也能自行訓練出所需風格特色的Checkpoint模型,但Checkpoint檔案大小動輒數GB起跳的模型整個重新修改調整,仍然需要相對高階的硬體設備與費時,實在不是很方便。當我們只需要訓練一小部分的風格主題時,並不需要把整個Checkpoint模型都做調整,因此後來才又再延伸發展出了其它更簡潔有效率、輔助形式的模型出現-embedding、Hypernetwork、LoRA、LyCORIS。

 

Embedding(Textual inversion)

Embedding又稱Textual inversion,它是透過文字提示詞來影響訓練模型所生成圖像的結果。簡言之就是將一堆能產生特定風格/效果/主題的提示詞進行打包(這些提示詞可能需要幾十或是上百行的文字內容才能描寫出我們所需的目的)。也因為檔案內容只是文字合集,所以embedding模型的檔案都很小。

  • 檔案大小 : 一般都是幾十KB大小
  • 功能 : 可以訓練特定人物/物體特徵、動作、畫風,或是做為特定反向提示詞的集合使用。

 

LoRA

LoRA全名Low-Rank Adaptation of Large Language Models,LoRA是一種用來微調大型語言模型參數的技術,由微軟所提出。現在C站上LoRA訓練出來的模型最常被使用在對特定人物特徵的復刻,但LoRA除了訓練特定人物模型外,也能應用在畫風、固定人物動作等。

  • 檔案大小 : 幾十到上百MB都有
  • 功能 : 可以訓練特定人物/物體特徵、動作、畫風

那麼embedding和LoRA的功能都是可以訓練特定人物/物體特徵、動作、畫風,他們的差別在哪裡?

embedding是文字提示詞的打包,只靠文字描述去影響圖像生成的效果,而LoRA則是由數十張圖片加上相對應的文本資訊去訓練出來的微調模型。光是看檔案大小就知道,一個幾十KB,一個幾十到百多MB,兩者之間各自所內含的數據量就有所差別。一般來說都會是LoRA的效果要比較好。特別是在還原真人時,大部分還是使用LoRA能更精準表現出特定的人物特徵。

 

LyCORIS

LyCORIS是一種和LoRA很類似的微調模型,主要功能使用方法和LoRA一樣,簡單理解它就是LoRA的增強/變化版,比LoRA擁有更多的參數承載更多的數據量。

  • 檔案大小 : 幾十到上百MB都有
  • 功能 : 可以訓練特定人物/物體特徵、動作、畫風

 

Hypernetwork

Hypernetwork主要應用在訓練畫風的效果比較好,但在其它人物特徵的訓練上不如LoRA好用。因此,由於它能夠應用的範圍較窄,再加上訓練不易,現在已經很少使用到,目前也逐漸被後出現的LoRA所取代。

 

VAE

VAE的全名是Variation autoencoder,它最直觀明顯的作用就是改善有些Checkpoint模型畫出來的圖總是看起來灰濛濛/暗淡/色彩不夠明亮鮮豔的情況。如果Checkpoint模型本身自帶VAE,直接出圖的效果就已經很理想時,就不需要再另外搭配使用VAE,有時多加上不必要的VAE反而會造成反效果讓出圖品質變差。

  • 功能 : 主要用來改善圖片的色彩飽和度/亮度
記錄店小二建立網賺被動收入歷程、自我學習成長以及各類財富自由資訊的分享專區。
留言0
查看全部
發表第一個留言支持創作者!
開源軟體時常更新版本,有時新出的外掛擴充或是Stability.Ai所更新發佈的新模型會需要更新版本的WebUi操作介面才能運行。所以每隔一段時間都要記得去注意一下是否有修正/新增功能的版本可以更新。 確認目前使用的WebUi版本~ 這個Stable Diffusion WebUi是由AUT
運行Stable Diffusion繪圖模型的操作介面有很多選擇,這邊介紹的是目前最廣泛被大家主流使用的版本(AUTOMATIC1111)在本機電腦的安裝方式。 Stable Diffusion基礎概況 在開始安裝運行Stable Diffusion的操作介面前,有幾個基礎知識要先了解一下
從2022年AI繪圖迅速掘起,到如今一年多的期間,各平台相互競爭不斷快速進化,幾個主流AI繪圖平台都發展出各自的優勢特色(Adobe Firefly、Midjourney,Stable Diffusion、Leonardo.Ai)。而其中Stable Diffusion的免費開源以及更高的操控自由度
開源軟體時常更新版本,有時新出的外掛擴充或是Stability.Ai所更新發佈的新模型會需要更新版本的WebUi操作介面才能運行。所以每隔一段時間都要記得去注意一下是否有修正/新增功能的版本可以更新。 確認目前使用的WebUi版本~ 這個Stable Diffusion WebUi是由AUT
運行Stable Diffusion繪圖模型的操作介面有很多選擇,這邊介紹的是目前最廣泛被大家主流使用的版本(AUTOMATIC1111)在本機電腦的安裝方式。 Stable Diffusion基礎概況 在開始安裝運行Stable Diffusion的操作介面前,有幾個基礎知識要先了解一下
從2022年AI繪圖迅速掘起,到如今一年多的期間,各平台相互競爭不斷快速進化,幾個主流AI繪圖平台都發展出各自的優勢特色(Adobe Firefly、Midjourney,Stable Diffusion、Leonardo.Ai)。而其中Stable Diffusion的免費開源以及更高的操控自由度
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
Thumbnail
今天這一篇,我們要從實測的角度開始來學習怎麼掌握Stable Diffusion的咒語(Prompt),我們會一步一步從最基本的Prompt開始,慢慢的把細節加上去,拆解Prompt裡面的元素,並且實測每個步驟的圖片給大家看,這樣大家在調製自己的風格的時候也能更清楚Prompt裡面的元素,才不會總是
Thumbnail
究竟是平價便宜的leonardo吸引人,還是高貴奢華的midjourney令人嚮往。今天再多介紹一個低成本低門檻的繪圖工具,多個選擇總是好的。 常言道,便宜沒好貨,但leonardo並沒有因為低廉的收費而犧牲繪圖。
Thumbnail
這個測試沿用上次的鏈鋸人測試方式,差別只是角色換成了明日香而已,這次用的Lora易用度較高,真人風格與動漫風格的輸出都還算穩定。 真人風格的model使用Chilloutmix-Ni,動漫風格的model使用anything-v4.5,Lora來源為C站的明日香Lora。
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
淺顯易懂的教你快速安裝stable-diffusion-webui單機版(AUTOMATIC1111版本),這是一套強大的AI繪圖工具,讓凡人一秒變大師,想畫出曠世鉅作就要靠它了! 本篇目標是想讓無資訊基礎的大眾也能學會這套工具的使用。
Thumbnail
S1.至 https://github.com/Mikubill/sd-webui-controlnet 了解安裝方式 並安裝 python 3.10.6 版 S2.下載 stable-diffusion-webui S3.下載後 點擊 webui.bat 若無法順利安裝 可參考 環境安裝方式 A
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
這篇文章講解在stable diffusion webui上安裝SDXL。 在stable diffusion webui上使用SDXL的步驟不難,比較要注意的是SDXL的幾個重點差異,你要先依這個差異來評估自己是否要升級,以免白忙一場。
Thumbnail
在我們上一篇文章中,提到了生成AI Art QR Code的方法。今天這一篇中我們要實戰另一種生成AI QR Code的方法。上一篇的方法需要由經由 X/Y/Z測試去獲得最佳的參數,且套用不同的Model/Lora都需要去找最佳的甜蜜點,這樣難免比較累一點,今天我會介紹一個方式,是相對比較穩定的做法
Thumbnail
這篇文章會跟各位解說如何利用Stable Diffusion生成有各人風格的QR Code並且實際可掃,這是一篇進階教學文章,需要有使用Stable diffusion以及Controlnet經驗的人才能順暢的閱讀並且使用。
Thumbnail
  已經玩SD好一陣子的人應該已經發現,很多名字帶有「Mix」且比較有名的checkpoint模型基本上就是在互相「抄來抄去」,而且在女角方面很多只使用了極少的人物重點訓練,導致算出來的臉常常「都長一個樣」。   那麼,該怎麼辦呢?
Thumbnail
今天這一篇,我們要從實測的角度開始來學習怎麼掌握Stable Diffusion的咒語(Prompt),我們會一步一步從最基本的Prompt開始,慢慢的把細節加上去,拆解Prompt裡面的元素,並且實測每個步驟的圖片給大家看,這樣大家在調製自己的風格的時候也能更清楚Prompt裡面的元素,才不會總是
Thumbnail
究竟是平價便宜的leonardo吸引人,還是高貴奢華的midjourney令人嚮往。今天再多介紹一個低成本低門檻的繪圖工具,多個選擇總是好的。 常言道,便宜沒好貨,但leonardo並沒有因為低廉的收費而犧牲繪圖。
Thumbnail
這個測試沿用上次的鏈鋸人測試方式,差別只是角色換成了明日香而已,這次用的Lora易用度較高,真人風格與動漫風格的輸出都還算穩定。 真人風格的model使用Chilloutmix-Ni,動漫風格的model使用anything-v4.5,Lora來源為C站的明日香Lora。
Thumbnail
以下講一些有關stable diffusion webui的幾個小操作,都不難,也都很實用,也許其實你早就知道了,這些都不是什麼驚奇的事,但我發現似乎並不是所有人都知道這些事。 這些真的都是一些雞毛蒜皮的小事,不足以獨立寫成一篇教學文章,所以我就簡單的匯整一下就好。
Thumbnail
淺顯易懂的教你快速安裝stable-diffusion-webui單機版(AUTOMATIC1111版本),這是一套強大的AI繪圖工具,讓凡人一秒變大師,想畫出曠世鉅作就要靠它了! 本篇目標是想讓無資訊基礎的大眾也能學會這套工具的使用。
Thumbnail
S1.至 https://github.com/Mikubill/sd-webui-controlnet 了解安裝方式 並安裝 python 3.10.6 版 S2.下載 stable-diffusion-webui S3.下載後 點擊 webui.bat 若無法順利安裝 可參考 環境安裝方式 A