[AI聯手系列] -如何用ChatGPT與Stable Diffusion打造自己形象的塔羅牌組

更新 發佈閱讀 11 分鐘
raw-image

本篇文章是我個人探索AI繪圖還有ChatGPT至今,獲得最有成就感的產物之一,不過這件事情見仁見智,畢竟不是每個人都喜歡AI繪圖,也不是每個人都對塔羅牌感興趣。 但是如果你跟我一樣,著迷於AI繪圖的魔力,也同時對ChatGPT這類的大型語言非常感興趣,那麼這篇文章會教你怎麼讓這兩個AI工具聯手,一起創造出一個屬於自己的塔羅牌系列,同樣的一套做法,也非常適合拿來產生各種系列組圖。

raw-image

在這篇示範裡面,我將教你如何利用AI繪圖工具Stable Diffusion產生出自己的一整套塔羅牌排組,而且這整套牌組還是套用上自己Training的LORA的,也就是塔羅牌的主角都可以是你或是你身邊的人(或是你的偶像明星),一旦掌握訣竅,用這篇的方法一天以內就可以完成這個工作。這篇文章屬於進階的 AI 工具聯手系列,所以對於完全的新手來說還是有一些難度的。基本的要求如下:

A.你需要知道並且已經安裝好 Stable Diffusion的Automatic1111的介面,不知道怎麼安裝的話可以參考這篇別人寫的文章 ,我會建議你在嘗試這個之前也先好好摸索如何使用Automatic1111,並且有基礎的Stable Diffusion Prompt的技巧,將來我也會寫一篇文章來說明基礎的Prompting for Stable diffusion.

B.你需要知道LORA並且理解如何訓練LORA,筆者剛好有寫了一篇文章用自己的家人當範本做訓練,請參考這篇文章

C. 然後是最基本的,你需要擁有OpenAI的帳號並且熟悉跟ChatGPT對話,我想這個大家都會了吧?

ChatGPT怎麼幫上AI繪圖的忙呢? 要產出塔羅牌這樣複雜的組圖,很重要的一件事情就是你需要清楚的知道每一張塔羅牌各自的形象,並且要用精確的語言把每一張塔羅牌的形象轉換成Stable Diffusion可以用的Prompt。所以ChatGPT要負責的工作就很明白了,要用他淵博的知識來協助你提供每張塔羅牌該長什麼樣子,並且順手幫你把正確的Prompt 格式做出來,一口氣餵進去給Stable Diffusion。我把這樣的順序拆分成為六步驟,我們一步一步地來講說。

  1. 第一步就是,找到一個合適的Prompt可以產出你要的風格,這件事情其實不用盲目摸索,有不少網站提供一些人家產出的圖片以及Prompt,只要Google “Good stable diffusion prompt”就可以得到很多整理好的Prompt。或是可以參考一個我相當推崇的網站 Prompts — Stable Diffusion Art (stable-diffusion-art.com) 。以我個人來說,一直都非常喜歡慕夏的畫作,於是我就到這個網站上去找了一些看起來還不錯的慕夏風格的作品,記錄下幾個Prompt。
  2. 拆解這個合適的Prompt並且變成可以餵給ChatGPT的格式。 這邊就要提到一點Prompt Engineering的技巧了,舉例來說一般餵給Stable Diffusion的Prompt都會包含 主體+畫作的型態+畫家+額外的細節描述還有增加品質的各種提示詞。 但是我們稍微想想,如果要請ChatGPT產出一組固定且風格一致的提示詞該怎麼做呢? 答案很簡單,就是把固定的部分請ChatGPT寫在句子最前面或是最尾端,中間麻煩ChatGPT自行發揮。 請各位看官看下一步我怎麼實際操作。
  3. 給予正確的提示還有範例,請ChatGPT產出Sample的Prompt,關於怎麼正確地給ChatGPT提示,還請參考我這篇文章。以下就是我給ChatGPT(GPT4)的提示:
    A. You are professional AI Prompt Engineer that will provide prompt for my generative AI Art. (先給人設還有目標)
    B. Rules of the prompt (給予限制還有格式) :
    1. Don't use any pronouns; (請AI不要產出代名詞 直接給主詞避免主詞混亂)
    2. Avoid using these words: in a, the, with, of, the, an, and, is, by, of.
    3. start every prompt with these exact words: “ ((best quality)), ((masterpiece)), ((realistic)) ; 經過嘗試,我決定把提升品質的關鍵字放在每個Prompt 的開頭
    4. end every prompt with these exact words: <lora:sksxandra:1>; 這句很簡單就是為了套用我們自己訓練出來的LORA
    C. A good example of such prompt is ((best quality)), ((masterpiece)), ((realistic)), beautiful girl, cute anime old french village, in the mountains, blue sky, summer, flowers, plants, highly detailed, style of master anime, perfect perspective, <lora:sksxandra:1> (這一步驟就是給AI一個範本,讓他產出的Prompt格式會正確,不過如果你沒有範本,也可以先讓AI自行發揮)
    D. Please generate a sample prompts of tarot card in the style of Alphonse Mucha and make sure the prompt follows the above rules.

然後ChatGPT就會吐出Prompt了。

4. 接下來就是Try and error 的時候,把ChatGPT產出的sample Prompt實際拿去Stable Diffusion裡面實測,看看效果如何,然後做微調,最後終於產出一組我覺得相當滿意的Prompt”((best quality)), ((masterpiece)), 1girl, intricate, Alphonse Mucha inspired tarot card, Art Nouveau elegance, flowing lines, organic shapes, delicate pastel colors, female figure representing the High Priestess, ornate halo, symbolic pomegranates, crescent moon, water lilies, beautifully adorned borders, rich tapestry-like background, harmonious composition” 畫出來正是我想要的

5. 這時候就可以請ChatGPT依照這個格式產出完整的Prompt Sets,以下是我用的命令。Now please generate a set of prompts based on tarot card orders starting in fool and ending in the world. Please give detailed descriptions to clothing and accessory and background to fit each tarot card characters.這時候ChatGPT會一口氣吐出22張塔羅牌的Prompt 非常的長!

raw-image

6. 因為塔羅牌有22張,這個牌組的Prompt 可能要分幾次ChatGPT才能把它產完,產完以後請大家收集到同一個文字檔案內,我們就可以進行最後的步驟,就是打開Automatic1111的介面,然後依照我這張圖的設定

raw-image

在txt2img裡面,Prompt的部分留空白(你沒看錯),negative prompt的部分你要填什麼都可以,通常都還是那些大家常用的。重頭戲是下面的部分

raw-image

請到最下方Scipts的部分下拉選單選 Prompts from file or textbox,然後把剛剛ChatGPT產出的成果一股腦倒進去,就像是下圖。

raw-image

然後按下Generate,就會發現我們剛剛請 ChatGPT每個prompt後面留兩個空白行這時候發揮作用了! Stable Diffusion 會針對一個一個prompt分開產生圖片,這時候你還可以把 batch size調整大一點,然後去睡覺,讓電腦替你辛勤的產生圖片,早上起來再來挑選即可。

最後,給各位欣賞幾張用自己訓練的LORA(家人)的照片做成的塔羅牌圖,大家覺得怎樣呢? 完整一整套有22張,我就不一一貼上來了。貼上幾張比較成功地給大家欣賞欣賞。當然這些圖組裏面也會有一些特別難克服的,譬如說倒吊人之類的,這些要怎麼做呢? 就留待我下次慢慢分享給各位了。

raw-image
raw-image
raw-image






留言
avatar-img
留言分享你的想法!
avatar-img
技術PM路易斯的沙龍
50會員
35內容數
技術PM的AI實驗室,是以輕鬆的角度深入簡出的探討各種生成式AI工具的使用。無論你是想理解AI到底是怎麼運作的? 想知道有那些好用的生成式AI工具? 或者是對AI繪圖有興趣的,都歡迎加入我們的AI實驗室一起輕鬆地玩耍,我們邊玩邊學,學習跟AI一起共創新的可能。
2023/12/23
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
2023/12/23
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
2023/11/18
這篇文章會跟大家介紹,為什麼我覺得ChatGPT的多模態輸入輸出其實是最重要的一個功能之一,讓AI往成為真正人工智慧代理人的路上前進了一大步,我們也會稍微探討(想像)一下,所謂的理想的AI載具到底應該是怎樣的?
Thumbnail
2023/11/18
這篇文章會跟大家介紹,為什麼我覺得ChatGPT的多模態輸入輸出其實是最重要的一個功能之一,讓AI往成為真正人工智慧代理人的路上前進了一大步,我們也會稍微探討(想像)一下,所謂的理想的AI載具到底應該是怎樣的?
Thumbnail
2023/11/01
本篇文章是 以ChatGPT翻譯華頓商學院教授Ethan Mollick的文章,並且稍微加上修飾而來的,是一篇相當好的該如何使用AI的引言,分享給各位。 我們學到的就是,只要使用AI,你就會學會如何使用AI。你只需大量使用AI,直到你弄清楚它的優點和缺點,就可以成為你領域的AI應用專家。
Thumbnail
2023/11/01
本篇文章是 以ChatGPT翻譯華頓商學院教授Ethan Mollick的文章,並且稍微加上修飾而來的,是一篇相當好的該如何使用AI的引言,分享給各位。 我們學到的就是,只要使用AI,你就會學會如何使用AI。你只需大量使用AI,直到你弄清楚它的優點和缺點,就可以成為你領域的AI應用專家。
Thumbnail
看更多
你可能也想看
Thumbnail
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
Thumbnail
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
Thumbnail
操作很簡單 使用電腦 開啟GPT-4,選擇DALLE.3 複製這段指令進去 注意:這條指令只針對chatgpt 的PLUS會員,同時已經可以使用DALLE.3的使用者。 ##圖片提示字產生器 版本:v0.11 作者:秒懂AI提問指令 {任務}你將扮演圖片提示詞產生器,當我提供簡短{主
Thumbnail
操作很簡單 使用電腦 開啟GPT-4,選擇DALLE.3 複製這段指令進去 注意:這條指令只針對chatgpt 的PLUS會員,同時已經可以使用DALLE.3的使用者。 ##圖片提示字產生器 版本:v0.11 作者:秒懂AI提問指令 {任務}你將扮演圖片提示詞產生器,當我提供簡短{主
Thumbnail
  自從 ChatGPT 2022年11月推出以來,顯著改變了人們的生活。網絡上有關人工智能的巧妙運用如雨後春筍般湧現,各種創作者紛紛運用AI輔助自己的創作。   筆者也使用在LINE貼圖的製作,並非用於圖片製作,而是用於LINE貼圖上架所需要的「文案」製作。
Thumbnail
  自從 ChatGPT 2022年11月推出以來,顯著改變了人們的生活。網絡上有關人工智能的巧妙運用如雨後春筍般湧現,各種創作者紛紛運用AI輔助自己的創作。   筆者也使用在LINE貼圖的製作,並非用於圖片製作,而是用於LINE貼圖上架所需要的「文案」製作。
Thumbnail
前一篇我們有提到「【Generative AI - Prompt篇】Ep.3 讓AI身歷其境的角色提示法」如何催眠AI成為專家,藉著該提示技巧讓AI可以針對該領域進行專業的回答,但…這還不夠,我們還希望AI可以更強大,可以根據我們設計的範本,進行相同規格的輸入與輸出。 我們在前面幾個篇章也玩過一些P
Thumbnail
前一篇我們有提到「【Generative AI - Prompt篇】Ep.3 讓AI身歷其境的角色提示法」如何催眠AI成為專家,藉著該提示技巧讓AI可以針對該領域進行專業的回答,但…這還不夠,我們還希望AI可以更強大,可以根據我們設計的範本,進行相同規格的輸入與輸出。 我們在前面幾個篇章也玩過一些P
Thumbnail
在這篇示範裡面,我將教你如何利用AI繪圖工具Stable Diffusion產生出自己的一整套塔羅牌排組,而且這整套牌組還是套用上自己Training的LORA的,也就是塔羅牌的主角都可以是你或是你身邊的人(或是你的偶像明星),一旦掌握訣竅,用這篇的方法一天以內就可以完成這個工作。
Thumbnail
在這篇示範裡面,我將教你如何利用AI繪圖工具Stable Diffusion產生出自己的一整套塔羅牌排組,而且這整套牌組還是套用上自己Training的LORA的,也就是塔羅牌的主角都可以是你或是你身邊的人(或是你的偶像明星),一旦掌握訣竅,用這篇的方法一天以內就可以完成這個工作。
Thumbnail
今天我這邊提供大家一個方法,讓大家可以自己成為這些AI繪圖的主角,也就是在AI裡面建立屬於你自己個人的模型。Stable Diffusion比較少這部分的教學,是因為這部分的訓練的確比較有一些技術的門檻,我這邊會嘗試用比較簡單的方式讓大家可以一個步驟一個步驟照著做,就能夠達到我們想要達到的結果。
Thumbnail
今天我這邊提供大家一個方法,讓大家可以自己成為這些AI繪圖的主角,也就是在AI裡面建立屬於你自己個人的模型。Stable Diffusion比較少這部分的教學,是因為這部分的訓練的確比較有一些技術的門檻,我這邊會嘗試用比較簡單的方式讓大家可以一個步驟一個步驟照著做,就能夠達到我們想要達到的結果。
Thumbnail
在AI的術語之中,給AI的輸入問題叫做Prompt,而問出對AI來說好的問題,或是給AI精確的指示這門技術就叫做Prompt Engineering ,這跟寫程式一樣,是需要靠學習以及練習的。我們來淺談一下這個Prompt Engineering的基本,也就是怎麼問出好的問題。
Thumbnail
在AI的術語之中,給AI的輸入問題叫做Prompt,而問出對AI來說好的問題,或是給AI精確的指示這門技術就叫做Prompt Engineering ,這跟寫程式一樣,是需要靠學習以及練習的。我們來淺談一下這個Prompt Engineering的基本,也就是怎麼問出好的問題。
Thumbnail
此篇文章再分享如何用最短的時間快速做出第一個AI創作 只需要15分鐘,帶你一步一步做出第一張AI圖!
Thumbnail
此篇文章再分享如何用最短的時間快速做出第一個AI創作 只需要15分鐘,帶你一步一步做出第一張AI圖!
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News