AI算圖咒語概論①|What the Prompt?

閱讀時間約 8 分鐘

你還記得,為了生成圖片而寫的第一串Prompt嗎?

你還記得,跟ChatGPT說的第一句話嗎?

最開始,剛接觸到AI生成工具時,我沒做甚麼深入的了解,就點開了Leonardo.Ai 和 ChatGPT的頁面,那時候的我也多少抱有幻想,以為電腦終於能夠跟人類產生自然流暢的對話,並且能理解我們的意思,也許產生自我意識、會做夢、成為真正的生命,都指日可待……

畢竟AI題材的科幻片也沒少看,有這麼一點見證歷史一頁的興奮,也是合情合理吧。🤣

不過真的使用下去後,很快,很快就理解到其實現在還差得很遠。電腦——AI現在依然無法做到「理解」人類的語言,它只是能夠「產出」人類的語言罷了。

(使用Leonardo.Ai)

(使用Leonardo.Ai)

在我看來,

就像是聰明且受過悉心調教的動物。

在學習AI相關的知識時,越是瞭解生成式AI的工作原理,越讓我想起這幾年很流行的,訓練寵物貓狗透過按留聲按鈕,來跟人類用人話交流的影片。或是更陽春一點,海生館的海豚和海狗表演。(聲明個人不支持強迫動物表演)

海豚的智商相當七歲人類,但當任一隨機遊客在表演中進行互動時,仍然需要使用訓練員教導的手勢,才能讓海豚做出對應的動作,而不單單只是走上前,跟他說一聲人類語言的「轉圈」。

AI也是一樣,它真正理解跟計算的都不是人類的語言,理解人類語言的方式也不是人類的方式,如果你不學著怎麼去跟它溝通,用它理解的方式來提出你的要求,那麼得不到你想要的結果,也是合情合理吧?

當然了,AI跟動物還是有區別的,大型語言模型(LLM)對人類語言的掌握度日益猛進,也許終有一天他們能達到人類也判斷不出的自然跟流暢,能達到確實理解人類在口語上,完全不顧語法死活的對話內容的境界。

但起碼現在不是,所以我們還是要學著怎麼跟機器溝通,以期達到事半功倍的效果。


你好,初學者。

本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。

寫prompt的路子有很多,我並不是唯一正解,只是其中的一種路子,希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。

(使用Leonardo.Ai)

(使用Leonardo.Ai)



基本觀念

  1. 英文寫效果最好。
    市面上的AI的訓練幾乎都是以英文來進行的,所以英文prompt的生成效果最好。
  2. AI理解文字需要透過一個預先訓練好的文字編碼器(text encode)把人類的文字轉換成AI看得懂的東西,而非直接去閱讀文字。
  3. 寫法主要分為單詞片語自然語言兩種,個人推薦單詞片語式。
    自然語言就是人類講話,帶有描述、修辭、語法等口語化內容。在SDXL系列模型中,自然語言prompt的表現能力有顯著提升。
  4. 基本法則是越靠前的prompt權重越重,也就是說AI會更重視它。
  5. 字詞有天生權重,取決於各模型的訓練方式,天生就重的prompt即使放在後段也不容易被其他詞吃掉。反之有些輕的詞,在不增加權重的情況下,放排頭也不一定會出來。
  6. 同一個prompt在不同的模型、不同採樣器(sampler)、不同LoRA等不同條件中,會有不同的對應結果,因此需要明白prompt沒有絕對的萬用標準版
  7. 同樣是生成式AI,語言模型(e.g. ChatGPT)和繪圖模型(e.g. Stable Diffusion)是兩碼子事,工作原理完全不一樣。
  8. 各家prompt語法基本上不通用,效果也不盡相同,MJ用MJ自己的,Leo用Leo自己的,A1111用A1111的,使用前請詳閱各家公開說明書。🧐
  9. prompt如果寫了沒有被訓練過的內容,那這段prompt就不具備意義,而只作為一個亂數,但是,並不會導致無法生成,並且仍然會對生成結果造成一定的影響。
    簡單來說,AI會自己跳過它看不懂(沒學過)的部分,類似於有邊讀邊沒邊讀中間
  10. 大部分AI讀取prompt有一定長度限制,過長的prompt容易被忽略掉後段。
    在SDXL系列模型中,長篇prompt的表現能力有顯著提升。




學習軌跡

(使用Leonardo.Ai)

(使用Leonardo.Ai)


剛開始真的推薦先從抄襲別人的prompt學起,這個階段就像是學書法時的臨摹字帖,學畫畫時的臨摹名畫。

抄,不能盲目抄,盲目抄的話寫prompt的功力是不會進步的。

英文不是我們的母語,但生在這個時代我們有基本的google翻譯和強悍的chatGPT,看不懂的詞,稍微丟一下翻譯工具,一點點慢慢地記、慢慢地學,很快你就會發現自己不知不覺背下了很多單字,英打速度也突飛猛進。




從修改別人的prompt開始,把主體替換成你想要的描述,把背景替換成你想要的場域,把風格替換成你喜歡的風格。

略有熟悉後,就可以試試看,自己從無到有寫出一段prompt。一開始不用直接寫超長,一點點加就好。


完善流程

總結基本概念,以下是我對新手寫prompt的建議,也是我自己通常使用逐步完善prompt的方式:

用英文書寫,單詞構成,先寫出簡單的主體、想要表現的技法、色調、情緒等,加上基本上有寫有保佑的best quality。
🔽
根據使用平台可接受的語法來添加語法,先刷幾次看我寫的東西有沒有按照我想的方式表現出來。
🔽
依據結果調整prompt的前後順序,並增加更多細節元素,如negative prompt、藝術家名稱、第二色調等。
🔽
更換模型、更換畫布尺寸、更換其他條件設置。刷圖比對結果,根據結果調整prompt。



我第一串prompt真的是挖不出來了,目前可以找到最早的是:

Prompt:
Art nouveau, Alfons Maria Mucha, CLAMP, centered, approaching perfection, dynamic, highly detailed, watercolor painting, light blonde hair, light blue eyes, western facial features, full body, wearing fantasy ancient Chinese costumes, dress like a hobo, one is westerners facial features, deep eye socket, overall color is relatively deep, stick weapon,
Negative Prompt:
(((2 heads))), duplicate, blurry, abstract, disfigured, deformed, cartoon, animated, toy, figure, framed, 3d, cartoon, 3d, disfigured, bad art, deformed, poorly drawn, extra limbs, close up, b&w, weird colors, blurry, watermark, blur haze, 2 heads, long neck, watermark, elongated body, cropped image,out of frame,draft,deformed hands, twisted fingers, double image, malformed hands, multiple heads, extra limb, ugly, poorly drawn hands, missing limb, cut-off, over satured, grain, lowères, bad anatomy, poorly drawn face, mutation, mutated, floating limbs, disconnected limbs, out of focus, long body, disgusting, extra fingers, groos proportions, missing arms, mutated hands, cloned face, missing legs,

80%靠到處複製貼上,那時候對AI完全沒有概念,英文也很爛。

現在回頭檢查一遍可以改掉的地方好多,寫prompt有練習真的有差,現在的我也不會寫那麼長串的negative prompt了,大部分時候甚至是不寫,或是只寫基本款。

raw-image




希望這個教學對你有幫助,有任何問題可以在下面留言。

可以的話,跟我分享一下你的第一串、或是可以回溯到的最早的prompt吧!

Youtube頻道[你風哥 Wind Bro Draw]上各式生成AI工具教學及介紹影片的文字版,包含使用方法與小技巧,完整的影片文案重新梳理,或是實用小筆記,還有進階使用者的理論基礎部分。工具目前包含ComfyUI、Leonardo.Ai、Picsi.Ai、Pika Labs……等,緩慢新增中。
留言0
查看全部
發表第一個留言支持創作者!
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
分享一個在discord上使用的換臉機器人,跟SDwebui上的Roop一樣屬於AI換臉工具,這款是在DC上打打字就能使用的,推薦給沒有電腦或是跑不動SD的朋友,可以來試用看看! 它有優待MJ用戶的代幣消耗機制,因此也推薦MJ使用者來用它。 它叫作,PICSI.AI。
如果你跟我一樣沒有動畫功底、又想實現自己小小的圖片動起來願望的話,就來看看今天要講的這個小工具吧! 它叫作,PIKA LABS。
ComfyUI教學第一階段之[基本workflow],本篇講解如何建立一條基本的工作流程,安裝方式見上一篇。兩篇看完就可以安心開始進行基礎的文生圖,也配有影片。 你對ComfyUI的印象是甚麼? 我的話,在我被逼著開始用它之前,我對它的印象是這樣的…… 說老實話,我第一次看到這個畫面的
ComfyUI教學第一階段之[全面安裝指南],帶你一步一步從頭做起,它確實沒有那麼簡單,卻也沒有那麼困難。本篇介紹從安裝前準備、安裝步驟,到添加擴充功能。帶你開啟AI算圖的深度旅程。配有影片。
分享一個在discord上使用的換臉機器人,跟SDwebui上的Roop一樣屬於AI換臉工具,這款是在DC上打打字就能使用的,推薦給沒有電腦或是跑不動SD的朋友,可以來試用看看! 它有優待MJ用戶的代幣消耗機制,因此也推薦MJ使用者來用它。 它叫作,PICSI.AI。
如果你跟我一樣沒有動畫功底、又想實現自己小小的圖片動起來願望的話,就來看看今天要講的這個小工具吧! 它叫作,PIKA LABS。
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
GPU,既能支援大規模人工智慧計算,現在也能夠支援一些量子軟體,各家公司都在密切關注這個發展趨勢。 GPU已經改變了人工智慧的格局,現在也準備投身量子計算領域,儘管量子技術尚未成熟,但許多公司已經找到可以在與人工智慧相同的晶片上,運行複雜的量子演算法。近年來,由於GPU和其他先進晶片提供的計算
Thumbnail
一百天前,我第一次接觸到AI算圖,或者俗稱的AI繪圖,一時之間驚為天人,就一頭栽下去研究各種技巧,在大概七十天前,我寫下了 AI算圖,Stable Diffusion的頭一個月 ,又經過了兩個月,有了更多的感想,所以來寫一些研究AI算圖時的感想。
Thumbnail
前陣子格友 Vanessa 展示了 美圖秀秀軟體,AI 算圖的功能 (個人不覺得那是畫圖),文章連結如下: 手繪與AI繪畫|美圖秀秀軟體 關於 AI 的思考,Beta 更早之前,已經有完整論述: 我們 與 國道收費員 的距離 就算,Beta 千呼萬喚,提醒大家思考 AI 的衝擊,但無可奈何,公司也
Thumbnail
人工智慧產出的作品到底有沒有享有著作權? 用來製作產品銷售的話,會不會被追究法律責任? 這些問題是我們運用AI的時候避不可少的議題,其中牽涉的議題也相當廣泛。 今天我們就來聊一聊:人工智慧AI算出來的圖片有版權嗎?
Thumbnail
整整一個月前,我開始接觸AI繪圖,它帶給我的震撼,開啟了我一個月的追尋之旅。
Thumbnail
(2023/4/16) 聽完‎在 Apple Podcasts 上的《財報狗 - 掌握台股美股時事議題》:205.【財經時事放大鏡】NVIDIA GTC 與美國晶片法 Q: 為何語言要大量訓練深度學習不是用擅長複雜運算/電晶體密度也較高的CPU? 其實也不了解GPU/CPU的差異關鍵在哪? A:(f
Thumbnail
雖然不是完全沒有競爭者,但基本上,在資料中心端的AI 運算處理器中,NVIDIA 可以說是在市場上佔據壟斷性的地位。也就是說,如果未來幾年,科技產業的重點是各家巨頭與新創獨角獸之間的 AI 大戰的話,那 NVIDIA 就是這場戰爭背後,最大的軍火供應商。
Thumbnail
最近AI算圖真的是很有趣,可是網路上的算圖大多提詞是要付費的,這裡也寫個筆記我,有興趣的可以自己架設算圖伺服器。 這裡先把相關需要安裝的軟體網址先記錄下來,還有要玩前最好先有nivdia顯卡。 1.GIT服務器:下載適用自己作業系統的版本 Git - Downloads (git-scm.com)
Thumbnail
AI 創作正夯!究竟AI算圖是工具?還是藝術家?人類藝術家會被取代嗎?
Thumbnail
最近很多人在玩這個,我也跟著開始玩,分別玩了「Disco Diffusion」跟「MidJourney」。 其實要AI算圖需要稍微學一下關鍵字的下法,但我大多就亂玩,尤其「Disco Diffusion」因為圖算很慢,但沒有試用次數問題,我基本上就是每天丟一句話試看,偶而效果不錯,有些則不知所云。
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
GPU,既能支援大規模人工智慧計算,現在也能夠支援一些量子軟體,各家公司都在密切關注這個發展趨勢。 GPU已經改變了人工智慧的格局,現在也準備投身量子計算領域,儘管量子技術尚未成熟,但許多公司已經找到可以在與人工智慧相同的晶片上,運行複雜的量子演算法。近年來,由於GPU和其他先進晶片提供的計算
Thumbnail
一百天前,我第一次接觸到AI算圖,或者俗稱的AI繪圖,一時之間驚為天人,就一頭栽下去研究各種技巧,在大概七十天前,我寫下了 AI算圖,Stable Diffusion的頭一個月 ,又經過了兩個月,有了更多的感想,所以來寫一些研究AI算圖時的感想。
Thumbnail
前陣子格友 Vanessa 展示了 美圖秀秀軟體,AI 算圖的功能 (個人不覺得那是畫圖),文章連結如下: 手繪與AI繪畫|美圖秀秀軟體 關於 AI 的思考,Beta 更早之前,已經有完整論述: 我們 與 國道收費員 的距離 就算,Beta 千呼萬喚,提醒大家思考 AI 的衝擊,但無可奈何,公司也
Thumbnail
人工智慧產出的作品到底有沒有享有著作權? 用來製作產品銷售的話,會不會被追究法律責任? 這些問題是我們運用AI的時候避不可少的議題,其中牽涉的議題也相當廣泛。 今天我們就來聊一聊:人工智慧AI算出來的圖片有版權嗎?
Thumbnail
整整一個月前,我開始接觸AI繪圖,它帶給我的震撼,開啟了我一個月的追尋之旅。
Thumbnail
(2023/4/16) 聽完‎在 Apple Podcasts 上的《財報狗 - 掌握台股美股時事議題》:205.【財經時事放大鏡】NVIDIA GTC 與美國晶片法 Q: 為何語言要大量訓練深度學習不是用擅長複雜運算/電晶體密度也較高的CPU? 其實也不了解GPU/CPU的差異關鍵在哪? A:(f
Thumbnail
雖然不是完全沒有競爭者,但基本上,在資料中心端的AI 運算處理器中,NVIDIA 可以說是在市場上佔據壟斷性的地位。也就是說,如果未來幾年,科技產業的重點是各家巨頭與新創獨角獸之間的 AI 大戰的話,那 NVIDIA 就是這場戰爭背後,最大的軍火供應商。
Thumbnail
最近AI算圖真的是很有趣,可是網路上的算圖大多提詞是要付費的,這裡也寫個筆記我,有興趣的可以自己架設算圖伺服器。 這裡先把相關需要安裝的軟體網址先記錄下來,還有要玩前最好先有nivdia顯卡。 1.GIT服務器:下載適用自己作業系統的版本 Git - Downloads (git-scm.com)
Thumbnail
AI 創作正夯!究竟AI算圖是工具?還是藝術家?人類藝術家會被取代嗎?
Thumbnail
最近很多人在玩這個,我也跟著開始玩,分別玩了「Disco Diffusion」跟「MidJourney」。 其實要AI算圖需要稍微學一下關鍵字的下法,但我大多就亂玩,尤其「Disco Diffusion」因為圖算很慢,但沒有試用次數問題,我基本上就是每天丟一句話試看,偶而效果不錯,有些則不知所云。