Stable Diffusion進階 -- 提示詞矩陣

更新於 發佈於 閱讀時間約 9 分鐘

今天來介紹Script中,用來判別提示詞性質,甚至是除錯的好用工具--提示詞矩陣(Prompt matrix)。

前言

身為一個軟體工程師,業界有一句很好玩的俚語:

最可怕的不是搞不懂為何寫出來的程式不能動,而是搞不懂為何寫出來的程式能動。

很多時候,從網路上抓的一大串提示詞在某些模型表現良好,但是換了個模型就走樣。有時一些提示詞看似無用,移除了之後畫面的感覺又變得怪怪的,不清楚到底是哪裡被影響了。有時整個圖爛掉或功能壞掉,但是不管怎麼調提示詞,圖依然是壞掉的。這時候就可以請出Prompt matrix來追根究底。

功能

Prompt matrix用起來的感覺跟之前介紹的X/Y/Z plot很類似,都是能跑出一整組的圖,但是設定畫面差很多:

raw-image

在設定畫面中,我們可以指定是要以正面或者負面提示詞為主來構築矩陣。構築的提示詞字串要以 | 符號隔開提示詞,Automatic1111就會分組生成圖片,這概念好像很難懂,讓我用一個範例來講解。

今天你想要算一隻貓的圖,但是不知道各種提示詞對貓咪的影響是怎麼樣,例如你想測試吼叫(roaring)、毛茸茸(fluffy)跟生氣(angry)分別套上去的效果,就能用Prompt matrix來實驗:

digital painting of cat,
(extremely detailed CG unity 8k wallpaper),
best quality, masterpiece , hdr, ultra highres |
roaring |
fluffy |
angry

在上面的正面提示詞,開頭的前三行,會被當作基本提示詞,用在每一張圖上,四、五、六行被 | 符號分組的提示詞們會變成交錯添加的元素,產生一個成果組合圖:

raw-image

左上角的第一張圖,就是什麼額外提示詞都沒加的狀態,它第二列的圖,則全都是添加了憤怒這個提示詞的效果。第二行則是都增加了怒吼提示詞的效果。而最右下的,就是憤怒、毛茸茸與怒吼全部提示詞都有的效果。

這樣你就能很清楚地看到,各種提示詞交互疊加起來的效果。例如憤怒這個提示詞,不僅改變了貓的表情,連姿勢跟背景都被影響了。因為AI在解釋提示詞時,並沒有真的了解了「憤怒」這個概念是什麼,它只是被訓練出了關聯性,把憤怒這個字,與憤怒的表情、令人害怕的背景顏色還有讓人感到威脅的攻擊姿勢關聯起來而已。

同時,你也能觀察到有關連的提示詞疊加起來也有更強化的效果,例如怒吼這個詞,單獨使用其實一點氣勢都沒有,但是與憤怒跟毛茸茸疊加起來,效果就很明顯,真的能表達出貓咪殺氣騰騰時全身的毛倒豎起來的效果。

提示詞矩陣不只一次能組合一個詞,而是可以一串提示詞為一組來使用,例如:

digital painting of 1girl, white dress | 
red hat, red shoes |
holding flowers, smiling |
from behind

這樣就能配出紅帽紅鞋一組,微笑與捧花一組,背後視角獨一組,共三組提示詞組合的矩陣了:

raw-image

這個功能跟X/Y/Z plot有點像,但是它只能改變提示詞,其他更複雜的設定就不如X/Y/Z plot那麼寬廣。但是這個功能在某些時候特別好用,以下舉兩個我會用到的場合。

提示詞檢定

當我們對某些定義很模糊的提示詞有疑慮時,通常會產生兩張圖片來比對,有時候這樣有用,但某些很詭異的提示詞,兩張圖看不太出來差別,但是拿掉了又覺得好像不一樣了,這時候就能用Prompt matrix來大規模生圖來確認。

例如我在檢查某個從網路上抓下來的正面提示詞時,發現了兩個我看不懂的提示詞:

extremely luminous bright design(極亮鮮豔設計),以及autumn lights(秋天光影)。每個字都懂,組合起來卻想不出會是什麼樣的效果,出了好幾張圖來比較檢查也是看不出什麼名堂,真的跟咒語一樣。

但是在Prompt matrix底下,就能很明顯看出差別:

raw-image

在這張組合圖中,極亮鮮豔設計出現在二、四、六、八行裡面,秋天光影出現在右半邊的所有圖上。這樣一比對下來,馬上就能看出所謂的極亮鮮豔設計,其實是在人物附近產生鮮豔的螢光光斑,但是在與秋天光影一起出現時會被壓制。而秋天光影,則是一種淡黃色的暖色系光,帶來秋天夜晚的感覺,而且人物的衣著也會被影響,變成長袖秋裝,連背景都變成秋天街道的夜景!

除錯

第二個場合就是除錯,有時候你的提示詞因為互相衝突,而造成整個畫面變得非常奇怪,或者讓某些外掛功能失效,這時候就要靠Prompt matrix把提示詞分組過濾出有問題的提示詞,才能順利算圖。

這種事情尤其容易發生在負面提示詞上,因為通常我們都是從網路大神那裡直接拷貝下來用在所有地方,但其實在某些複雜設定下,這種超長萬用提示詞反而容易出錯。

舉個例子,當我在用Latent Couple這個外掛,想要把兩個人物放進同一張圖時,使用官網提供的範例可以正常運作,但是當我把非常複雜的提示詞放進去的時候,反而只能算出一個人。

為了追根究柢,我開始測試各種組合:

  • 複雜的正面提示詞配上少少的負面提示詞:出現兩個人物,但是非常醜
  • 簡單的正面提示詞配上複雜的負面提示詞:出現一個漂亮的人物

由此可見,是某些負面提示詞造成問題。但是我的負面提示詞長達225個tokens,是哪些負面提示詞破壞了外掛的功能呢?這時候就是用Prompt matrix解決問題的時候了!

由於這個問題可能是好幾個提示詞一起影響造成的,我將全部的負面提示詞分成四組之後跑圖比對:

raw-image

這邊可以發現,第一行不管什麼情況都能出現兩個人,而其他組合一率只有一個,換句話說,問題出在其他三組提示詞上。於是我將第一組提示詞合併進基本組,然後繼續測試,找出沒問題的提示詞組就合併進基本組,直到最後變成了這樣:

raw-image

到了這種程度,已經可以確定是這幾個提示詞有問題,但是當我無論怎麼調換順序想要抓出到底是哪幾個提示詞在搞怪時,卻發現全都有問題。但是從提示詞的含義來看,根本不像會影響到一個人或多個人的生成。所以問題出在哪邊呢?

這時候我注意到了,沒問題的那串提示詞,總長度都在75個token以下,超過75個token就會出問題。於是我在75與76的長度反覆測試了幾個無關痛癢的提示詞,證明了是提示詞長度的問題,Latent couple碰到長度超過75 tokens的正面或負面提示詞,很容易癱瘓!

這是靠著Prompt matrix快速測試大量提示詞的功能抓到的問題,如果用其他方法,可能會跟瞎子摸象一樣難以掌握全局。

這個功能就介紹到這,祝大家AI算圖愉快!


進階技巧目錄:

留言
avatar-img
留言分享你的想法!
子不語-avatar-img
發文者
2023/05/15
Stable Diffusion提示詞 -- 相機角度提及了這篇文章,趕快過去看看吧!
avatar-img
子不語怪・力・亂・神
29.8K會員
433內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
全球科技產業的焦點,AKA 全村的希望 NVIDIA,於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1,實際日曆期間為今年二到四月),交出了打敗了市場預期的成績單。然而,在銷售持續高速成長的同時,川普政府加大對於中國的晶片管制......
Thumbnail
全球科技產業的焦點,AKA 全村的希望 NVIDIA,於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1,實際日曆期間為今年二到四月),交出了打敗了市場預期的成績單。然而,在銷售持續高速成長的同時,川普政府加大對於中國的晶片管制......
Thumbnail
這是一篇介紹如何使用AI來生成貓貓圖片的文章,作者透過幾個軟體的使用經驗,分享了AI生成圖片的效果以及注意事項。文章內容豐富,並且有各種關鍵字和描述,可以吸引潛在讀者。
Thumbnail
這是一篇介紹如何使用AI來生成貓貓圖片的文章,作者透過幾個軟體的使用經驗,分享了AI生成圖片的效果以及注意事項。文章內容豐富,並且有各種關鍵字和描述,可以吸引潛在讀者。
Thumbnail
上次在 "AI繪圖提示詞苦手嗎" 就有請 AI 幫忙過了,這次想再分享一下,這兩天一個蠻有趣經驗,給您參考。 我這兩天一直想畫可愛的小狗站著散步,如上圖,但,一剛開始,出圖效果不好...
Thumbnail
上次在 "AI繪圖提示詞苦手嗎" 就有請 AI 幫忙過了,這次想再分享一下,這兩天一個蠻有趣經驗,給您參考。 我這兩天一直想畫可愛的小狗站著散步,如上圖,但,一剛開始,出圖效果不好...
Thumbnail
AI 繪圖是一種利用人工智慧技術,根據文字描述,生成出各種風格和主題的圖片的方法,不僅可以讓你實現你的想像力,還可以讓你了解到 AI 的創造力。
Thumbnail
AI 繪圖是一種利用人工智慧技術,根據文字描述,生成出各種風格和主題的圖片的方法,不僅可以讓你實現你的想像力,還可以讓你了解到 AI 的創造力。
Thumbnail
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
Thumbnail
本篇面向AI算圖新手、對寫prompt沒有概念的朋友,以diffusion model系AI繪圖工具為例,分享我自己從零開始學習寫圖像生成prompt的經驗,只談基本架構跟新手上路的方向。 希望每個走過路過的朋友,在看完後經過練習,都可以找到自己寫prompt的風格。
Thumbnail
#原創指令# 有時候我們生成的圖片品質並不高,核心是因為我們審美以及視覺抽象概念的描述,還不夠清晰,而有些專業的術語,似乎只有資深玩家才可能掌握。 打開GPT-4,選擇DALL.E3。複製這段我的原創指令
Thumbnail
#原創指令# 有時候我們生成的圖片品質並不高,核心是因為我們審美以及視覺抽象概念的描述,還不夠清晰,而有些專業的術語,似乎只有資深玩家才可能掌握。 打開GPT-4,選擇DALL.E3。複製這段我的原創指令
Thumbnail
操作很簡單 使用電腦 開啟GPT-4,選擇DALLE.3 複製這段指令進去 注意:這條指令只針對chatgpt 的PLUS會員,同時已經可以使用DALLE.3的使用者。 ##圖片提示字產生器 版本:v0.11 作者:秒懂AI提問指令 {任務}你將扮演圖片提示詞產生器,當我提供簡短{主
Thumbnail
操作很簡單 使用電腦 開啟GPT-4,選擇DALLE.3 複製這段指令進去 注意:這條指令只針對chatgpt 的PLUS會員,同時已經可以使用DALLE.3的使用者。 ##圖片提示字產生器 版本:v0.11 作者:秒懂AI提問指令 {任務}你將扮演圖片提示詞產生器,當我提供簡短{主
Thumbnail
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
Thumbnail
本篇基於2023/07/30,Leonardo.Ai官方DC中文區的MasterClass大師課實況精華影片的內容來整理,目標對象是使用過AI繪圖工具,但對其底層邏輯沒有概念的朋友。用盡量簡單的方式來講述,深淺結合幫助你在使用上能獲得更高的掌控度。 並逐一介紹在Leo上設置參數與使用功能的技巧。
Thumbnail
本篇以MidJourney如何下貼圖指令為主 熊的情感表達-https://line.me/S/sticker/24110003 這篇適合已會使用MidJourney的族群為主。 為什麼選擇AI製作貼圖? 提高效率:自動化製作過程。傳統的貼圖製作需要花費大量時間,而AI可以在短時間內
Thumbnail
本篇以MidJourney如何下貼圖指令為主 熊的情感表達-https://line.me/S/sticker/24110003 這篇適合已會使用MidJourney的族群為主。 為什麼選擇AI製作貼圖? 提高效率:自動化製作過程。傳統的貼圖製作需要花費大量時間,而AI可以在短時間內
Thumbnail
前面我們有介紹「【Generative AI — Prompt篇】Ep.1 什麼是Prompt Engineering?」相信對於下指令給AI應該已經具有基本知識了吧,在進入Prompt Engineering之前有一些Guideline是我們需要知道的,就如同線上遊戲一般,我們會先進到新手村學習一
Thumbnail
前面我們有介紹「【Generative AI — Prompt篇】Ep.1 什麼是Prompt Engineering?」相信對於下指令給AI應該已經具有基本知識了吧,在進入Prompt Engineering之前有一些Guideline是我們需要知道的,就如同線上遊戲一般,我們會先進到新手村學習一
Thumbnail
今天來介紹Script中,用來判別提示詞性質,甚至是除錯的好用工具--提示詞矩陣(Prompt matrix)。 身為一個軟體工程師,業界有一句很好玩的俚語: 最可怕的不是搞不懂為何寫出來的程式不能動,而是搞不懂為何寫出來的程式能動。
Thumbnail
今天來介紹Script中,用來判別提示詞性質,甚至是除錯的好用工具--提示詞矩陣(Prompt matrix)。 身為一個軟體工程師,業界有一句很好玩的俚語: 最可怕的不是搞不懂為何寫出來的程式不能動,而是搞不懂為何寫出來的程式能動。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News