Stable Diffusion 用 prompt 控制鏡頭距離及角度

在 Stable Diffusion 中用 prompt 控制鏡頭距離及角度

在 Stable Diffusion 中有時人物的大小遠近好像很隨機，除了用 ControlNet 其實可以利用 prompt 輸入 拍攝電影的鏡頭控制術語用來控制距離及角度。

電影拍攝時的鏡頭距離參考圖

此教學採用 Dark Sushu Mix Colorful 為 checkpoint

鏡頭距離

我們把可以使用的視角 prompt 放進 X/Y/Z plot 比較一下，為了突出效果要提高權重，盡量不要加入面部描述 e.g. beautiful face ，否則多數都會變成半身照。以下prompts 會加上 1.5 權重。

• extreme close-up 超近鏡
• close-up 近鏡
• medium close-up 中近鏡
• medium shot 中景鏡
• long shot 遠鏡
• establishing shot 場景鏡
• point-of-view 主觀視角
• cowboy shot 西部牛仔常用的鏡頭，見到上半身以及大腿（為了見到拔槍）
• medium full shot 中風全景鏡
• full shot 全景鏡
• upper body 上半身
• full body 全身

出來的結果意外地有些 prompts 很相似，不過再配合其他 prompt 可以更穩定地控制距離。

• extreme close-up，close-up 跟 medium close-up 都是放大眼睛/面部為主，但有時extreme close-up會放大更多。
• medium shot ， long shot ， medium full shot  跟 full shot 看起來差不多，medium shot有時候會比 full shot 更近一點，都是顯示臀部以上到頭頂的位置，因應場景這幾個 prompt 的距離可能會有些變化。
• establishing shot 的背景會比較明顯，如果主體是建築時人物可能會更細。
• point-of-view 角度會因應人物有點轉變，背景通常比較 wide，角度跟主體未必是同一水平視角。
• cowboy shot 受 cowboy 污染變了牛仔裝，距離跟 medium full shot 差不多但距離比較穩定，一定會顯示臀部以上到頭頂。
• upper body 會顯示人身上半身，範圍可能由臀部以上到胸以上。
• full body 是唯一可以見到全身的距離。

經測試後由近至遠可用的鏡頭 - extreme close-up > close-up > medium close-up > upper body > medium shot > medium full shot > full body 。

而 point-of-view 跟 establishing shot 會環境有所影響所以不適合控制距離。

鏡頭角度

攝影一樣有不同的拍攝角度術語可供參考

掌握距離然後就是角度，由最基本的前後左右再加一些攝影角度，一樣加上 1.5 權重。

• front view 正面
• bilaterally symmetrical 左右對稱
• side view 側面
• back view 後面
• from above 從上拍攝
• from below 從下拍攝
• from behind 後拍
• wide angle view 廣角鏡
• fisheyes view 魚眼鏡
• macro view 微距
• overhead shot 俯視
• top down 由上向下
• bird's eye view 鳥瞰
• high angle 高角度
• slightly above 微高角度
• straight on 水平拍攝
• hero view 英雄視角
• low view 低視角
• worm's eye view 仰視
• selfie 自拍

多種視角 prompts

另一批視角 Prompts

出來的結果跟字面表示的角度差不多，也有些角度其實是重複的，也有一些受字面影響而受到污染。

• front view  straight on 就是正面，但不一定是絕對正面，straight on 因為水平拍攝的角度所以背景也不會歪。
• bilateral symmetry 正面兼左右對稱，比正面更準確。
• side view 向左/向右都是隨機的。
• back view 跟 from behind 都是背面， back view 會近一點，而且通常露背。
• from above overhead shot  high angle slightly above 都是由高角度影向主體， overhead shot 角度較高， high angle 會背景比較闊一些。
• from below 由下方偷拍 (?) 的視角，天空通常會筒狀變形。
• wide angle 背景會有一些筒狀變形 fisheyes view 的變形效果會更強，但 fisheyes view 受到污染，總會拿著相機。
• macro view 變了拍花或微細的物件。
• bird's eye view 從高角度影高去同時會見到廣闊的背景，但會有雀鳥出現。
• top down 的角度很糟糕 (?)，變成正上方被女生抱住的視角。
• hero view 角度不對，人物也受污染穿上了英雄戰衣。
• low view 角度不算很低，有點懷疑沒有效果。
• worm's eye view 完全錯了，有很多蟲及怪眼，跟角度完全沒關係。
• selfie 人物會伸手自拍而且不會太遠。

其中 fisheyes view 雖然會污染但因為視角比較特別還是有用的，但 hero view 跟 worm's eye view 及  macro view 受污染角度又不明顯可以放棄。

距離＋角度＝取景

了解不同的鏡頭距離及角度後就可以輕鬆使用 prompt 生成出想要的取景。

1girl, beautiful, solo, (from above:1.5), (selfie:1.5), (close-up:1.5), in swimming pool

1girl, beautiful, solo, (establishing shot:1.5), (side view:1.5), in a bus, reading

1girl, beautiful, solo, (from below:1.5), (full body:1.5), night, street

1girl, beautiful, solo, (top down:1.5), (close-up1.5), lying in car

總結

由於以 prompt 取景有時會受其他 prompt 影響，建議先用簡單 prompt 取景，然後用 controlnet 去固人物動作，既可以得到想要得畫面，並不怕人物受到影響。