【產業什錦煲】虛擬製作玩甚麼

CINDY CHEN

2023/05/17 更新2023/05/06 發佈閱讀 8 分鐘

數位媒體的世界，AR VR XR趨勢當紅。

虛擬製作Virtual Production 的應用浪潮

席捲數位內容創作產業

最近因撰寫虛擬偶像和VTuber相關文章，來拜訪「亞洲虛擬人協會」陳封平理事長和烽燧視覺總監Frank。一同來聊聊虛擬製作Virtual Production.到底玩甚麼

圖文/歆儒

新媒體產業再升級

跨踰國界與世界接軌

臺灣過去一直都有相當精良的動畫技術，早期幫海外動畫和遊戲代工已久，數位媒體的誕生，影片視頻需求大幅增長，有愈來愈多的青年學子投入媒體製作行列，但傳統影片拍攝與動畫製作的領域在台灣其實商用發展相當侷限(尤其是動畫師，高端一點的可以接大廠的廣告、電影，中低端的就做建模師、建築用3D動畫展示、不然就是做電視節目)，畢竟資金來源不高的狀態下，昂貴的CG和特效動畫製作都是很多廠商負擔不起的。電影產業更是如此，捉襟見肘的製作費，也不是人人都能當李安，大手筆籌資做個動畫場景如此高比例的少年PI。

這幾年因虛擬網紅VTuber的竄起，動態捕捉技術提升，特別讓人注意到虛實境應用層面。宏觀視野來看VTuber產業，除了在娛樂經濟、數位內容上的高端價值外，真正的影響是宣告臺灣的視覺互動與虛擬製程技術邁入與國際技術接軌的紀元。

虛擬製作的運用核心技術就是建立In-camera VFX（攝像鏡內視覺特效），跟遊戲的電腦虛擬3D技術有所區別，這類虛實結合技術（真人與虛擬形體結合、真實場景與虛擬場域套用、創造高即時性與同步化處理）在虛擬角色應用互動程序上雖然未必要和好萊塢電影規格看齊，目前透過鏡頭的視覺捕捉和動態擷取也能滿足大部分的功能呈現，例如聊天直播。但若想要有更精細的舞蹈或動作，讓原本只在電腦螢幕上的２Ｄ或３Ｄ角色更為活脫靈動，就必須來到這個4DViews攝影棚(動態容積捕捉系統，一次性把在三維空間中人的動作和他的外觀、髮型、服裝等，都可以完整用數位化的方式記錄)，透過光學攝影或機械式的捕捉技術與同步運用，可大幅縮短過去必須要傳統3D建模、動態化再套用的製程。即時現場就可看到互動效果和套用虛擬場景後的即時呈現。

這套運用意味著未來偶像拍MV拍戲，也不一定要飛出國實地取景，可大幅降低製程時間和不必要的成本，(甚至一秒就換裝，連衣服都不用買了)，這些技術應用也能廣泛使用於廣告產品拍攝，並且現場就能看到套用結果和效果呈現，是非常實用的技術。當然，如果你做了一個虛擬偶像，要搭配真人動作舞蹈來呈現得更擬真，也是透過這樣的技術。前方手機內有APP可以擷取臉部表情系統，目前眾多廠商開發出不同的表情系統擷取法，例如家用最簡單的就是透過光學鏡頭，但表情效果就很有限。更高階一點的也就要如電影製作的模式，在臉上置放感應擷取粒子，這樣才能把人物表情、皺褶、肌肉線條細節擷取。

談到虛擬製作就必須談Previz（可視化電影動態分鏡），乃是CG電影必經的過程, 現在很多導演拍真人電影前都喜歡透過 previz 預先計算及策劃, 以便加快現場拍攝進度。透過這個預先做好的動態分鏡，可以重新評估運鏡、效果、拍攝時程、場景計算與材料評估。在國外的電影製作(尤其有特效類和虛擬角色運用的電影)，幾乎都會用CG先做Previsualization預拍全部的鏡頭，甚至初步配合聲音和音樂，確認正確的鏡數和運鏡角度才會讓昂貴的演員和大批人力進入拍攝流程。(畢竟....明星的時間可是用錢磚來算的。)

虛擬製作技術可優化影片製程

虛擬製作技術最大優點是可直接立即對比疊加虛擬後的效果，大大優化視覺創作過程，並不僅是虛擬網紅使用的那些較初階的鏡頭和表情捕捉，走入4DViews攝影棚拍攝能讓角色擴大運用於大型展演，甚至需要用到動畫結合的電影、戲劇、和產品廣告拍攝，將不用耗資鉅額廣告代言和實地拍攝，更能精簡成本。

以下來簡單介紹美國電影如何使用previz和虛擬製作運用電影上。4DViews攝影棚如何發揮功效?

以往通常是拍攝完之後進動畫流程後製，但現在透過同步技術，已不需要耗時等待建模套用才能看到效果呈現，即刻就能看到螢幕上呈現的樣貌。

結合動態捕捉與同步(Synchronization)技術:

1.空間方位的同步(當角色多角度鏡頭移轉，虛擬場景也會跟著同步移動，就要運用4D式取得立體影像資訊，綠幕加上360度全景攝影鏡頭)

2.內容物的同步(類比轉數位，再同步到電腦上即時合成，因此在攝影鏡頭上必須要有類比數位轉訊同步。)

傳統類比訊號拍攝與數位合成必須同步才能提高真實性，因此在攝影鏡頭上必須要有追蹤器、類比轉數位訊號、與同步設備即時合成。

綠幕這樣的技術雖然很早就使用在播報氣象，換背景已經不是甚麼新玩意，但現在更提升到4D空間和人物型體套用即時同步。這套應用可發展用於產品廣告拍攝，有助於影視業的格局提升，因為不需要耗費大量動畫後製的時程，直接現場展演，鏡頭和效果馬上看得到。也可以讓真人直接和虛擬角色可愛人物現場互動。

虛擬製作鏈結各產業的應用

T型人才的開發是當務之急

整套的虛擬製作是由多種技術綜合，理事長陳封平認為，臺灣目前在虛擬製作上是處於人才斷層的局面。大專和職能的多媒體教育依然是走傳統I型路線，依循一個本質技能來做為直向發展，不符合虛擬製作需要的T型人才，除擁有原本的專業職能，還要橫向擴展其他的軟硬體知識技能，動畫師不能只會建模做動畫，攝影師也不能只會取實景運鏡，對於這些同步處理的虛擬應用，皆需要全方位的涉略與實作。亞洲虛擬人協會目前結合國內與海外先進的虛實應用製作公司，共同推動工作坊和論壇講座與課程學習，並舉辦全球12小時的虛擬實戰活動。整體而言，虛擬偶像跳脫螢屏活脫靈現的互動應用，反而像是拋磚引玉導出整個虛擬製程技術的熱潮，這是後續連結各產業應用最大的關鍵密碼。當然，虛擬歌手唱跳，虛擬角色和真人同臺互動，都只是最容易發想的商業開發，但這套技術的發展還可以運用在影視拍攝、展演特效、行銷廣告、遠程教學與發布會、遠程醫療、非接觸式客服、IP角色產業等，與國際化合作都是可預期的發展。

角色雖是虛擬，但生活中創造的各種互動體驗，對人類的感知而言，分秒皆真實載入我們的生活篇章。這便是整個虛擬產業最吸引人之處。陳封平表示，在虛實結合的體驗中，那些你過去不曾想像過的情境都能呈現，例如多拉A夢跳出動漫框，能跟你說話，給你戴上一支竹蜻蜓，再搭配鏡頭和虛擬背景的轉場瞬移讓你立即飛上天，這樣的趣味想像，不僅是高科技的表演型態，也代表著虛擬技術越來越能真正落地於一般人的生活應用，而不再只是影視、動漫、遊戲業的專屬。