[筆記] 想要轉生成 Vtuber 是否搞錯什麼？
文前碎碎唸
如果說2020年是台灣Podcast元年的話，那今年2021應該可以算是Vtuber元年了。
自從日本 Vtuber 風氣引進後，台灣本土發跡的 Vtuber，不論在數目或是內容豐富度上也開始有了爆炸性的成長，幾乎是每隔幾天上一次 Twitter 或Youtube，都會發現一兩個出道新人的頻率。
而也因爲這種爆炸性的熱度讓我開始思考，如果以技術面來看，現在要從一台基本的電腦開始，純「手工」轉生成一位基礎 Vtuber 的話，會需要多少成本呢？
於是乎，我「什麼都想試看看」的老毛病就這麼再次發作，也藉這個機會把「發病」的過程記下來當作前車之鑑，供後世參考囉～
正文開始
本篇作者非相關產業之專業人士，此文章僅為親自嘗試過程之筆記及心得分享。
若於敘述或步驟上有錯誤，請見諒及回饋，敬請尊重專業人士之經驗及努力。
幕後準備
想要成為Vtuber，當然就是要先願意一層一層的剝開Vtuber的ㄒㄧㄣ⋯（咳），Vtuber的幕後結構。如果單以個人式來看的話，可以預想到的人物包括了繪師（形象繪製）、建模師（將人物建制為2DLive或是3D模型），以及作為人物靈魂的中之人。
而在軟體方面，以VT的「父母」來說，需要具備的就是繪圖以及建模用的工具，而實況本身則是需要一套能夠操縱虛擬模型的動作捕捉工具，以及有做直播應該都不陌生的老牌OBS Studio串流工具。
一般來說，萌芽中的Vtuber們，可以依需求設計好理想的角色設定及特徵，與繪師進行討論後，請繪師進行形象繪製及圖層切分（建模前重要步驟，如果處理不完善，相信建模師會很想掐人）後，交由建模師處理後續模型化步驟。
然而對於目前僅想作為試驗性項目的我來說，暫時也還沒有辦法有寬裕的手頭來重金禮聘相關人員協助，因此只好先自己扛下這些技術面的硬活⋯
在逆向工程分析完基本結構後，我們就可以開始著手構思及建立自己的藍圖了。
數位分身術
首先我們從外觀開始說起，不論是作為一般的主播、實況主或是Vtuber，都要先定義自己想要呈現給觀眾們的形象。
但由於這方面非常吃重於個人角色設定以及繪師本身技術及風格，並沒有一個明確的標準可供參考，因此在此便不多做說明，這裡我就直接拿我過去在社群網站中，為自己製作的虛擬人設來作為實作的目標。
接著來觀察一下目前活躍於檯面的Vtuber們，我們可以發現，除了一般的3D建模外，Live2D是目前許多Vtuber所採用的建模技術之一，可以使2D人物模擬出生動的3D動態效果，除了用於形象建模外，還常被用來作為遊戲或一些軟體工具中的虛擬形象呈現。
如果要進行Live2D建模的話，就會需要用到Live2D Cubism這套工具軟體。關於此工具的詳細的資訊，可以請各位看官移駕至官網參考，這裡就先不贅述。總而言之，這套軟體就是可以讓繪師（或自己）繪製的平面角色動起來的厲害法器（敷衍式介紹⋯=w=）。
不過，就跟其他強大的工具一樣，想要完全發揮它的強大能力，是需要等價交換（？）的，此工具的使用是需要付費訂閱使用Licence，而依照使用情境的規模，官方將使用許可分成個人及企業兩種方案，訂閱週期則是分為月繳、年繳以及三年繳三種方案。
雖然官方有提供42天的免費試用期，而且試用期過後也能繼續以基本免費版本來使用 （或是使用者也可以選擇不啟動試用，直接以免費板來操作），但在功能上，包含模型的解析度、模型中所能包含的調整項目，以及一些細部的結構調整方面都會有所限制，因此如果想要長期經營的話，考慮訂閱付費版還是必須的。
由於我們目前僅是作為建模的嘗試，因此使用免費版的功能已經足夠使用，程式在執行前會詢問使用者要使用何種版本，這裡我們先使用 "Start as FREE version" 來啟動環境。
建模工具準備好了，接著就要開始決定自己轉生到虛擬世界中要使用的形象/軀殼（X），而因為建模需要，我們在繪製自己的角色形象時，就需要同時考慮到圖層的切分以及編排，簡單來說，我們需要在繪圖的時候，將我們的人物進行「分屍」（喂！），這裡我們簡單的以示意圖說明在 Live2D Cubism 所需要的基本圖層。
由於免費版只能建立 2048px 的模型材質，為了維持模型解析度（以及繪圖上的簡化），因此我們就先建立半身的模型就好。而根據官方所提供範例，原始的圖層可分為以下部分：
- 頭部 (A)
頭髮 (A-H)後髮
前髮[瀏海]
側髮
臉 (A-F)
眼睛[左右相對]眉毛
上眼皮
睫毛
眼白
瞳
嘴巴上唇
口內
下唇 - 脖子 (B)
- 身體 (C) [半身至胸口]
接著，我們可以將畫好的人物形樣匯出為.psd檔，並直接將檔案拖曳進建模軟體中。Live2D Cubism 其實預設就有提供一些可直接套用的模型模板可以套用，只要原始圖層有切分好的話，套用後就可以開始與範例中的各部位進行對應，以節省後續調整的時間。
盡量選擇與自己設計的角色體型相近的模板，選擇好可以先疊圖確認
接著就可以針對人物各圖層與模板的圖層進行對應。通常到這個畫面的時候，程式就會先做好第一次的處理，並且會開始進行動作的預覽，可以用滑鼠移到圖層上來確定有沒有對應正確。
不過，如果認為套用模板後就可以直接使用的話，那就大錯特錯了。正所謂魔鬼藏在細節裡，如果實際將模型放大來檢查，可以發現模型中某些小部份多邊形的定位點上存在著很多奇怪的扭曲跟重疊，雖然在靜態的時候看上去可能沒事，但在模型動起來的時候，就有可能產生破圖的情況...
這部分的話，建議還是將定位點拉到平滑後再進行細部調整，這樣可以避免程式在產生中間過渡變形動畫的時候出現破綻。
在製作模型的過程中，其實我還有找到一些模型調整上的小撇步，像是可以善用Live2D編輯器裡面的複製及鏡射功能，先將一邊眼睛的相關參數調整完後，再直接複製一顆到另一側去，這樣就不需要做兩次相同的動作，但這部分在製作的時候並沒有截圖，因此僅以文字筆記紀錄，相關參考資料後續再另外補上。
注魂儀式（？）
有了模型之後，接著就是要想辦法將你，或是中之人的靈魂與這個虛擬軀殼進行同步綁定。為達目標，我們需要一個即時的靈魂擷取器，以及轉換法陣，才能讓現實中的我們，能夠藉由念動力去操縱螢幕中的異世界軀體⋯（供三小XDD）
咳咳，回歸正經，當我們的模型，也就是虛擬V皮準備就緒後，我們需要有一組連接電腦的攝影鏡頭，以及一套能夠即時透過鏡頭捕捉臉部動作數據的工具。
我個人過去常聽到可以作為臉部表情捕捉工具的，是FaceRig這套軟體，是付費使用的，價格約為398台幣，目前在Steam上面就可以購買。
雖然在文獻中可以找到這套軟體在臉部捕捉工具圈內已經是佔有老大哥的地位，也有許多模型是針對FaceRig進行設計的，但近期有消息宣布說這套軟體即將在2021年底停止販售，由繼任者Animaze取代，並由原本的買斷制，更改為煩人的訂閱使用制。
由於上述不論FaceRig或是Animaze，雖然是老牌軟體，且可以同時對3D及Live2D模型進行操作，實用性頗高，但兩套軟體同時也蘊含較多的隱藏成本（像是軟體後續的訂閱費用，以及學習成本等），因此在這次的實測中，都不會被我列為理想的工具。
但問題來了，當我們排除老大哥後，又還有什麼能用的呢？
正當我煩惱著如何挑選最佳替代者的時候，遠處的地平線突然傳來一道金光，筆直的朝著我的電腦而來，而伴隨著的，是一行行絢麗跳動的程式碼，他們就這樣集合、重組，最後竟形成一套連名字都閃耀Vtuber光輝的新世代臉部追蹤軟體，他就是Vtube Studio（腦洞敞開中）。
這套軟體是由@denchi個人製作，主要針對Live2D模型進行控制，個人認為它的介面相對簡單，操作上面也是蠻直覺的。
這套工具的電腦版採基本免費使用，購買DLC可移除浮水印，而手機版本（沒錯，它是有手機版本的XD）也是免費下載，在購買IAP之後，除了可以移除浮水印外，還可以解除使用手機鏡頭追蹤結果串流至電腦的功能限制（未解鎖僅能使用五分鐘），以及手機畫面錄影的功能。
另外，對於 iPhone X ，或後續具有 Face ID 鏡頭模組的 Apple 設備的使用者來說，這套軟體可以直接使用手機內建的臉部掃描器功能來獲得更好的追蹤效果，也可以透過上述的內購買功能，將擷取的資訊串流到電腦使用。
(20211124：目前對於沒有 Face ID 的 Apple 設備，經測試後確認也是可以使用臉部追蹤功能的，但限制是必須要具備 A12 或後續版本處理器的設備，如iPhone SE 2020，才可以正常使用。）
這套軟體除了可作為臉部追蹤來控制模型外，還附帶了許多方便Vtuber們在直播的時候會用到的功能，像是背景更換、在場景中及時擺放物件等。另外還可以針對擺放的物件進行設定，讓一些配件類物品能跟隨模型移動，這樣就可以做出讓虛擬形象在直播中及時戴上耳機、眼鏡、拿飲料之類的效果。另外像是快速鍵、模型參數設定等，也都可以做細部調整，讓直播流程更加順利。
不過個人認為這套工具最大的優勢在於，它是一款還在成長中的新興工具，而且是屬於社群中個人開發的成品，因此可以更加直接的了解使用者真正的需求來進行改進，因此未來的發展十分值得期待。
打板，上鏡 !
攝影人員就緒
其實，這部分應該無須作特別細部的說明。
如果過去已有嘗試過自行直播，或是錄製電腦影像的看官們，應該大多都有聽過OBS Studio這套老牌、免費、開源，又強大的直播軟體。
OBS Studio 的功能頗多，也有很多外掛可以進行擴充，三言兩語可能沒辦法完全記下操作流程，因此這裡僅記錄部分可能會比較實用的項目。
將虛擬的你請上台
模型操作工具、直播工具都就緒後，接著就要將我們的虛擬分身搬上舞台。這裡有兩種方法可以將 VTube Studio （VTS） 的角色搬到 OBS 中，一個是利用VTS的虛擬攝影機搭配OBS 中的 "視窗擷取" 功能，另一個是使用OBS中的 "遊戲擷取" 模式。
這兩種方法的主要差別是，使用虛擬攝影機的話，會連VTS中的背景一起擷取，這時就需要在OBS中使用色彩鍵濾鏡才能達成去背的效果，而且有些時候擷取的畫質會較另一種方式來的低（如果在 OBS 中還有另外進行縮放的話）。
如果是直接使用遊戲擷取，VTS 本身是支援讓 OBS 擷取無背景的模型畫面的，因此無須另外設定濾鏡，對模型及附加物件本身的色彩呈現是影響最小的。但弔詭的是，這種方式雖然能夠擷取到比較乾淨的人物，但如果在直播過程需要在場景中新增物件或做設定的話，軟體的設定介面是會一起被擷取進去的，希望作者能夠找到解決的方案...
快速開播的技巧
如果你急著開始直播，卻又懶的手動開啟這兩個程式的話，這裡提供一個可以快速啟動環境的小撇步。如果在Windows系統上想要快速的同時啟動 VTube Studio 跟 OBS Studio 的話，可以複製下面這一段程式碼，貼到記事本裡面，並另存成bat檔。
cd "C:\Program Files (x86)\Steam\steamapps\common\VTube Studio"
start "" "C:\Program Files (x86)\Steam\steamapps\common\VTube Studio\VTube Studio.exe"
cd "C:\Program Files\obs-studio\bin\64bit\"
start "" "C:\Program Files\obs-studio\bin\64bit\obs64.exe"
這樣一來，只要執行這個檔案，就會自動把這兩個軟體打開，而如果你已經架設好攝影機，兩套軟體的參數也都調整完畢的話，就可以快速的準備開播了。
遠端課程及會議
近年來，隨著疫情爆發，線上課程及會議的風氣也隨之崛起。但由於冷冰冰的螢幕阻隔，任誰也無法完全保證網路另一端的人能夠全程專注的傾聽你的諄諄教誨。尤其對於遠距教學的老師，或是主持公司部門佈道會議的主管們更是如此。這時候，我們就只能借助Vtuber的魅力，讓台上說的口沫橫飛，卻讓台下觀眾東倒西歪的講者們挽回局面（X）。
這類型的直播所使用的媒介，通常不會是串流平台，而是我們常見的通訊軟體，像是 Line、Google Meet 之類的服務。
這些通訊軟體，往往只能接收到單一聲音源的輸出，也就是說，當我們遇到同時需要麥克風，又需要電腦音效的情況時，就會遇到問題。而為了解決這個難題，我們需要在電腦上再安裝一條虛擬音源線才能達成。
這裡我們使用VB-Cable作為我們的音源橋接工具。這套軟體可以在電腦中新增一條虛擬的音源輸入及輸出端口，可以同時接收麥克風聲音以及電腦本身的輸出，並壓成單一音源輸出到目標的通訊軟體中。
當虛擬音源安裝完成後，我們需要在OBS裡面進行一些設定，首先在底下音訊控制那欄按右鍵啟動進階音訊屬性，並在跳出的視窗中，把需要輸出的音源的監測選項，通通改為監測和輸出。
接著到OBS的設定中，把監測裝置改成剛剛安裝的虛擬音源線的輸入端。
最後到要使用的會議工具中進行音源輸入的設定，將麥克風改成虛擬音源線的輸出端，這裡以Google Meet作範例
這樣一來，就可以透過 OBS 來管理所有音源輸入（包含麥克風），並透過把監聽音訊輸出到虛擬音源線，再灌到我們的通訊軟體中了。
當然，如果你要把OBS畫面直播出去的話，首先要啟用 OBS 的虛擬攝影機，接著在通訊工具中把攝影機調成 OBS Virtual Camera 就完成了~
最終成果測試
這邊是以目前手邊有的簡易設備來對模型進行測試，使用的器材如下：
- 筆電
- 手機HDMI轉接器
- USB擷取卡
- 手機 X2 (一隻開遊戲，一隻充當Webcam)
這裡要備註一下，由於使用的電腦是 ROG Zephyrus G14，好死不死這個型號並沒有內建鏡頭，因此才會需要另一隻備用手機安裝 EpocCam 來充當攝影機使用，而擷取卡及轉接線材，則是取決於目標需求，這裡是要將手機畫面接出來才需要用到。
另外，由於這次僅建立簡單模型，因此會直接省略掉一些物理參數的設定，雖然最後成果看起來會較為生硬（像是頭髮、貓耳部分會看起來特別厚重），但以視訊替身或是簡單的直播，這類輕度使用情況應該已經足夠了。
總結
第一次寫這種流程類的介紹筆記，總歸來說，以我自己整套流程跑一次下來的感想，真的幾乎沒有任何一個步驟是能簡單達成的。就算是已經自己同時扛下繪圖跟建模，省去中間反覆溝通的步驟了，但光是要弄出一個「基本能用」的模型，就已經花去五六個小時的時間，更不用提後續的細節修整跟測試。
雖然可能也是因為初學的緣故，很多方法只能邊做邊學，但就以花費的精力與時間成本來看，就真的能理解為何現在這種虛擬形象製作的委託，價格會如此高昂的原因了。
這也讓我想到先前還有看到有人直接要求要建模師幫他建模後，等之後紅起來再來分潤的神奇要求，雖說並不是否定委託人未來發展的可能性，但對建模師來說，就好比是賭博，投資前也必定得三思，畢竟27億威力彩也不是人人都能拿到的（？）。
對於Vtuber（中之人）本身而言，雖然我沒有真實接觸到實況這一塊，但也曾在許多，不論是一般Youtuber或是Vtuber的直播中，了解到他們各自的苦衷。
尤其內容創作一直以來都是辛苦的，甚至是有些吃力不討好，因此作為觀眾的我們，就盡好我們本分相互尊重，適時回饋，也是對對創作者們最大的協助了。
《全文。終了》
(…或許?)
為什麼會看到廣告
留言0
查看全部
