邁向 AITuber 之路: talking-head-anime + stable-diffusion
更新於 2023/06/03閱讀時間約 7 分鐘
AI 魔法禁書目錄
這次我要來介紹如何使用 talking-head-anime 創建自己的 vtuber 角色，talking-head-anime 是一個超酷的開源軟體，只要輸入一張圖片，並且搭配手機的鏡頭去偵測臉部動作，他就可以直接把你的表情和動作套用到輸入的圖片上。talking-head-anime 的作者最早在 2019 年就已經釋出第一個版本，目前是到第三個版本。
環境準備
talking-head-anime-3-demo
首先要先安裝 talking-head-anime-3-demo，這個專案是用 python 寫的，有提供 conda 的 environment，所以只要執行下面這行指令就可以安裝。
conda env create -f environment.yml
沒有 conda 的話，可以先去 miniconda 官網下載安裝，conda 有分 anaconda 和 miniconda，anaconda 包含了很多預設套件比較肥，所以大家通常都是裝 miniconda。
安裝完成後，要跑之前記得要用 conda activate 切換到對應的 python venv 環境。
conda activate talking-head-anime-3-demo
iFacialMocap
接著，為了要偵測我們臉部的表情，所以要安裝一個手機的 App 叫做 iFacialMocap，不過他只有 IOS 的版本，或是也可以下載桌面版(但我沒測試過桌面版)。IOS 的 App 有分免費版和付費版的，免費版的叫做 iFacialMocapTr 會有廣告，付費版的是 iFacialMocap 要價 190 台幣，不是很貴。
Stable Diffusion
再來，我們還需要 Stable Diffusion 來幫我們畫出我們 AITuber 的皮，我習慣是用 AUTO1111 的 Stable-Diffusion-Webui，這裡我就不多作介紹，畢竟不是本篇的主軸。
OBS
最後，我們需要使用到 OBS 來幫助我們串流到 youtube, twitch 或是直接錄影都可以，前往 OBS 官網 下載。
工作流程
Stable Diffusion 畫皮
第一步，我們要先用 stable diffusion 畫出我們 AITuber 的皮，但這個皮也不能隨便畫，官方 repo 有說明，要像下面這樣，把角色擺在適當的位置才能跑出好的效果，並且背景的部分要是透明色(不是白色)。
所以這邊我們利用 ControlNet 的 openpose 來把角色固定在官方建議的位置如下，Control Weight 我設定為 0.7，因為我想說不要綁得太死，給他一點發揮的空間，如果位置一直飄掉的話，可以把它調高一點。
接下來 prompts 的部分，以下供參考。
1girl, solo, masterpiece, best quality, highres,upper body, (simple background, white background),(你想畫的角色的描述...)
結果出來之後，我是用 Clip Studio 修圖+去背，最後再把圖片縮小回 512x512 就完成了，我做的 AITuber 皮如下(就是一張圖片)。
串起來
畫好皮之後，我們就可以來把所有東西串起來了，首先打開進到 talking-head-anime-3-demo 的資料夾，切換到正確的 python venv 環境。
conda activate talking-head-anime-3-demo
接著執行腳本
python.exe tha3/app/ifacialmocap_puppeteer.py --model standard_half
他提供了四個模型可以選擇，有 standard_float(預設), separable_float, standard_half, separable_half 四種，float 是用單精度浮點數(32 bytes)儲存模型，half 是用半精度浮點數(16 bytes)儲存模型，所以 half 的模型大概會比 float 還小一半，如果你的硬體不好就選 half 的模型，但是它的效果可能會稍差一點，一般是不會差太多啦，而 standard 和 separable 的差別作者好像沒有提到，我就不知道了。
跑起來就會像下面這樣。
接著，就可以來打開 iFacialMocap 如下
把最上面那行顯示的 ip 位址複製下來或是記起來(這裡沒有顯示的話，也可以去手機的設定查看 ip 位址)，寫到 talking-head-anime-3-demo 最上面 Capture Device IP 這裡，然後按下右邊的 START CAPTURE!
最後選擇 Load Image 載入我們剛剛做好的皮就大功告成了!
OBS
OBS 的設定也非常簡單，我們拉一個視窗擷取出來，然後把它裁剪到只剩右邊的人物(按 Alt 拖動邊框)
接著，把背景設成綠色的，就是傳說中的綠幕。
在視窗擷取中點右鍵濾鏡，新增一個色度鍵(Color Key)，關鍵顏色類型選綠色。
最後把我們的 AITuber 拉到右下角適當的位置就完成啦。
總結
在這篇文章中，我們介紹了如何利用 talking-head-anime 來讓 stable diffusion 產出的人物動起來，並且可以在 OBS 中進行串流。相比於 Live2D，因為 talking-head-anime 需要實時跑模型去讓人物動起來，硬體需求還是稍微高一點，但優點就是只需要一張圖片即可。不過整體而言，離真正全自動的 AITuber 還是有一段距離，現在只是畫個可以動的皮出來xD
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
在當今的全球化時代，環境保護和可持續發展成為世界各國共同關注的課題。聯合國提出的可持續發展目標（SDGs），為世界各國提供了一個實現和平繁榮的共同藍圖。這17項目標涵蓋了消除貧困、飢餓、健康、教育、性別平等、清潔水資源、可再生能源等方方面面，致力於在2030年之前實現全球的可持續發展。
韓語課系列文章已經出到第100篇，主要集中在韓語一級程度的教學內容，並向讀者分享了關於學以致用、韓文檢定以及不同程度的語言能力應用。文章中列舉了一級和二級程度的使用範圍，並強調了持續學習的重要性以及韓文能力的實質表現。文章最後推薦了全臺最知名線上課程PPA平臺的優惠預購活動，鼓勵讀者重新開始學習韓文
美國的研究所以其學術卓越和豐富的機會而聞名，但申請過程可能令人望而生畏。這篇文章將解答一些常見的美國研究所申請問題，並提供實用的建議，以幫助您順利申請美國的研究所。
這篇文章探討了財富自由的各種動機和人們對於財富自由心態的應對。金錢、動機、心態等問題被深入探討，並提出瞭如何正視內在的恐懼、尋求真正自由的見解。
這是一個高中生的自律故事，從被手機網路枷鎖住到找回自我，從找藉口到堅持自律，作者經歷了轉變，體會到自律帶來的自由。挑戰自律，讓生活更有意義，讓自己更好。
去年底，孫女出生，回家之後，我對她都講台語，對女兒也講台語，女兒小時候跟阿公在一起，台語大都聽得懂，不懂的會問我，有的詞我會主動再說一遍華語，有時候她會回我台語，就這麼慢慢浸淫其中，不管小孩或大人，多會一種語言，就多一項寶藏，雙語不是只有增加英語一種，台語、各種母語也算。
一、 ２個女兒和兒子時
我漸漸不再滿足於撰寫單篇的文章，而期待自己能有系統的整理這些內容，越寫越長的文章，越來越多的內容，回憶起來在這個時期，臉書提供的環境已經不再適合我。
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
在當今的全球化時代，環境保護和可持續發展成為世界各國共同關注的課題。聯合國提出的可持續發展目標（SDGs），為世界各國提供了一個實現和平繁榮的共同藍圖。這17項目標涵蓋了消除貧困、飢餓、健康、教育、性別平等、清潔水資源、可再生能源等方方面面，致力於在2030年之前實現全球的可持續發展。
韓語課系列文章已經出到第100篇，主要集中在韓語一級程度的教學內容，並向讀者分享了關於學以致用、韓文檢定以及不同程度的語言能力應用。文章中列舉了一級和二級程度的使用範圍，並強調了持續學習的重要性以及韓文能力的實質表現。文章最後推薦了全臺最知名線上課程PPA平臺的優惠預購活動，鼓勵讀者重新開始學習韓文
美國的研究所以其學術卓越和豐富的機會而聞名，但申請過程可能令人望而生畏。這篇文章將解答一些常見的美國研究所申請問題，並提供實用的建議，以幫助您順利申請美國的研究所。
這篇文章探討了財富自由的各種動機和人們對於財富自由心態的應對。金錢、動機、心態等問題被深入探討，並提出瞭如何正視內在的恐懼、尋求真正自由的見解。
這是一個高中生的自律故事，從被手機網路枷鎖住到找回自我，從找藉口到堅持自律，作者經歷了轉變，體會到自律帶來的自由。挑戰自律，讓生活更有意義，讓自己更好。
去年底，孫女出生，回家之後，我對她都講台語，對女兒也講台語，女兒小時候跟阿公在一起，台語大都聽得懂，不懂的會問我，有的詞我會主動再說一遍華語，有時候她會回我台語，就這麼慢慢浸淫其中，不管小孩或大人，多會一種語言，就多一項寶藏，雙語不是只有增加英語一種，台語、各種母語也算。
一、 ２個女兒和兒子時
我漸漸不再滿足於撰寫單篇的文章，而期待自己能有系統的整理這些內容，越寫越長的文章，越來越多的內容，回憶起來在這個時期，臉書提供的環境已經不再適合我。