川普 aka 黃國昌咆哮獸+甩蔥歌(AI SadTalker 將靜態圖像轉成對嘴動畫)

更新於 發佈於 閱讀時間約 3 分鐘

先上個一標準範例:


但我當然不會規規矩矩的這樣子用,又輪到我們的川普上場了:

(川普:幹又是我!)

我想這些軟體作者應該會想殺了我,大家在介紹軟體時都是放一些乾淨漂亮的標準範例,結果我都放一些惡搞的極限使用,一用下去馬上爛給你看。

另外,我怕黃國昌來告我,附上使用素材來源:

黃國昌會唱甩蔥歌的原因是,他答應直播觀眾若有達成特定里程碑的話就會唱一首甩蔥歌來回饋觀眾(自我體罰?)。

除了甩蔥歌之外再加上一些黃國昌質詢時的網路片段,咆哮獸也是黃國昌的外號之一,因為他的質詢特色就是非常的兇悍。


SadTalker簡介:

SadTalker也是一個stable diffusion webUI下的外掛,主要功能是將單張的靜態圖像轉成配合口白聲音檔的對嘴動畫,其實已經有許多付費網站提供類似的功能,使用SadTalker的差別在於可單機執行而且免費,但若論畫面精緻度的話,我覺得還是收費網站好一點。

這類收費網站已經有很多,例如比較早期的知名網站是:d-id

,近期也有很多功能類似的網站出現,例如Artflow,Artflow不只是單純的生成對嘴動畫,還能微調畫面結構與運鏡等等。

總而言之,SadTalker算是一個簡單且免費的小工具,可以玩玩,但若真要拿來工作的話還是稍嫌不足,其精細度不如那些付費網站。

另外,就算是使用付費服務產出來的對嘴動畫,多少還是有些不自然的感覺,有種難以言喻的機械感,這就是目前AI的侷限了,相信未來還會持續進步的。

可以參考民視推出的AI新聞,就算是民視特地用來展示表演的這位AI主播,也仍然有著生硬的機械感:



SadTalker使用說明:

1.安裝

SadTalker的安裝與一般的stable diffusion webUI外掛安裝方式相同,直接在extensions頁籤下搜尋SadTalker即可。

raw-image

2.下載模型檔

接著到這個網址下載必要的模型檔:

https://drive.google.com/file/d/1gwWh45pF7aelNP_P78uDJL8Sycep-K7j/view?usp=sharing

下載後是一個zip檔,解壓縮後將這些檔案放到stable-diffusion-webui資料夾\extensions\SadTalker\checkpoints

raw-image


這是個簡單步驟卻害我卡了一下,因為目前大多數的外掛都已經做到非常懶人的全自動安裝了,我沒預料到還要自己動手下載模型,在那邊瞎按了好幾下還以為是壞了。


3.下載ffmpeg

在預設情況下,SadTalker僅支援wav音效檔,若你需要使用到其它聲音檔,例如mp3,那就要使用到ffmpeg插件。

先到下方網址下載ffmpeg檔案:

https://github.com/BtbN/FFmpeg-Builds/releases

raw-image

下載會後會是一個zip檔,將其解壓縮,並記住檔案路徑。

raw-image


接著將此檔案路徑設置到windows的PATH中,如果是windows 10的話,設置步驟如下:


raw-image
raw-image
raw-image
raw-image
raw-image


4.使用

整套都安裝完成後,在stable diffusion webUI的介面中,會出現一個SadTalker的獨立頁籤。

使用方式很簡單,在左側欄位中,分別傳入一個人臉圖像以及一個聲音檔,然後在右側選擇想要的解析度或設定項,點擊Generate就會產出一個影片檔了。

raw-image



結束,今天一樣只是介紹一個小玩具。


raw-image





avatar-img
277會員
90內容數
沙龍自介: 雜文派,舉凡AI介紹、科技新知、廢談網誌、小說動漫通通都寫。雖說如此,但目前以AI與科技類文章為主軸,我也不知道怎麼變這樣的,holy 媽祖。 本人不喜歡看長篇文章,也不擅長寫長篇文章,我的意思是:我的優點是廢話很少,看我一篇文不會花你太多時間。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
因人廢言 的其他內容
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
今天簡單的介紹一下krea.ai這個網站,主打特色是可以讓你在網站上即時手繪並將你的手繪圖即時轉為美化的AI圖片。 我不知道你的圖畫的爛不爛,反正我是畫的很爛,但這網站可以把我的爛圖救回來而且還很好玩。 krea其實已經出來一陣子了,看一些介紹大致可知它是即時幫你把手繪圖轉成較精緻的AI圖
會想做這個只是最近剛好在玩AnimateDiff,然後也剛好我最近才後知後覺的把半年前流行的動畫「我推的孩子」看完。 本文簡單的展示試玩作品以及使用AnimateDiff時遇到的一些狀況與心得。
今天來介紹一個小玩具,可以簡單的以文字生成影片。 AI影片的生成工具已經發展一段時間了,但以往的效果都不太好,所以我一直都沒介紹。而今天介紹的這個Moonvalley總算是可以無中生有的以純文字來產生短影片了,而且效果還算不錯。 先談談舊工具的常見缺點 我個人將AI影片的發展大致分成三個時期,
DALL·E 3是OpenAI近期推出的繪圖模型,相對於舊版可以說是進步的非常非常多。 目前在微軟的bing與chatGPT Plus中都可以試用DALL·E 3,這篇文章除了簡介DALL·E 3的進步與特性之外,也比較在bing與chatGPT Plus這兩個平台中使用DALL·E 3有何不同?有
本文介紹ReActor這套AI換臉軟體,它是stable diffusion外掛之一,可以視為deepFake與Lora的簡易替代品,易用好上手。 內容從基礎安裝開始講解,亦包含實際操作過程與圖片範例。 為免侵犯敏感人物的肖象權,內文以川普換與拜登做為例子。
2024年了,回顧一下我這整年寫過的文章,也回顧一下我用過的那些AI繪圖工具,2023真的是AI爆發的一年,如今AI工具已然滿大街都是,但這個專題我儘量還是本著初心,只介紹自己覺得有用的工具。 本文精選7個即使歷經一年的AI狂潮洗禮後我仍然覺得值得實用的AI繪圖工具。
今天簡單的介紹一下krea.ai這個網站,主打特色是可以讓你在網站上即時手繪並將你的手繪圖即時轉為美化的AI圖片。 我不知道你的圖畫的爛不爛,反正我是畫的很爛,但這網站可以把我的爛圖救回來而且還很好玩。 krea其實已經出來一陣子了,看一些介紹大致可知它是即時幫你把手繪圖轉成較精緻的AI圖
會想做這個只是最近剛好在玩AnimateDiff,然後也剛好我最近才後知後覺的把半年前流行的動畫「我推的孩子」看完。 本文簡單的展示試玩作品以及使用AnimateDiff時遇到的一些狀況與心得。
今天來介紹一個小玩具,可以簡單的以文字生成影片。 AI影片的生成工具已經發展一段時間了,但以往的效果都不太好,所以我一直都沒介紹。而今天介紹的這個Moonvalley總算是可以無中生有的以純文字來產生短影片了,而且效果還算不錯。 先談談舊工具的常見缺點 我個人將AI影片的發展大致分成三個時期,
DALL·E 3是OpenAI近期推出的繪圖模型,相對於舊版可以說是進步的非常非常多。 目前在微軟的bing與chatGPT Plus中都可以試用DALL·E 3,這篇文章除了簡介DALL·E 3的進步與特性之外,也比較在bing與chatGPT Plus這兩個平台中使用DALL·E 3有何不同?有
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
第60場的《黃翊與庫卡》「文化平權版」 促使黃翊工作室決定未來新作均提供口述影像( audio description )
Thumbnail
生成式AI與以創意為生的「廣告人」,有可能和平共處嗎?使用AI工具幫客戶做行銷企畫,會不會有「偷吃步」的嫌疑?
Thumbnail
Generative AI Platform for Content Creation, SEO and AI Chatbots.
Thumbnail
可能包含敏感內容
在這篇文章中,草莓鍋子分享了自己住院期間的心靈感受,並透過AI技術創作音樂。文章探討了AI在音樂創作中的應用,如何利用AI塑造角色並增進影片的氣氛,並表達對未來技術的期待。透過分享個人經歷,草莓鍋子激發了讀者的想像力,鼓勵大家探索AI音樂的可能性。
Thumbnail
(後設,幽默,極短篇小說 ) 想日更嗎?害怕創作力枯竭?別怕!就讓AI幫你吧! 以下本人(🐱)將示範該如何善用C君(🤖)👇👇👇
郭忠祐-感動的心聲 一个人 恬恬咧吼 為無愛你的人困擾 一個人 默默哭泣 位不愛你的人困擾 阮聽你 慢慢投 哭過的清醒較重要 我們聽你 慢慢說 哭過的清醒較重要 看著你 歡喜甲哭 敢有快樂代誌來到 看著你 高興到哭 難道有快樂的事來到 大聲笑出 攏莫有煩惱 大聲
Thumbnail
對方只有達到他對我單向輸出的作用,而本人想和他溝通「我要的說話模式」就沒有起到反應。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
第60場的《黃翊與庫卡》「文化平權版」 促使黃翊工作室決定未來新作均提供口述影像( audio description )
Thumbnail
生成式AI與以創意為生的「廣告人」,有可能和平共處嗎?使用AI工具幫客戶做行銷企畫,會不會有「偷吃步」的嫌疑?
Thumbnail
Generative AI Platform for Content Creation, SEO and AI Chatbots.
Thumbnail
可能包含敏感內容
在這篇文章中,草莓鍋子分享了自己住院期間的心靈感受,並透過AI技術創作音樂。文章探討了AI在音樂創作中的應用,如何利用AI塑造角色並增進影片的氣氛,並表達對未來技術的期待。透過分享個人經歷,草莓鍋子激發了讀者的想像力,鼓勵大家探索AI音樂的可能性。
Thumbnail
(後設,幽默,極短篇小說 ) 想日更嗎?害怕創作力枯竭?別怕!就讓AI幫你吧! 以下本人(🐱)將示範該如何善用C君(🤖)👇👇👇
郭忠祐-感動的心聲 一个人 恬恬咧吼 為無愛你的人困擾 一個人 默默哭泣 位不愛你的人困擾 阮聽你 慢慢投 哭過的清醒較重要 我們聽你 慢慢說 哭過的清醒較重要 看著你 歡喜甲哭 敢有快樂代誌來到 看著你 高興到哭 難道有快樂的事來到 大聲笑出 攏莫有煩惱 大聲
Thumbnail
對方只有達到他對我單向輸出的作用,而本人想和他溝通「我要的說話模式」就沒有起到反應。