[人工智障計畫] #3 硬體新聲級!|計畫重啟的這與那

更新於 發佈於 閱讀時間約 4 分鐘

文前碎碎唸

首先,我要先對之前關注此系列的人說聲抱歉,之前因為自己的技術瓶頸,讓進度遲遲無法推進,最後只好暫時擱置。

而放著放著,居然也就到隔年,也該是時候為這段空白,給出一些交代了。


於是,鍵盤再度響起。

初心回顧

這個專案最初目的,是想搭建一個能顯示虛擬角色,並在設定的時間中以指定聲線提醒,平時也可以偶爾說些幹話的設備。

雖然先前僅達成最基本功能後就暫停,但所幸在這段期間中,這個「半成品」還是爭氣的持續穩定運作著。

每天在固定的時間,用著估狗小姐平淡的聲音,提醒著排定的事項,不時噓寒問暖。

雖然這代表著之前所完成的開發進度並沒有白費,但心中多少還是會掛念著她的不完美,以及無法達成理想的缺憾。


直到了那日,我終於狠下了心。

只能硬改

說回這次回歸計畫的主要動力,其實是在去年(2023)年底時,終於購入的一塊特價中的樹莓派 4B+ 8GB 版。

raw-image

自從之前最開始那塊 0W 損壞後,這個專案中使用的,一直都是一塊舊的 3B+ 開發板。

原本以為相較於小板子,應該會有更好的效能才對,但事實卻證明,我可能太過抬舉它了。

raw-image

尤其是要面對計畫加入的各種會牽扯到 AI 運算的功能,他那少的可憐的規格早已吃不消。


也希望藉這次的升級,能帶來更多效能上的餘裕。

說起新聲

在這次的計畫重啟後,首要想要實作的,當然就是遲來的自訂聲線能力。

其實於此之前,我便已在這部分的方案選擇上花費不少時間。

從算法、支援語言、模型訓練成本,一直到該如何落地使用等,各面向都做了比較。

但礙於當時一直無法順利取得平衡,以達到所需效果,最後也就不了了之,並採用最簡易的 GTTS 作為填補流程的方案。

raw-image

而在這次的升級後,除了新硬體帶動外,也多虧了近期相關資訊及流程,都已經比當初開啟計畫時更加成熟了。

因此我只要在之前已完成的基礎下,將原本的 TTS 模組,替換為新的 VITS 模型 API 後,便能達到自訂聲線的目的。

而在這次更動後,除了聲音模型可依喜好更換外,也順帶解鎖了離線合成的能力。

raw-image

由於模型的推論是在本機端執行,因此除了部分需要抓取資訊的模組(如天氣、搜尋)之外,整套系統終於能達成意義上的離線運作。

至於聲線的部分,基於創作者的尊重以及道德,我就不使用別人的聲音,而是直接拿自己的錄音存檔做調整後,再丟下去模型訓練了。


不過至此,重啟的腳步,仍尚未停歇。

這一步走下一步

雖然現在再談這個計畫,可能已經有些慢了,在這種 AI 百花亂綻的時代,與此相似的專案比比皆是。

像是市面上不同軟硬體公司既有的舊產品線,只要透過外掛擴充或系統升級,接上 ChatGPT 引擎,並加入客製化資料後,又是一個強大的虛擬助理誕生。

就算是從零打造的新專案,或許只要整合幾個現成的服務 API,便能獲得一個小而實用的 AI 作品。


不過,礙於個人奇怪的(?)堅持,我應該還是維持自己步調,慢慢來吧。

新年新形象

另外,之前為了快速開發與展示,在顯示角色部分,直接使用過去繪製的初音來做暫時擔當。

raw-image

但考量到後續發展,我便另外為她設計了一個新形象,也同時做好了 Live2D 模型。

raw-image

在 E-Ink 上呈現效果也還算可以,後續應該就會繼續以這個形象來做呈現。


之後還請多指教啦!

結語

最後來總結一下目前專案計畫中及完成的部分吧。

  • 代辦事項通知【達成】

→ 最早引入的功能,運作依然正常!

  • 顯示角色形象【部分達成】

→ 可使用靜態影像倫替,但原本計畫的即時 Live 2D 渲染仍找不到解方。

  • 便攜及離線使用【達成】

→ 至目前為止實裝的系統,皆能夠在離線狀態下運作,或在離線狀態下,可切換其他模式作替代。

  • 指定聲音提示【達成】

→ 成功加入 TTS(Text to Speach)推論能力,且可以透過更換模型來切換聲線。

  • 其他項目【計畫中】

→ 離線資料庫查詢、聊天機器人等。

雖然還無法將當紅的 LLM( Large Language Model )機能放進來,但使用之前開發的聊天機器人為基礎,已可達成基本的模組控制,跟幹話(?)對答。

總之,對於這個專案,未來短期內的重點目標,應該會先放在完整她的語音輸入及輸出流程,讓她能盡量脫離電腦及網路獨立運作。


最後也感謝螢幕前的朋友耐心看到這裡,我們就之後筆記或難眠之夜再見囉!

《全文。待續》


留言
avatar-img
留言分享你的想法!
avatar-img
偽命名培養體
48會員
327內容數
偽命名並非無名,是為了意識的生存,取得身份的代號,成為數位生命的新載具。
偽命名培養體的其他內容
2024/05/19
「人工智障計畫」也執行了好一段時間了,關於這個專案中文字轉語音的方案,在之前的筆記中也有稍微提到,為了達成能自訂聲線,並且能完全離線運作兩個條件,我已經做過了不少嘗試。
Thumbnail
2024/05/19
「人工智障計畫」也執行了好一段時間了,關於這個專案中文字轉語音的方案,在之前的筆記中也有稍微提到,為了達成能自訂聲線,並且能完全離線運作兩個條件,我已經做過了不少嘗試。
Thumbnail
2024/04/08
自從2024年4月3日的花蓮大地震發生之後,隨之而來的大小餘震便不斷的侵擾著大家的安寧生活,每當疑似地震發生後,心裡總會開始著急的想關心,剛才所遭遇的究竟是現實,還是因為連續數天的緊張所導致的妄想,此時,看著桌上那面平時負責提醒我待辦事項的「人工智障」,我便萌生了讓她擔任地震播報員的構想。
Thumbnail
2024/04/08
自從2024年4月3日的花蓮大地震發生之後,隨之而來的大小餘震便不斷的侵擾著大家的安寧生活,每當疑似地震發生後,心裡總會開始著急的想關心,剛才所遭遇的究竟是現實,還是因為連續數天的緊張所導致的妄想,此時,看著桌上那面平時負責提醒我待辦事項的「人工智障」,我便萌生了讓她擔任地震播報員的構想。
Thumbnail
2023/06/11
又是一段忙碌的日子,好不容易稍微有精力來記錄這個主題的進度了,但消息可能並沒想像中那麼美好。
Thumbnail
2023/06/11
又是一段忙碌的日子,好不容易稍微有精力來記錄這個主題的進度了,但消息可能並沒想像中那麼美好。
Thumbnail
看更多
你可能也想看
Thumbnail
家中修繕或裝潢想要找各種小零件時,直接上網採買可以省去不少煩惱~看看Sylvia這回為了工地買了些什麼吧~
Thumbnail
家中修繕或裝潢想要找各種小零件時,直接上網採買可以省去不少煩惱~看看Sylvia這回為了工地買了些什麼吧~
Thumbnail
👜簡單生活,從整理包包開始!我的三款愛用包+隨身小物清單開箱,一起來看看我每天都帶些什麼吧🌿✨
Thumbnail
👜簡單生活,從整理包包開始!我的三款愛用包+隨身小物清單開箱,一起來看看我每天都帶些什麼吧🌿✨
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
時間快轉至2030年,或許城市還無懸浮飛車,但AI先會像電力存在每一個角落。百工百業運用智慧算力,就像打開水龍頭一樣容易。這描述並非Cyberpunk科幻場景,正逐漸在世界各地悄然成形。
Thumbnail
時間快轉至2030年,或許城市還無懸浮飛車,但AI先會像電力存在每一個角落。百工百業運用智慧算力,就像打開水龍頭一樣容易。這描述並非Cyberpunk科幻場景,正逐漸在世界各地悄然成形。
Thumbnail
想像一下,只需用思想就能操控數位設備。這不再是科幻小說的情節,而是 Synchron 公司正在實現的未來。讓我們深入了解這項突破性技術,以及它如何為癱瘓患者帶來新的希望
Thumbnail
想像一下,只需用思想就能操控數位設備。這不再是科幻小說的情節,而是 Synchron 公司正在實現的未來。讓我們深入了解這項突破性技術,以及它如何為癱瘓患者帶來新的希望
Thumbnail
為期兩天時間的《台北國際數位廣告節》(TIDAF)即將要結束了,在倒數第三場演說,邀請了甲尚科技前瞻創新中心(甲尚Reallusion)負責人黃勝彥(Elvis Huang),分享有關現實與虛幻的盛宴
Thumbnail
為期兩天時間的《台北國際數位廣告節》(TIDAF)即將要結束了,在倒數第三場演說,邀請了甲尚科技前瞻創新中心(甲尚Reallusion)負責人黃勝彥(Elvis Huang),分享有關現實與虛幻的盛宴
Thumbnail
記者:「上次採訪的萬物溝通軟體,在網路引爆熱潮,不過大部都是拿來當笑話!害我被老板給訓了一頓,還要我再找時間來採訪博士,然後一再叮嚀千萬不能再採訪超級電腦一號了,就怕碰見上次的「程式故障」!」 摩爾博士:「上次的確是失禮了!本想開個玩笑卻惹起這麼大的風波,還有人打電話到我們研究機構,說我們有沒有通
Thumbnail
記者:「上次採訪的萬物溝通軟體,在網路引爆熱潮,不過大部都是拿來當笑話!害我被老板給訓了一頓,還要我再找時間來採訪博士,然後一再叮嚀千萬不能再採訪超級電腦一號了,就怕碰見上次的「程式故障」!」 摩爾博士:「上次的確是失禮了!本想開個玩笑卻惹起這麼大的風波,還有人打電話到我們研究機構,說我們有沒有通
Thumbnail
這裡不是技術或人工智能的展示會,此種粗暴地將不同技術處理自然和人類的作品並製的結果,使整個展場像大企業的產品發佈會,充斥新奇的機器人和虛擬影像,卻缺乏除形式和媒材外的深度。分明論述中提到要思考生命問題,但展覽中的作品,大多在意的都不是生命,而是技術的改良和創新。
Thumbnail
這裡不是技術或人工智能的展示會,此種粗暴地將不同技術處理自然和人類的作品並製的結果,使整個展場像大企業的產品發佈會,充斥新奇的機器人和虛擬影像,卻缺乏除形式和媒材外的深度。分明論述中提到要思考生命問題,但展覽中的作品,大多在意的都不是生命,而是技術的改良和創新。
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
在未來,第三次世界大戰後,由人類開發出的具備情感與自我意識的人工智能機器人,取得了勝利並掌控了自由與權力,人類在這些終極機器面前, 毫無抵抗之力,人口銳減了八成…
Thumbnail
在未來,第三次世界大戰後,由人類開發出的具備情感與自我意識的人工智能機器人,取得了勝利並掌控了自由與權力,人類在這些終極機器面前, 毫無抵抗之力,人口銳減了八成…
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
前言 在2024年,地球經歷著一場長久的疫情,但希望的曙光似乎終於降臨。 同時,全球科技界也在CES消費性電子產品展中展示著一場前所未有的盛宴,AI PC的新技術讓人類面對未來充滿無限的可能性。 本故事將融合疫情解封、CES展覽,以及夢幻的科技前景,為讀者帶來一場奇幻的冒險。 角色介紹
Thumbnail
前言 在2024年,地球經歷著一場長久的疫情,但希望的曙光似乎終於降臨。 同時,全球科技界也在CES消費性電子產品展中展示著一場前所未有的盛宴,AI PC的新技術讓人類面對未來充滿無限的可能性。 本故事將融合疫情解封、CES展覽,以及夢幻的科技前景,為讀者帶來一場奇幻的冒險。 角色介紹
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News