[人工智障計畫] #3 硬體新聲級!|計畫重啟的這與那

閱讀時間約 4 分鐘

文前碎碎唸

首先,我要先對之前關注此系列的人說聲抱歉,之前因為自己的技術瓶頸,讓進度遲遲無法推進,最後只好暫時擱置。

而放著放著,居然也就到隔年,也該是時候為這段空白,給出一些交代了。


於是,鍵盤再度響起。

初心回顧

這個專案最初目的,是想搭建一個能顯示虛擬角色,並在設定的時間中以指定聲線提醒,平時也可以偶爾說些幹話的設備。

雖然先前僅達成最基本功能後就暫停,但所幸在這段期間中,這個「半成品」還是爭氣的持續穩定運作著。

每天在固定的時間,用著估狗小姐平淡的聲音,提醒著排定的事項,不時噓寒問暖。

雖然這代表著之前所完成的開發進度並沒有白費,但心中多少還是會掛念著她的不完美,以及無法達成理想的缺憾。


直到了那日,我終於狠下了心。

只能硬改

說回這次回歸計畫的主要動力,其實是在去年(2023)年底時,終於購入的一塊特價中的樹莓派 4B+ 8GB 版。

raw-image

自從之前最開始那塊 0W 損壞後,這個專案中使用的,一直都是一塊舊的 3B+ 開發板。

原本以為相較於小板子,應該會有更好的效能才對,但事實卻證明,我可能太過抬舉它了。

raw-image

尤其是要面對計畫加入的各種會牽扯到 AI 運算的功能,他那少的可憐的規格早已吃不消。


也希望藉這次的升級,能帶來更多效能上的餘裕。

說起新聲

在這次的計畫重啟後,首要想要實作的,當然就是遲來的自訂聲線能力。

其實於此之前,我便已在這部分的方案選擇上花費不少時間。

從算法、支援語言、模型訓練成本,一直到該如何落地使用等,各面向都做了比較。

但礙於當時一直無法順利取得平衡,以達到所需效果,最後也就不了了之,並採用最簡易的 GTTS 作為填補流程的方案。

raw-image

而在這次的升級後,除了新硬體帶動外,也多虧了近期相關資訊及流程,都已經比當初開啟計畫時更加成熟了。

因此我只要在之前已完成的基礎下,將原本的 TTS 模組,替換為新的 VITS 模型 API 後,便能達到自訂聲線的目的。

而在這次更動後,除了聲音模型可依喜好更換外,也順帶解鎖了離線合成的能力。

raw-image

由於模型的推論是在本機端執行,因此除了部分需要抓取資訊的模組(如天氣、搜尋)之外,整套系統終於能達成意義上的離線運作。

至於聲線的部分,基於創作者的尊重以及道德,我就不使用別人的聲音,而是直接拿自己的錄音存檔做調整後,再丟下去模型訓練了。


不過至此,重啟的腳步,仍尚未停歇。

這一步走下一步

雖然現在再談這個計畫,可能已經有些慢了,在這種 AI 百花亂綻的時代,與此相似的專案比比皆是。

像是市面上不同軟硬體公司既有的舊產品線,只要透過外掛擴充或系統升級,接上 ChatGPT 引擎,並加入客製化資料後,又是一個強大的虛擬助理誕生。

就算是從零打造的新專案,或許只要整合幾個現成的服務 API,便能獲得一個小而實用的 AI 作品。


不過,礙於個人奇怪的(?)堅持,我應該還是維持自己步調,慢慢來吧。

新年新形象

另外,之前為了快速開發與展示,在顯示角色部分,直接使用過去繪製的初音來做暫時擔當。

raw-image

但考量到後續發展,我便另外為她設計了一個新形象,也同時做好了 Live2D 模型。

raw-image

在 E-Ink 上呈現效果也還算可以,後續應該就會繼續以這個形象來做呈現。


之後還請多指教啦!

結語

最後來總結一下目前專案計畫中及完成的部分吧。

  • 代辦事項通知【達成】

→ 最早引入的功能,運作依然正常!

  • 顯示角色形象【部分達成】

→ 可使用靜態影像倫替,但原本計畫的即時 Live 2D 渲染仍找不到解方。

  • 便攜及離線使用【達成】

→ 至目前為止實裝的系統,皆能夠在離線狀態下運作,或在離線狀態下,可切換其他模式作替代。

  • 指定聲音提示【達成】

→ 成功加入 TTS(Text to Speach)推論能力,且可以透過更換模型來切換聲線。

  • 其他項目【計畫中】

→ 離線資料庫查詢、聊天機器人等。

雖然還無法將當紅的 LLM( Large Language Model )機能放進來,但使用之前開發的聊天機器人為基礎,已可達成基本的模組控制,跟幹話(?)對答。

總之,對於這個專案,未來短期內的重點目標,應該會先放在完整她的語音輸入及輸出流程,讓她能盡量脫離電腦及網路獨立運作。


最後也感謝螢幕前的朋友耐心看到這裡,我們就之後筆記或難眠之夜再見囉!

《全文。待續》


44會員
240內容數
偽命名並非無名,是為了意識的生存,取得身份的代號,成為數位生命的新載具。
留言0
查看全部
發表第一個留言支持創作者!
偽命名培養體 的其他內容
又是一段忙碌的日子,好不容易稍微有精力來記錄這個主題的進度了,但消息可能並沒想像中那麼美好。
又好一段時間沒更新這個專案了,近期因為正職工作的關係,較難整理過於瑣碎的開發進度。
嗯⋯這個專案,確實發生了不妙的事情,其實近日來,我都會將這台半成品實際帶到辦公室去,一方面測試穩定性,一方面發覺新需求,直到某天⋯
繼上一步完成了後台及基本控制選項後,接下來就該來正式將前後台做個連結了,不過在此之前,我們先來確立一下前後端所各自扮演的角色。
其實要為專案建立操作介面的方式很多,除了網頁之外,還能另外寫個專門的手機 APP 連線,或是乾脆升級算法,讓我們能隨口喊一聲「嘿OO!」就搞定,不過⋯
嗯,就像我們前面提到,以現在狀態要直接操作這個裝置是十分困難的,所以勢必還得為它打造一個可供操作的介面,但在那之前⋯
又是一段忙碌的日子,好不容易稍微有精力來記錄這個主題的進度了,但消息可能並沒想像中那麼美好。
又好一段時間沒更新這個專案了,近期因為正職工作的關係,較難整理過於瑣碎的開發進度。
嗯⋯這個專案,確實發生了不妙的事情,其實近日來,我都會將這台半成品實際帶到辦公室去,一方面測試穩定性,一方面發覺新需求,直到某天⋯
繼上一步完成了後台及基本控制選項後,接下來就該來正式將前後台做個連結了,不過在此之前,我們先來確立一下前後端所各自扮演的角色。
其實要為專案建立操作介面的方式很多,除了網頁之外,還能另外寫個專門的手機 APP 連線,或是乾脆升級算法,讓我們能隨口喊一聲「嘿OO!」就搞定,不過⋯
嗯,就像我們前面提到,以現在狀態要直接操作這個裝置是十分困難的,所以勢必還得為它打造一個可供操作的介面,但在那之前⋯
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
「聽好多人在用AI賺錢、經營副業,但我卻不知該如何下手…… 不然來試試看好了🔥 奇怪!他產出來的東西,品質不好,哪裡能直接用? 這是人工智慧嗎? 根本是人工智障吧!」 不知道你有沒有這種經驗呢? —- 一開始玩Notion AI時, 我總覺得他產出的品質,接近垃圾。 但認真相處4個月後,終於抓到使
Thumbnail
生活之中被賦予第二生命就屬自身的愛車「金園 x Golden Garden」掀開淡金不銹鋼掛畫,替人工技藝的冷冽找尋愛車的注腳。 寫實的木板畫結合現代藝術品,留下默契與伴隨的蹤跡,讓「金園 x Golden Garden」乘載出專屬的瑰麗回憶。
當一件事沒有照我們想的完成或拖延時,是否常會有種對自己的厭惡感?也有可能隨之而來的責罵或是處罰,讓我們誤以為就是因為我們沒做好A而得到B這個想法。
Thumbnail
「香氛」,是人類探索環境很重要的一種感受來源,現今生活環境中充滿了各式各樣的香氛,但有點可惜的是,自然香氛越來越少而人工香氛卻越來越多。各種香氛越來越強烈、越來越持久,這對人類來說真的不是好事。在老子道德經中有提及『五色令人目盲,五音令人耳聾,五味令人口爽。』也就是很好的提醒。
Thumbnail
各位讀者你好,這是我第一次在這平台上發文,小弟是一位高中生即將升上大學,對電腦科技極為著迷,以後也想選資工系,現在靠著影片和書籍自學,沒有一個比較有系統性的學習,所以可能會有些錯誤,也請各位讀者指教。 從以前的石器、鐵器時代到現在資訊爆炸的年代,我們的生活已經變得截然不同,不再需要為了取水、食物這些
Thumbnail
人工關節是將人體因各種疾病或意外傷害造成無法使用的關節,以外科手術的方法予以置換的人工植入物,例如膝關節、髖(股)關 節、肩關節、肘關節、腕關節、踝關節 、指關節,甚至連脊椎的關節都已可以置換,較常見的部位為膝、髖及肩、肘等。 1960年代,英國醫生 John Chamley 研發了第一個人造關節,
Thumbnail
結婚幾年,還是沒有懷上寶寶。眼看朋友一個個傳來好消息,而自己即使有請中醫師調理身體仍未懷孕,也開始有點焦急了。雖然說生孩子是看緣份,但有些事情是否能再努力一下呢? 如果寶寶速速報到當然最好,不然計劃懷孕是件很累的事。要自然懷孕勞心勞力,生活的一切彷彿變成懷孕先決。突然間,夫妻變成同事,擬定時間表、商
人工運河平靜得像幅畫 藍天刷上淡淡白雲停止時間 微風悄悄擦肩堤岸樹木 漿果滿地踩出哀怨聲音 蟬叫決定更加高亢
一樣是「個人實相的本質」57,這一段講得非常精彩(非常值得一聽再聽) 這世界太多的人工罪惡感,以致於讓我們常常淪於批判自己、否定自己… 而且在這宇宙並沒有所謂「懲罪」的概念…所有的只是「反省的一刻」這件事… 為的只是讓我們在遇到相類似的情境時,可以再重新做出選擇,而不是老是撞牆 只是為了「提醒」的功
人工植牙是什麼?我想讓我的牙齒變得更整齊,並且改善缺牙齒會漏風的情況,不過很多人想做植牙,卻總是猶豫不決的原因是,因為人工植牙會需要靠手術去進行,因此植牙後遺症常常是我們會擔心的問題,想知道人工植牙究竟是怎麼做到的呢?讓博仁綜合醫院牙科部為你做個簡單的介紹! 人工植牙它的優點是,能夠完善的補足多處缺
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
「聽好多人在用AI賺錢、經營副業,但我卻不知該如何下手…… 不然來試試看好了🔥 奇怪!他產出來的東西,品質不好,哪裡能直接用? 這是人工智慧嗎? 根本是人工智障吧!」 不知道你有沒有這種經驗呢? —- 一開始玩Notion AI時, 我總覺得他產出的品質,接近垃圾。 但認真相處4個月後,終於抓到使
Thumbnail
生活之中被賦予第二生命就屬自身的愛車「金園 x Golden Garden」掀開淡金不銹鋼掛畫,替人工技藝的冷冽找尋愛車的注腳。 寫實的木板畫結合現代藝術品,留下默契與伴隨的蹤跡,讓「金園 x Golden Garden」乘載出專屬的瑰麗回憶。
當一件事沒有照我們想的完成或拖延時,是否常會有種對自己的厭惡感?也有可能隨之而來的責罵或是處罰,讓我們誤以為就是因為我們沒做好A而得到B這個想法。
Thumbnail
「香氛」,是人類探索環境很重要的一種感受來源,現今生活環境中充滿了各式各樣的香氛,但有點可惜的是,自然香氛越來越少而人工香氛卻越來越多。各種香氛越來越強烈、越來越持久,這對人類來說真的不是好事。在老子道德經中有提及『五色令人目盲,五音令人耳聾,五味令人口爽。』也就是很好的提醒。
Thumbnail
各位讀者你好,這是我第一次在這平台上發文,小弟是一位高中生即將升上大學,對電腦科技極為著迷,以後也想選資工系,現在靠著影片和書籍自學,沒有一個比較有系統性的學習,所以可能會有些錯誤,也請各位讀者指教。 從以前的石器、鐵器時代到現在資訊爆炸的年代,我們的生活已經變得截然不同,不再需要為了取水、食物這些
Thumbnail
人工關節是將人體因各種疾病或意外傷害造成無法使用的關節,以外科手術的方法予以置換的人工植入物,例如膝關節、髖(股)關 節、肩關節、肘關節、腕關節、踝關節 、指關節,甚至連脊椎的關節都已可以置換,較常見的部位為膝、髖及肩、肘等。 1960年代,英國醫生 John Chamley 研發了第一個人造關節,
Thumbnail
結婚幾年,還是沒有懷上寶寶。眼看朋友一個個傳來好消息,而自己即使有請中醫師調理身體仍未懷孕,也開始有點焦急了。雖然說生孩子是看緣份,但有些事情是否能再努力一下呢? 如果寶寶速速報到當然最好,不然計劃懷孕是件很累的事。要自然懷孕勞心勞力,生活的一切彷彿變成懷孕先決。突然間,夫妻變成同事,擬定時間表、商
人工運河平靜得像幅畫 藍天刷上淡淡白雲停止時間 微風悄悄擦肩堤岸樹木 漿果滿地踩出哀怨聲音 蟬叫決定更加高亢
一樣是「個人實相的本質」57,這一段講得非常精彩(非常值得一聽再聽) 這世界太多的人工罪惡感,以致於讓我們常常淪於批判自己、否定自己… 而且在這宇宙並沒有所謂「懲罪」的概念…所有的只是「反省的一刻」這件事… 為的只是讓我們在遇到相類似的情境時,可以再重新做出選擇,而不是老是撞牆 只是為了「提醒」的功
人工植牙是什麼?我想讓我的牙齒變得更整齊,並且改善缺牙齒會漏風的情況,不過很多人想做植牙,卻總是猶豫不決的原因是,因為人工植牙會需要靠手術去進行,因此植牙後遺症常常是我們會擔心的問題,想知道人工植牙究竟是怎麼做到的呢?讓博仁綜合醫院牙科部為你做個簡單的介紹! 人工植牙它的優點是,能夠完善的補足多處缺