[人工智障計畫] #2 生存報告 | 展示、代辦、提醒
閱讀時間約 5 分鐘
文前碎碎念
又好一段時間沒更新這個專案了，近期因為正職工作的關係，較難整理過於瑣碎的開發進度。
回顧前一陣子，我因為一則推特上無意間滑到的討論，而開啟了這個「人工智障計畫」。
而這個計畫主要目標，是要開發一個能夠呈現虛擬角色，並在固定時間，用自己想要的聲線提醒代辦事項的小裝置。
不過近期隨著 GPT 應用越來越廣泛，網路上也已經陸續有不少目的相似，但功能卻更強大的作品相繼出現。
但我會開啟這個專案的目的，本來就是以技術學習為主，所以基本上，也不大需要去與他們一較高下。
不過像這樣相關作品的產出速度之快，也讓我不得不佩服 AI 技術的發展，對產品的加速開發，帶來這麼大的幫助。
回歸正題，經過這些時日，以及數個難眠之頁的 摧殘 開發，這個專案至目前為止，也已經有一些初步的成果，正準備往更複雜的階段邁進。
不如就趁現在來個進度報告吧！
幫我記一下
硬體的部分，在上一篇公開的「人工智障計畫」紀錄中已經稍微提過了，所以這次主要以目前的軟體進度為主。
首先是最主要的代辦事項紀錄功能，由於設備整體上並沒有預留作為輸入的介面，因此操作主要是以 Wifi 區網直接連接後台的方式進行。
成功連線後，就可以透過內建的網頁介面進行事項的輸入，以及硬體的電源控制，像是關機、重啟等。
代辦事項的紀錄，為了程式的可攜性，以及達成離線也能運作的目的，目前也都是以內建的儲存介面為主，至於後續是否會加入其他記事 API 的串連，如 Google Calander 等線上服務，就要視狀況再決定。
與你相連的距離
另外，鑑於之前開發時有出現網路連接不穩的情況，因此將機器設置為偵測到網路中斷後，便會自行啟動熱點的模式，以避免在無網路環境下無法控制設備。
系統在斷線後，也會定時檢查環境中 Wifi 可用性，當有紀錄中存在的訊號出現時便會再度連線，這部分設置要感謝網路上有人提供的快速解決方案，相關操作及資料可參閱此篇公開部分。
活在畫框中的你
角色展示部分，原本在設計上是想以程式化的方式，直接擷取 Live2D 模型的靜態圖像，疊合背景後來進行展示，但卻在處理 SDK 時遇到了一些瓶頸。
畢竟 Live2D 本身也還是閉源技術，在使用上的限制也較多，再加上確認實際在電子紙螢幕上運作所呈現的效果後，目前暫調整為以預擷取的靜態圖像，直接疊合背景跟 UI 圖示來繪製畫面。
吵得你心裡發慌
前面有提到此專案的目標之一，是要能夠定時提醒代辦事項，所以當然少不了要發出語音的功能。
但由於目前開發還沒到達那個進度，因此就暫且使用最常見，也是最垂手可得的 Google 小姐套件來為她發聲。
另外作為備案，專案中也引入基礎的 espeak 套件，以及自行撰寫，能根據文字轉換成陶笛音調的功能，以保證系統在離線狀態下也還能發聲。
不過，未來當然還是希能借助一些 AI 的魔法，來將輸出的ㄩ語音轉換成自己喜歡的聲線。
意外還是幸運
在前期開發過程中，有發生一個蠻大的插曲，其實在一開始計畫這個專案的時候，原本是預計使用一塊 Pi 0 W 一代電腦為主要核心，但板子卻在中途因不明因素損壞，以致於原本進度被迫中斷。
為了完成後續開發，我也不得不拆解過去成品，並將現有系統轉移到另一塊 Pi 3 B+ 主板上。
也不知道這個意外到底是幸或不幸，雖然犧牲了一點原本的便攜性，以及背面的邊框支撐需要重新設計，但至少接下來的軟體開發上，會有更多的硬體資源可以使用。
不過也因為更換後的主板，本身就具備有較完整的連接埠，除了可以直接使用外接喇叭來發聲，不需要浪費空間來連接外接音效卡之外，必要時也能直接連接普通螢幕作為除錯操作，更便利的操作可能也算因禍得福⋯吧。
下一步又是如何
至此再整理一次所期望的功能，以及目前已達成之進度列表
- 代辦事項紀錄
→ 【達成】可藉後台輸入代辦事項，並可由前台顯示指定時間內將到期之項目。
- 顯示角色形象
→ 【部分達成】目前可做到程式化控制角色立繪的變換，但 L2D 模型使用上遇到技術困難，需另尋替代。
- 便攜及離線使用
→ 【部分達成】至目前為止實裝的系統，皆能夠在離線狀態下運作，或在離線狀態下，可切換其他替代模式替代。
- 指定聲音提示
→ 【執行中】為下一階段開發主要方向，目前暫時以現成套件作為測試。
- 其他項目（聊天機器人、資訊預報等）
→ 【計畫中】暫時使用過去基本問答核心為基礎，進階部分待主功能完成後再考慮。
結語
接下來的工作，沒意外的話就是要開始研究文字轉語音，或音色複製相關的技術實作了，希望以我自己目前的能力，還能應付的過去。
不過依照目前情況，以及硬體資源來看，如果真要加入 AI 相關功能的話，應該也很難繼續維持離線運作的特性。
未來細部的開發進度，還是會逐步以訂閱式的「難眠之頁」或是新的「沙龍討論」方式更新，也歡迎有興趣的朋友參考囉。
最後也希望後續開發能順利進行吧。
《全文。待續》
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
下游任務是一個 Fine-Tuned 的 Transformer 任務，它從預先訓練的 Transformer 模型繼承模型和參數，故，下游任務是運行微調任務的預訓練模
背後的機制是： 人類用戶：設定目標 AI Agent：定義任務排序任務 (Defining and Sequencing Tasks)，執行任務 (Task Execution)，評估 (Evaluation) 而這途中，AI Agent可以使用大語言模型，可以使用網路，可以使用其他工具。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer模型驅動的人工智慧正在將無所不在的一切連接起來，機器直接與其他機器通訊，人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
這篇文章描述了作者從兼職開發轉為全職開發的過程，並分享了從混進學界指日可待的積極態度。作者也提及自己在專案製作與個人生活上的矛盾與感想，最後分享了專案管理和敏捷開發相關的文章與影片。
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
嗨，我是tzu
開課到現在快兩個月了，這個月最大的挑戰是: !!! 個人專案 !!!!
每天都被各種bug折磨到心力憔悴🥲
我的個專---「主動 」與你互動的ai女友。
以下是流程圖
主要透過unity 與 azure ai - gpt 3.5 串聯，搭配webcam偵測使用者的動作
我知道這些ai開發者想做什麼了！？
我不知道這個是好事，還是壞事，總之好的方面，這是給予我們更大的方便。
事情是這樣，我剛好處理著一份民宿的工作。所以會有大量的房間記錄，以及大量不定的任務。所以我就想，讓ai（模型我就不介紹了，是給開發者用的。）然後它完成的任務不夠完美，所以我就讓他finetu
一家名為Figure的新創公司於本週三發布了一段令人印象深刻的影片，展示了他們與OpenAI合作後的最新成果。在這段影片中，名為Figure 01的人形機器人展示了與人類的交流能力和任務執行能力。
影片中，Figure 01機器人被要求執行各種任務，例如回應一般性的指令，如提供食物或清理垃圾。
第 19 天：使用 ChatGPT 完成了哪 3 個任務？
這幾年真的人人都在討論 AI，在我工作的產業裡，也有不少設計師擔心未來會被 AI 取代。
但我認為，AI 就像一個得力助手，可以幫助人們更快完成庶務，給我們更多時間思考更多可能～
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
下游任務是一個 Fine-Tuned 的 Transformer 任務，它從預先訓練的 Transformer 模型繼承模型和參數，故，下游任務是運行微調任務的預訓練模
背後的機制是： 人類用戶：設定目標 AI Agent：定義任務排序任務 (Defining and Sequencing Tasks)，執行任務 (Task Execution)，評估 (Evaluation) 而這途中，AI Agent可以使用大語言模型，可以使用網路，可以使用其他工具。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer模型驅動的人工智慧正在將無所不在的一切連接起來，機器直接與其他機器通訊，人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
這篇文章描述了作者從兼職開發轉為全職開發的過程，並分享了從混進學界指日可待的積極態度。作者也提及自己在專案製作與個人生活上的矛盾與感想，最後分享了專案管理和敏捷開發相關的文章與影片。
最近接了一個AI專案，客戶要求以AI方式實現節能功能，以下提供我的專案思考軌跡：
面對這樣的技術，我第一個想到使用Reinforcement Learning技術，然而這裡我思考一件事，這個專案是要幫助客戶賺錢的，在沒有Digital Twin的搭配之下，貿然使用Reinforcement L
嗨，我是tzu
開課到現在快兩個月了，這個月最大的挑戰是: !!! 個人專案 !!!!
每天都被各種bug折磨到心力憔悴🥲
我的個專---「主動 」與你互動的ai女友。
以下是流程圖
主要透過unity 與 azure ai - gpt 3.5 串聯，搭配webcam偵測使用者的動作
我知道這些ai開發者想做什麼了！？
我不知道這個是好事，還是壞事，總之好的方面，這是給予我們更大的方便。
事情是這樣，我剛好處理著一份民宿的工作。所以會有大量的房間記錄，以及大量不定的任務。所以我就想，讓ai（模型我就不介紹了，是給開發者用的。）然後它完成的任務不夠完美，所以我就讓他finetu
一家名為Figure的新創公司於本週三發布了一段令人印象深刻的影片，展示了他們與OpenAI合作後的最新成果。在這段影片中，名為Figure 01的人形機器人展示了與人類的交流能力和任務執行能力。
影片中，Figure 01機器人被要求執行各種任務，例如回應一般性的指令，如提供食物或清理垃圾。
第 19 天：使用 ChatGPT 完成了哪 3 個任務？
這幾年真的人人都在討論 AI，在我工作的產業裡，也有不少設計師擔心未來會被 AI 取代。
但我認為，AI 就像一個得力助手，可以幫助人們更快完成庶務，給我們更多時間思考更多可能～