📘 《AI 時代系列（6）：進階通訊工程——邁向2035年太空星鏈網路時代》
📘 第 8周: 📱 從小晶片到手機：嵌入式、Android 與 IoT × AI
IoT × MCU × Android × TinyML 完整實戰
79／150單元： TinyML 🤏🤖
在小晶片上跑 AI —— MCU × Edge × 超低功耗智慧推論**
________________________________________
🎯 單元導讀
當世界都在談 GPU、TPU、雲端推論、百億參數模型時，
真正讓 AI 滲透到工廠、醫療、城市、農業、星鏈 NTN 的力量，
其實是——
⭐「跑在 MCU（1～2 美金晶片）上的 TinyML。」
TinyML 的任務是：
✔ 在毫瓦級功耗中運行 AI
✔ 只用 KB～MB 等級的記憶體
✔ 完成 1–10 ms 本地推論
✔ 不依賴雲端、不靠高頻寬
一句話：
TinyML = 把 AI 從資料中心縮到指甲大小的晶片上。
________________________________________
🧠 一、TinyML 是什麼？（真正的定義）
TinyML 並不是小版本的 AI，
而是一個「完整的嵌入式 AI 工程領域」：
包括：
🔹 模型訓練（在 PC/雲端）
🔹 模型壓縮（quantize / prune）
🔹 MCU 最佳化（CMSIS-NN、TFLite Micro）
🔹 超低功耗排程（deep sleep + trigger）
🔹 OTA 模型更新
TinyML 的本質：
⭐ 在傳統微控制器（MCU）上做 AI 推論，而非建模。
常用 MCU：
• ARM Cortex-M0/M3（低功耗）
• Cortex-M4/M7（DSP + FFT 加速）
• ESP32（Wi-Fi/BLE）
• STM32（工業級）
________________________________________
🧠 二、為何 TinyML 是 IoT × 6G × NTN 的核心？
IoT 遇到五個痛點：
❌ 原始資料太大 → NB-IoT 無法承載
❌ 雲端延遲高 → 工控、醫療無法等待
❌ 電池撐不久 → 設備一年就沒電
❌ 資料外流 → 隱私風險
❌ 偏鄉無網 → 無法回傳
TinyML 逐一解決：
✔ 在本地完成推論（1–10ms）
✔ 只上傳 結果（1–2 bytes） 節省 100～1000× 流量
✔ 超低功耗（μW~mW）提升電池壽命到 6–36 個月
✔ 資料不外流 → 更安全、更隱私
✔ NTN（衛星 NB-IoT）可穩定工作
一句話：
真正讓 6G × NTN × IoT 成形的，是 TinyML。
________________________________________
🧠 三、TinyML 如何在沒有 GPU 的 MCU 上工作？
MCU 只有：
• RAM：10 KB～512 KB
• Flash：128 KB～4 MB
• CPU：48 MHz～240 MHz
• 無 GPU / TPU
• 浮點運算很慢
但依然能跑 AI。靠五大技術：
________________________________________
⭐ 1️⃣ 量化（Quantization）
float32 → int8
效果：
✔ 模型縮小 4×
✔ 推論速度 3–8×
✔ 功耗 ↓60–80%
→ TFLite Micro 的核心功能
________________________________________
⭐ 2️⃣ 剪枝（Pruning）
移除不重要的權重
效果：
✔ 降低運算量
✔ 降低記憶體
✔ 模型稀疏可加速
常見 50–90% 剪枝量。
________________________________________
⭐ 3️⃣ 特徵工程（Feature Extract）
讓 MCU 處理「更小」的資料：
音訊 → MFCC
IMU → window + features
影像 → 32×32 grayscale
目標：降低模型輸入維度。
________________________________________
⭐ 4️⃣ MCU 最佳化 Kernel（CMSIS-NN）
ARM 官方提供最佳化運算：
• int8 Conv
• int8 Dense
• FFT
→ Cortex-M4/M7 速度大幅提升
________________________________________
⭐ 5️⃣ 小型網路架構
TinyML 常用：
• Depthwise CNN
• DS-CNN
• Micro-ResNet
• 1D-CNN（IMU）
• 小型 RNN/GRU
模型尺寸 5KB～200KB。
________________________________________
🧠 四、TinyML 的實際應用（產業級案例）
⭐（1）音訊 AI
• Wake Word（Hey Siri 類）
• 咳嗽/呼吸辨識
• 機械異音偵測
• 玻璃破裂警報
________________________________________
⭐（2）IMU（加速度計）
• 姿勢辨識
• 跌倒偵測
• 馬達震動異常
• 手勢控制
________________________________________
⭐（3）影像（低解析度）
• 火焰偵測
• 人/非人分類
• 入侵偵測
• 物件存在/缺料偵測
________________________________________
⭐（4）IoT × NB-IoT × LEO/NTN
TinyML 幫助：
✔ 大幅減少 uplink
✔ 只送結果，即使衛星 NB-IoT 也能撐
一句話：
TinyML 讓 IoT 能在沒有網路或低網路下依然工作。
________________________________________
🧠 五、TinyML 開發流程（工程完整版）
1. 資料收集（音訊/IMU/影像）
2. 雲端/PC 訓練（TF/PyTorch）
3. 模型壓縮（Quantize/Prune）
4. 匯出 TFLite Micro / CMSIS-NN
5. MCU 開發（C/C++）
6. 現場測試（1–10ms 推論）
7. OTA 模型更新（差分更新）
📌 訓練在 PC
📌 推論在 MCU
📌 更新靠 OTA
→ IoT 裝置才能活 3–10 年。
________________________________________
🧠 六、ASCII：TinyML 系統架構
Sensor → DSP → TinyML Model → Decision
| ↑
| |
+-------- Cloud Training +---- OTA Update
這張 TinyML 系統架構示意圖說明的是：感測器資料先在裝置端經過 DSP 前處理（濾波、特徵擷取），再送入 TinyML Model 進行本地推論，直接產生 Decision（事件、分類或控制動作），只有模型訓練與更新階段才將資料或特徵回傳至 Cloud 進行集中式訓練，並透過 OTA Update 將新模型下發到終端。整體設計核心在於 「推論在端、訓練在雲」，可大幅降低頻寬消耗、延遲與功耗，同時提升 IoT 系統的即時性與可靠性。
解讀：
• 推論在終端
• 訓練在雲端
• OTA 更新模型
• IoT 裝置會「越用越聰明」
________________________________________
🧩 七、模擬題
________________________________________
1️⃣ 專業題
為何 TinyML 模型幾乎都使用 int8？
📦 答：
MCU 缺乏高效浮點硬體，int8 可讓模型縮小 4×、推論加速 3–8×、功耗下降 60–80%，是 TinyML 最核心的最佳化方式。
________________________________________
2️⃣ 應用題
為什麼 TinyML 可以減少 NB-IoT 的上行頻寬？
📦 答：
因為資料在本地推論，只上傳分類結果（1〜2 bytes），不需要傳送完整原始資料，頻寬使用量可減少 100～1000 倍。
________________________________________
3️⃣ 情境題
某工廠使用 IMU 偵測馬達異常，為何不能把原始資料全部上傳雲端？
A. NB-IoT 太弱
B. MCU 太弱
C. 上傳原始資料頻寬成本過高 → TinyML 需本地推論 ✔
D. OTA 不支援
👉 IMU 原始資料頻率高、資料量大，長時間全量上傳會造成頻寬與費用不可接受，因此需以 TinyML 在端側即時推論，只回傳異常結果。
________________________________________
⭐ 八、實務演練（工程師必做）
1. 建立 IMU 資料集 → 訓練 1D-CNN 模型
2. 使用 TFLite Micro 做 int8 全量化
3. 移植到 STM32/ESP32
4. 建立 inference loop（中斷觸發）
5. OTA 推送差分模型
6. 測試 NB-IoT 上行節省量（Raw vs Result）
________________________________________
✅ 九、小結：TinyML 是 Edge AI × IoT × 6G 的核心技術
✔ KB 級記憶體內做 AI 推論
✔ 超低功耗（μW～mW）
✔ NB-IoT / NTN 必備的頻寬節省
✔ Edge → 更隱私、更可靠
✔ 模型 OTA → 終端可進化
✔ IoT × 通訊 × AI 的黃金交會點
一句話：
TinyML 是讓 AI 真正落地到「每一顆微小裝置」的革命。
