TinyML怎麼工作？

TinyML收集數據並在雲中訓練，與傳統機器學習一致。最大的區別是訓練後階段模型的優化和配置。TinyML）為了適應嵌入式終端的有限計算資源，需要“深度壓縮”本身，通常包括模型蒸餾、量化Quantization、麥克風編碼三個過程，經過然後放置在末端。

TinyML模型生成過程

模態精餾目的是使模型更緊湊，動圈式麥克風使記憶體更少，包括修剪和知識蒸餾兩種方法。修剪除去對神經元輸出預測影響較的小神經元，網路對剪枝後再次訓練輸出並微調。通過複製大網絡）的輸出路徑簡化了小網路的精確操作，並且簡化了模型。

知識型精餾工程圖

量化Quantization是種將連續取值（或大量可能離散取值浮點模型的張量數據定點近似為有限數量的離散值的過程，無線麥克風該數據類型可以表示為32比特浮點型數據進行近似，從而減小模型大小記憶體達到消費和加速模式的推理目標。舉例來說）在可接受的精度損失範圍內，8位整數量化可以降低模型體積75%，並且推理速度可以提高4倍。

在嵌入終端中，編譯是動作模型的最後一步。只要模型被量化編碼，就會轉換成某種形式的小型神經網路解釋器可以說明的格式。其中最受歡迎的是TF Lite（500kb和TF Lite Micro約為20kb。隨後編譯為C++或C++（大多數微控制器有效地利用模型記憶體，並且通過設備上的解釋來執行該模型。