我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。回顧我們在AI說書 - 從0開始 - 5中說當Context長度是n,且每個字用d維度的向量表示時有以下結論:Attention Layer的複雜度是O(n^2 * d)Recurrent Layer的複雜度是O(d^2 * n)現在我想用以下的運算裝置來跑個小模擬:CPU: Central Processing Unit,就是電腦中最常見的運算單元GPU: Graphics Processing Unit,原本是用於3D遊戲成像,目前廣泛用於AI中TPU: Tensor Processing Unit,由Google提出,用於AI加速的裝置首先我們可以參考使用Meta釋出的模型,實作Chat GPT - Part 0,來做模擬環境的配置,我們先選擇CPU來做模擬,因此選擇: