我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
- Attention Layer的複雜度是O(n^2 * d)
- Recurrent Layer的複雜度是O(d^2 * n)
現在我想用以下的運算裝置來跑個小模擬：
- CPU: Central Processing Unit，就是電腦中最常見的運算單元
- GPU: Graphics Processing Unit，原本是用於3D遊戲成像，目前廣泛用於AI中
- TPU: Tensor Processing Unit，由Google提出，用於AI加速的裝置
首先我們可以參考使用Meta釋出的模型，實作Chat GPT - Part 0，來做模擬環境的配置，我們先選擇CPU來做模擬，因此選擇：
