AI說書 - 從0開始 - 3

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

延續AI說書 - 從0開始 - 2，ChatGPT的根基是一種名為Transformer的Foundation Model，我們從Transformer的時間複雜度開始談起：

首先介紹符號「O(1)」，當中有個大寫的英文字O，它代表「Order of」，也就是一種數量級的概念，通常用於描述演算法複雜度，那O(1)就代表「Constant Time Complexity」，可以想像如下：通常演算法越複雜，那所需運算的時間與複雜度也越高，那麼O(1)就代表：即便演算法越複雜，竟然它的運算時間不受波動。

有了這概念後回顧：ChatGPT的根基是一種名為Transformer的Foundation Model，而Transformer的精髓是「Attetion」，翻譯為「注意力」，它將與稍早定義的O(1)符號牽起關係，假設真的建立關係的話，可以想像因為O(1)而伴隨而來的巨浪，難怪目前生成式AI如此火紅。