我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 2,ChatGPT的根基是一種名為Transformer的Foundation Model,我們從Transformer的時間複雜度開始談起:
首先介紹符號「O(1)」,當中有個大寫的英文字O,它代表「Order of」,也就是一種數量級的概念,通常用於描述演算法複雜度,那O(1)就代表「Constant Time Complexity」,可以想像如下:通常演算法越複雜,那所需運算的時間與複雜度也越高,那麼O(1)就代表:即便演算法越複雜,竟然它的運算時間不受波動。
有了這概念後回顧:ChatGPT的根基是一種名為Transformer的Foundation Model,而Transformer的精髓是「Attetion」,翻譯為「注意力」,它將與稍早定義的O(1)符號牽起關係,假設真的建立關係的話,可以想像因為O(1)而伴隨而來的巨浪,難怪目前生成式AI如此火紅。