我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
- Transformer 迫使人工智慧進行深刻的進化， Foundation Model 包括其生成人工智慧能力，建立在數位革命之上，透過無所不在的底層流程將一切連接起來，自動化流程正在取代包括 NLP 在內的關鍵領域的人類決策。
- RNN 減緩了快速變化世界所需的自動化 NLP 任務的進展， Transformer 填補了這一空白，企業需要摘要、翻譯和各種 NLP 工具來應對不斷增長的資訊量的挑戰。
- Transformer 催生了人工智慧產業時代，我們應證了注意力層的複雜性及其運算時間複雜度 O(n2*d) 震撼了人工智慧世界，其中 n 是Context長度，d 是 ML 模型維度。
- Hugging Face、Google Cloud、OpenAI 和 Microsoft Azure 等平台提供無需安裝和資源的 NLP 任務，可在定製程式中實作 Transformer 模型。例如，OpenAI 提供的 API 只需幾行程式碼即可運行功能強大的 GPT-4 生成模型，Google Vertex AI 提供易於實現的工具，Hugging Face 提供各種 Transformer 模型和實作，我們將在後續探索這些生態系統。
- 人工智慧專業人員需要更廣泛的技能，例如，專案經理可以透過要求網頁設計師透過Prompt Engineering 為 Google Cloud AI 或 OpenAI API 建立介面來決定實作 Transformer。或者，在需要時，專案經理可以要求 AI 專家下載 Google Trax 或 Hugging Face 資源，以開發具有自訂 Transformer 模型的專案。
- 對於開發人員來說， Transformer 是遊戲規則的改變者，他們的角色將會擴大，並且需要更多的設計而不是程式，此外，嵌入式 Transformer 將提供輔助程式碼開發和使用，這些新技能是一項挑戰，但會帶來新的、令人興奮的視野。
