AI說書 - 從0開始 - 79

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

如 AI說書 - 從0開始 - 78 所述，經過 AI說書 - 從0開始 - 74 到目前為止的實驗，應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往 Token 發展，再往句子生成發展。

到目前為止是用語言來呈現，呈現如何從 Transformer 中的數學，進一步到 Token ，再到文字生成，但不要忘了，程式語言也是一種語言，如 OpenAI 當初拿 GitHub 的程式來訓練 ChatGPT ，以下展示 ChatGPT 也能產出程式相關的回應，當中依然經歷了 Transformer 數學模型到 Token ，再到句子生成。

輸入以下要求 :

得到以下回應 :

以上是程式周邊的文字描述，事實上它還會回覆程式語法的指令。