AI說書 - 從0開始 - 193 | 第七章引言

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

2022 年 11 月，OpenAI ChatGPT 進入主流媒體，引發共鳴，報紙、電視頻道和社群媒體紛紛湧入 OpenAI 的 ChatGPT 網站，關於 ChatGPT 功能的謠言不脛而走，此後，OpenAI 不斷更新其平台，人工智慧的歷史正在不斷發展！

本章繼續本書的旅程，帶領讀者進一步了解 Transformer 不斷增長的力量，透過前面的章節所獲得的理論和實務知識提供了足夠的 Transformer 模型專業知識，讓您享受本章中的尖端模型的樂趣。

我們將首先了解 ChatGPT 模型在開發人員和最終用戶日​​常生活中的巨大改進和傳播，我們將看到 GPT 是一種通用技術：GPT 是可以應用於廣泛領域的 GPT。

本章將研究生成式 AI GPT 模型架構的改進，我們將研究使用訓練有素的 Transformer 模型的零樣本挑戰，幾乎不需要對下游任務的模型參數進行微調。

然後，我們將開始使用 GPT-4 API、超參數，並實作幾個自然語言處理範例，最後，我們將學習如何使用檢索增強生成（RAG）來獲得更好的結果，我們將使用 GPT-4 實現自動化 RAG 的範例。