預訓練
含有「預訓練」共 3 篇內容
全部內容
發佈日期由新至舊
本文以武俠陣法為喻，解析AI模型實戰特訓。剛完成「預訓練」的通才，可透過「微調」轉為專家，或藉「領域適應」克服水土不服。若遇急件，無需更改權重，施展「上下文學習」，給予「零樣本」或「少樣本」提示，模型便能臨場悟道，迅速完成任務。
ChatGPT 是 OpenAI 開發的大型語言模型，以其強大的生成能力和對話能力而聞名。 ChatGPT 的訓練過程主要分為兩個階段：預訓練和微調。 微調使用了 RLHF（Reinforcement Learning from Human Feedback）技術，可以有效地提高模型生成內容的質量。
這篇文章揭示了訓練GPT模型的三個核心技術：預訓練、微調及增強式學習。預訓練利用大量網路資料提供基礎能力；微調讓GPT更貼近人類思維偏好；增強式學習最終優化模型回答問題的方式。此外，多語言預訓練能讓GPT在一語言的任務學習後，自動掌握其他語言的同樣任務。
