預訓練
含有「預訓練」共 2 篇內容
全部內容
發佈日期由新至舊
ChatGPT 是 OpenAI 開發的大型語言模型，以其強大的生成能力和對話能力而聞名。 ChatGPT 的訓練過程主要分為兩個階段：預訓練和微調。 微調使用了 RLHF（Reinforcement Learning from Human Feedback）技術，可以有效地提高模型生成內容的質量。
這篇文章揭示了訓練GPT模型的三個核心技術：預訓練、微調及增強式學習。預訓練利用大量網路資料提供基礎能力；微調讓GPT更貼近人類思維偏好；增強式學習最終優化模型回答問題的方式。此外，多語言預訓練能讓GPT在一語言的任務學習後，自動掌握其他語言的同樣任務。
