AI說書 - 從0開始 - 159 | Pretrain 模型緣起

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

有時，預訓練模型不會提供您期望的結果，即使預訓練的模型通過微調進行了額外的訓練，它仍然無法按計劃工作，此時，一種方法是透過 Hugging Face 等平台從頭開始預先訓練，以利用 GPT 和 BERT 等架構，從頭開始預訓練模型後，您將知道如何訓練專案可能需要的其他模型。

在本章中，我們將從頭開始建立 RoBERTa 模型，這是 BERT 的高階變體，RoBERTa 模型將按照本章中所述的 15 個步驟流程建構。

讀完本章，您將了解如何使用 RoBERTa 模型建立開源生成式 AI 聊天智能體原型，這為必要時，製作獨立的聊天智能體打開了大門，同時，您將了解如何從頭開始建立 Transformer 模型，此外，您將對 Transformer 有足夠的了解，以應對必須訓練模型以滿足特定需求的情況。