我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
有時,預訓練模型不會提供您期望的結果,即使預訓練的模型通過微調進行了額外的訓練,它仍然無法按計劃工作,此時,一種方法是透過 Hugging Face 等平台從頭開始預先訓練,以利用 GPT 和 BERT 等架構,從頭開始預訓練模型後,您將知道如何訓練專案可能需要的其他模型。
在本章中,我們將從頭開始建立 RoBERTa 模型,這是 BERT 的高階變體,RoBERTa 模型將按照本章中所述的 15 個步驟流程建構。
讀完本章,您將了解如何使用 RoBERTa 模型建立開源生成式 AI 聊天智能體原型,這為必要時,製作獨立的聊天智能體打開了大門,同時,您將了解如何從頭開始建立 Transformer 模型,此外,您將對 Transformer 有足夠的了解,以應對必須訓練模型以滿足特定需求的情況。