我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在本章中，我們將從頭開始建立 RoBERTa 模型，這是 BERT 的高階變體，RoBERTa 模型將按照本章中所述的 15 個步驟流程建構。
讀完本章，您將了解如何使用 RoBERTa 模型建立開源生成式 AI 聊天智能體原型，這為必要時，製作獨立的聊天智能體打開了大門，同時，您將了解如何從頭開始建立 Transformer 模型，此外，您將對 Transformer 有足夠的了解，以應對必須訓練模型以滿足特定需求的情況。