AI說書 - 從0開始 - 133 | BERT 模型微調引言

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

在 AI說書 - 從0開始 - 132 中，埋下了 Fine-Tuning 的伏筆，首先先說明要點與流程：

要點

• Hugging Face 提供了大量預訓練模型，例如 BERT、GPT-2、RoBERTa、T5 和 DistilBERT，各模型都有其特色
• 我們想要拿這些模型來執行 Fine-Tuning，以滿足我手上的任務需求，這邊介紹 BERT 模型如何執行 Fine-Tuning，其他模型手法一樣可以仿造
• 目前選擇 Hugging Face 這平台，但其實大型語言模型有很多平台，往後會介紹如何在 OpenAI 這平台上執行 Fine-Tuning GPT 模型

流程

• 檢索要用的資料集，這裡是資料集 CoLA
• 載入預訓練模型
• 載入資料集
• 設定訓練參數
• 執行訓練
• 評估訓練後的結果