我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 132 中,埋下了 Fine-Tuning 的伏筆,首先先說明要點與流程:
要點
- Hugging Face 提供了大量預訓練模型,例如 BERT、GPT-2、RoBERTa、T5 和 DistilBERT,各模型都有其特色
- 我們想要拿這些模型來執行 Fine-Tuning,以滿足我手上的任務需求,這邊介紹 BERT 模型如何執行 Fine-Tuning,其他模型手法一樣可以仿造
- 目前選擇 Hugging Face 這平台,但其實大型語言模型有很多平台,往後會介紹如何在 OpenAI 這平台上執行 Fine-Tuning GPT 模型
流程
- 檢索要用的資料集,這裡是資料集 CoLA
- 載入預訓練模型
- 載入資料集
- 設定訓練參數
- 執行訓練
- 評估訓練後的結果