我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。回顧一下目前手上有的素材:訓練的必要模組安裝:AI說書 - 從0開始 - 135載入資料集:AI說書 - 從0開始 - 136資料集窺探:AI說書 - 從0開始 - 137資料前處理與 Tokenization:AI說書 - 從0開始 - 138資料 Padding 與訓練/驗證集切割:AI說書 - 從0開始 - 139Data Loader 設定:AI說書 - 從0開始 - 140BERT 模型窺探:AI說書 - 從0開始 - 141載入 BERT 模型:AI說書 - 從0開始 - 142Optimizer 的 Decay Rate 群組配置:AI說書 - 從0開始 - 143BERT 模型的特定「層」參數窺探方法:AI說書 - 從0開始 - 144Optimizer 的 Decay Rate 群組窺探:AI說書 - 從0開始 - 145配置 Optimizer 與訓練成效評估函數:AI說書 - 從0開始 - 146訓練程式的撰寫:AI說書 - 從0開始 - 147訓練結果圖示化:AI說書 - 從0開始 - 148準備驗證微調效果的另一份資料前處理:AI說書 - 從0開始 - 149微調模型的預測展示:AI說書 - 從0開始 - 150使用 MCC 分數評估微調後的模型:AI說書 - 從0開始 - 151保存微調好的模型方法:AI說書 - 從0開始 - 152 | 保存微調後的模型預測文法正確與否的函數:AI說書 - 從0開始 - 153 | 製作文法正確與否的預測函數文法判斷的介面製作:AI說書 - 從0開始 - 154 | 製作預測文法正確與否的聊天介面現在我們可以應用 AI說書 - 從0開始 - 154 | 製作預測文法正確與否的聊天介面 的函數來進行文法正確與否的預測,而且是透過介面呈現:這是一個語法正確的句子AI 模型可以正確判斷這是一個文法有誤的句子AI 模型可以正確判斷