2024-08-23|閱讀時間 ‧ 約 22 分鐘

AI說書 - 從0開始 - 146 | BERT 微調之 Optimizer 與精準度配置

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


回顧一下目前手上有的素材:


現在要來配置 Optimizer,其程式為:

optimizer = BertAdam(optimizer_grouped_parameters, lr = 2e-5, warmup = .1)


接著定義衡量訓練結果好壞的函數:

def flat_accuracy(preds, labels): 
pred_flat = np.argmax(preds, axis = 1).flatten()
labels_flat = labels.flatten()
return np.sum(pred_flat == labels_flat) / len(labels_flat)
分享至
成為作者繼續創作的動力吧!
從 Google News 追蹤更多 vocus 的最新精選內容從 Google News 追蹤更多 vocus 的最新精選內容

作者的相關文章

Learn AI 不 BI 的其他內容

你可能也想看

發表回應

成為會員 後即可發表留言
© 2024 vocus All rights reserved.