2024-08-22|閱讀時間 ‧ 約 23 分鐘

AI說書 - 從0開始 - 145 | BERT 微調之參數的 Decay Rate 設定

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


我們在 AI說書 - 從0開始 - 143 中,將參數區分成兩種類群,差別在於 Decay Rate 的配置不同,我們可以檢視參數「optimizer_grouped_parameters」來看看這兩個類群:

類群一:


類群二:


分享至
成為作者繼續創作的動力吧!
© 2024 vocus All rights reserved.