AI說書 - 從0開始 - 145 | BERT 微調之參數的 Decay Rate 設定
- AI
- ai
- PromptEngineering
- PromptPattern
- ML
- Prompt
- prompt
- ChatGPT
- HuggingFace
- huggingface
- Transformer
- transformer
- chatgpt
- Attention
- chatgpt怎麼用
- word2vec
- WordEmbedding
- embeddings
- BERT
- Python
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們在 AI說書 - 從0開始 - 143 中，將參數區分成兩種類群，差別在於 Decay Rate 的配置不同，我們可以檢視參數「optimizer_grouped_parameters」來看看這兩個類群：
類群一：
類群二：
分享至
成為作者繼續創作的動力吧！
作者的相關文章
Learn AI 不 BI 的其他內容
- AI說書 - 從0開始 - 144 | BERT 微調之模型參數窺探
- AI說書 - 從0開始 - 142 | BERT 微調之模型載入
- AI說書 - 從0開始 - 143 | BERT 微調之 Optimizer 設定
- AI說書 - 從0開始 - 141 | BERT 微調之 BERT 模型窺探
- AI說書 - 從0開始 - 140 | BERT 微調之 DataLoader 準備
- AI說書 - 從0開始 - 139 | BERT 微調之訓練驗證集切割
你可能也想看
- 「天天秋嗨嗨」：vocus 秋季徵文，五大主題 & 獎品登場！
- AI說書 - 從0開始 - 127 | BERT 和 Transformer 模型比較
- AI說書 - 從0開始 - 66
- AI說書 - 從0開始 - 62
- AI說書 - 從0開始 - 61
- AI說書 - 從0開始 - 60
- AI說書 - 從0開始 - 59
- AI說書 - 從0開始 - 58
- AI說書 - 從0開始 - 56
- AI說書 - 從0開始 - 55
- AI說書 - 從0開始 - 54
發表回應
成為會員 後即可發表留言
© 2024 vocus All rights reserved.