AI說書 - 從0開始 - 141 | BERT 微調之 BERT 模型窺探
更新於 2024/08/20閱讀時間約 2 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
既然現在要執行 BERT 模型的微調，理當看看此模型的一些細節，程式為：
from transformers import BertModel, BertConfig
configuration = BertConfig()
model = BertModel(configuration)
configuration = model.config
print(configuration)
輸出結果為：
一些參數的解釋如下：
- attention_probs_dropout_prob: 0.1 對注意力機率應用 0.1 的丟失率
- hidden_act: "gelu" 是編碼器中的非線性激活函數，它是一個 Gaussian Error Linear Unit Activation Function，輸入按其大小進行加權，這使其成為非線性的
- hidden_dropout_prob: 0.1 是應用於全連接層的丟失機率，全連接層可以在嵌入層、編碼器層和池化層中找到
- hidden_size: 768 是編碼層和池化層的維度，詳見 AI說書 - 從0開始 - 128
- initializer_range: 0.02 是初始化權重矩陣時的標準差值
- intermediate_size: 3072 是編碼器前饋層的維度
- max_position_embeddings: 512 是模型使用的最大長度
- model_type: "bert" 是模型的名稱
- num_attention_heads: 12 是頭的數量，詳見 AI說書 - 從0開始 - 128
- num_hidden_layers: 12 是層數，詳見 AI說書 - 從0開始 - 128
- pad_token_id: 0 是填充 Token 的 ID，以避免訓練填充 Token
- type_vocab_size: 2 是允許最多能輸入的句子数量，默認是 2，詳見 AI說書 - 從0開始 - 131
- vocab_size: 30522 是模型用來表示 input_ids 的標記數量
168會員
441內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
關於颱風假，我問了 CHATGPT一個很簡單的問題，回答的架構也不錯，但內容有錯，還是要提醒一下…，
想透過AI得到解答的人，一定要很清楚，AI在法律問題上錯得會有點嚴重。
關於颱風假的規定，台灣的法條主要依據《災害防救法》和《勞動基準法》進行管理。以下是一些關鍵點：
如同作者所說，人類最大的優勢就在於「批判性思考」所帶來的突破性的成長，以及「情感(緒)」所帶動的人性，雖然次女也不知道將來會不會有一天，我身邊的機器人.........
台灣最大電子書服務 Readmoo 讀墨電子書 7/3 公布 2023 上半年暢銷榜,前三名由長青
話題書《蛤蟆先生去看心理師》《我可能錯了》《底層邏輯》拿下。綜觀百大趨勢,小說
仍是讀墨讀者最愛;商管理財以 29 本穩坐第二大,主題首重 AI 與效率彈性。
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
關於颱風假，我問了 CHATGPT一個很簡單的問題，回答的架構也不錯，但內容有錯，還是要提醒一下…，
想透過AI得到解答的人，一定要很清楚，AI在法律問題上錯得會有點嚴重。
關於颱風假的規定，台灣的法條主要依據《災害防救法》和《勞動基準法》進行管理。以下是一些關鍵點：
如同作者所說，人類最大的優勢就在於「批判性思考」所帶來的突破性的成長，以及「情感(緒)」所帶動的人性，雖然次女也不知道將來會不會有一天，我身邊的機器人.........
台灣最大電子書服務 Readmoo 讀墨電子書 7/3 公布 2023 上半年暢銷榜,前三名由長青
話題書《蛤蟆先生去看心理師》《我可能錯了》《底層邏輯》拿下。綜觀百大趨勢,小說
仍是讀墨讀者最愛;商管理財以 29 本穩坐第二大,主題首重 AI 與效率彈性。
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。