AI說書 - 從0開始 - 134 | BERT 微調目標主題與衡量標準

LearnAI-avatar-img
LearnAI
發佈於三分鐘學AI
更新 發佈閱讀 1 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。


在 AI說書 - 從0開始 - 133 中，已經確立了目標就是要做 Fine-Tuning，那主題是什麼？衡量標準是什麼？以下說明：

  • 主題：使用資料集 CoLA，來學習如何判斷一個句子的文法是否是可以被接受的
  • 衡量標準：採用 Matthews Correlation Coefficient (MCC)，詳見 AI說書 - 從0開始 - 83


在接下來的操作，會需要使用到煩冗的程式運算，需要有 GPU 來支撐，使用 Google Colab 的 GPU 資源操作見 使用Meta釋出的模型，實作Chat GPT - Part 0

Learn AI 不 BI三分鐘學AIAI從0開始-第五章
留言
avatar-img
留言分享你的想法！
avatar-img
Learn AI 不 BI
245會員
953內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
Learn AI 不 BI的其他內容
2024/08/30
AI說書 - 從0開始 - 156 | 第五章額外閱讀
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 125 到 AI說書 - 從0開始 - 155 | 文法判斷介面成果展示，我們完成書籍：Transformers for Natural
2024/08/30
AI說書 - 從0開始 - 156 | 第五章額外閱讀
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 125 到 AI說書 - 從0開始 - 155 | 文法判斷介面成果展示，我們完成書籍：Transformers for Natural
2024/08/30
AI說書 - 從0開始 - 155 | 文法判斷介面成果展示
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧一下目前手上有的素材： 訓練的必要模組安裝：AI說書 - 從0開始 - 135 載入資料集：AI說書 - 從0開始 - 136 資料集窺探：AI說書 - 從0
Thumbnail
2024/08/30
AI說書 - 從0開始 - 155 | 文法判斷介面成果展示
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧一下目前手上有的素材： 訓練的必要模組安裝：AI說書 - 從0開始 - 135 載入資料集：AI說書 - 從0開始 - 136 資料集窺探：AI說書 - 從0
Thumbnail
2024/08/29
AI說書 - 從0開始 - 154 | 製作預測文法正確與否的聊天介面
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧一下目前手上有的素材： 訓練的必要模組安裝：AI說書 - 從0開始 - 135 載入資料集：AI說書 - 從0開始 - 136 資料集窺探：AI說書 - 從0
2024/08/29
AI說書 - 從0開始 - 154 | 製作預測文法正確與否的聊天介面
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧一下目前手上有的素材： 訓練的必要模組安裝：AI說書 - 從0開始 - 135 載入資料集：AI說書 - 從0開始 - 136 資料集窺探：AI說書 - 從0
看更多
你可能也想看
Thumbnail
avatar-avatar
Life捧烹_王小姐的日常療癒所
氣味同步生活： Sunkronizo淡香精的知性魅力
臺灣獨立調香師品牌 Sunkronizo，Friday : Sexy Vibe 淡香精，揉合威士忌、菸草、皮革、蜂蜜與花香的多層次魅力，讓知性自信與內斂的從容態度，從視覺、嗅覺都充分表現。
#香氛#香水#香水評論
Thumbnail
avatar-avatar
Life捧烹_王小姐的日常療癒所
氣味同步生活： Sunkronizo淡香精的知性魅力
臺灣獨立調香師品牌 Sunkronizo，Friday : Sexy Vibe 淡香精，揉合威士忌、菸草、皮革、蜂蜜與花香的多層次魅力，讓知性自信與內斂的從容態度，從視覺、嗅覺都充分表現。
#香氛#香水#香水評論
Thumbnail
avatar-avatar
花神沒有咖啡館的沙龍
在VOD黃金時代打造「台流」——隨選串流服務與政策制度、消費行為和演算法的關係
使台劇得以突破過往印象中偶像劇、鄉土劇等範疇，產製更多類型，甚至紅到國外、帶動台灣觀光的最重要原因，便是「隨選串流平台」服務在近十年的蓬勃發展，台灣人愛看串流的程度或許比你我想像中都高，高到連美國電影協會（MPA），都委託Frontier Economics進行研究
#電影產業#全球在地化#串流平台
Thumbnail
avatar-avatar
花神沒有咖啡館的沙龍
在VOD黃金時代打造「台流」——隨選串流服務與政策制度、消費行為和演算法的關係
使台劇得以突破過往印象中偶像劇、鄉土劇等範疇，產製更多類型，甚至紅到國外、帶動台灣觀光的最重要原因，便是「隨選串流平台」服務在近十年的蓬勃發展，台灣人愛看串流的程度或許比你我想像中都高，高到連美國電影協會（MPA），都委託Frontier Economics進行研究
#電影產業#全球在地化#串流平台
Thumbnail
avatar-avatar
月刊龍貓大王通信
進入串流大戰第二階段！台灣影視作品如何透過全球VOD平台對外發聲？這是來自美國電影協會的觀察
本文探討串流平臺（VOD）如何徹底改變好萊塢和臺灣影視產業的生態。從美國電影協會（MPA）的數據報告，揭示串流服務在臺灣的驚人普及率與在地內容的消費趨勢。文章分析國際作品如何透過在地化元素開拓新市場。同時，作者也擔憂政府過度監管可能扼殺臺灣影視創新自由，以越南為鑑，呼籲以開放態度擁抱串流時代的新機遇
#電影產業#全球在地化#串流平台
Thumbnail
avatar-avatar
月刊龍貓大王通信
進入串流大戰第二階段！台灣影視作品如何透過全球VOD平台對外發聲？這是來自美國電影協會的觀察
本文探討串流平臺（VOD）如何徹底改變好萊塢和臺灣影視產業的生態。從美國電影協會（MPA）的數據報告，揭示串流服務在臺灣的驚人普及率與在地內容的消費趨勢。文章分析國際作品如何透過在地化元素開拓新市場。同時，作者也擔憂政府過度監管可能扼殺臺灣影視創新自由，以越南為鑑，呼籲以開放態度擁抱串流時代的新機遇
#電影產業#全球在地化#串流平台
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 130 | Masked Language Modeling 訓練
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說，Bidirectional Encoder Representations from Transformers (BER
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 130 | Masked Language Modeling 訓練
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說，Bidirectional Encoder Representations from Transformers (BER
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 127 | BERT 和 Transformer 模型比較
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 39 至 AI說書 - 從0開始 - 69 的第二章內容，我們拿 Encoder 出來看： 幾點注意如下： BERT 模型使用 M
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 127 | BERT 和 Transformer 模型比較
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 39 至 AI說書 - 從0開始 - 69 的第二章內容，我們拿 Encoder 出來看： 幾點注意如下： BERT 模型使用 M
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 105 | AI 資料準備
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 目前我們已經有資料集在 AI說書 - 從0開始 - 103 ，必要的清理函數在 AI說書 - 從0開始 - 104 ，現在把它們湊在一起，如下： # load Eng
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 105 | AI 資料準備
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 目前我們已經有資料集在 AI說書 - 從0開始 - 103 ，必要的清理函數在 AI說書 - 從0開始 - 104 ，現在把它們湊在一起，如下： # load Eng
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 96
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 96
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 95
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 95
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 94
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 94
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA)，其核心思想為：如果該句子在語
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 88
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 88
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 84
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 繼 AI說書 - 從0開始 - 82 與 xxx ，我們談論了衡量 AI 模型的方式，那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時，需要
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 84
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 繼 AI說書 - 從0開始 - 82 與 xxx ，我們談論了衡量 AI 模型的方式，那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時，需要
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 60
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 目前我們已經完成： Single-Head Attention 數學說明：AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明：AI
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 60
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 目前我們已經完成： Single-Head Attention 數學說明：AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明：AI
#AI#ai#PromptEngineering
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News