AI說書 - 從0開始 - 87
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續 AI說書 - 從0開始 - 86 提及 SuperGLUE 任務清單，當中會包含以下欄位：
- 名稱 (Name)：經過微調的預訓練模型的下游任務的名稱
- 標識符 (Identifier)：名稱的縮寫或短版本
- 下載 (Download)：是資料集的下載連結
- 更多資訊 (More Info)：指向設計資料集驅動任務的團隊的論文或網站以提供更多詳細資訊
- 指標 (Metric)：是用於評估模型的測量分數，詳見 AI說書 - 從0開始 - 82 與 AI說書 - 從0開始 - 83
SuperGLUE 提供任務說明、軟體、資料集以及描述要解決的問題的論文或網站，一旦團隊運行基準測試任務並到達排行榜水準，就會顯示結果，SuperGLUE 顯示整體得分和每個任務的得分：
圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, 2024
我們按照 Wang 等人 2019 年的論文指示，其提供了合理答案的選擇
(Choice of Plausible Answers, COPA) 任務，NLU 模型的目標是展示其機器思維（不是人類思維）的潛力，在我們的例子中，Transformer 必須選擇問題的最合理的答案，資料集提供了前提，Transformer 模型必須找到最合理的答案，以下舉例：
- 前提：我敲了鄰居的門。結果發生了什麼事？
選項 1：我的鄰居邀請我進去
選項 2：我的鄰居離開了他的房子
人類需要一兩秒鐘才能回答這個問題，這表明它需要一些常識性的思維，COPA.zip 是一個即用型資料集，可以直接從 SuperGLUE 任務頁面下載，所提供的指標使基準競賽 (Benchmark Race) 的所有參與者都平等且可用。
212會員
532內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言
留言分享你的想法！
你可能也想看
Google News 追蹤
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
這篇內容與你分享我看到哪些不錯的設計、AI 相關內容，像是我最近有看到 OpenAI 官方分享的 Prompt 教學，由官方分享絕對實用，另外也看到一篇創作者分享自己的一手印刷廠推薦心得，這真的非常難得，除了很多人會私藏外，要花心力整理也很不容易。
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
這篇內容與你分享我看到哪些不錯的設計、AI 相關內容，像是我最近有看到 OpenAI 官方分享的 Prompt 教學，由官方分享絕對實用，另外也看到一篇創作者分享自己的一手印刷廠推薦心得，這真的非常難得，除了很多人會私藏外，要花心力整理也很不容易。