AI說書 - 從0開始 - 227 | 第八章引言
更新於 2024/10/25閱讀時間約 2 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們透過和程式碼互動檢查了生成式 AI、通用技術，如果我們探索的所有技術都如此有效，為什麼不直接使用現成的解決方案而忘記學習、準備資料、配置參數和編寫文件呢？
答案很簡單，當 GPT-3 或 GPT-4 等通用模型未達到專案所需的準確度門檻時，我們該怎麼辦？我們必須做點什麼，在本章中，我們將探討微調，以了解我們可以為專案朝這個方向或不朝這個方向做出的選擇，我們將介紹風險管理的觀點。
在本章中，我們將微調 OpenAI GPT 模型來探索此選項，我們將微調一個具有成本效益的 Babbage-002 模型來完成任務，我們將以 OpenAI 要求的格式準備資料集，這一步看似簡單，然而，準備資料集可能非常具有挑戰性。
本章的涵蓋範圍為：
- OpenAI 上微調模型的改進與局限性
- 資料集準備
- OpenAI 的文件格式
- JSON 至 JSONL 的轉換
- OpenAI GPT 模型的微調
- 執行微調後的模型
- 微調後的結果和 GPT-4 比較
168會員
445內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經有資料集在 AI說書 - 從0開始 - 103 ，必要的清理函數在 AI說書 - 從0開始 - 104 ，現在把它們湊在一起，如下：
# load Eng
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
先做個總回顧：
Transformer 架構總覽：AI說書 - 從0開始 - 39
Attention 意圖說明：AI說書 - 從0開始 - 40
Transfo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 30中，陳述了AI專案選擇系統的重要性，可以是Hugging Face、Google Cloud AI、ChatGPT/GPT-4
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
生成式人工智慧模糊了雲端平台、框架、函式庫、語言和模型之間的界線，以下展開幾項事實：
OpenAI 部署了一個Transformer API，幾乎不需要程式設計。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們在AI說書 - 從0開始 - 28中闡述了一些AI專業者的未來發展方向，現在我們更細分：
人工智慧專家在人工智慧某一領域擁有專業知識或技能，包含微調模型、維護和支
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer模型驅動的人工智慧正在將無所不在的一切連接起來，機器直接與其他機器通訊，人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，現在我們繼續做下去。
AI說書 - 從0開始 - 25在步驟7：Plot the confusio
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。
嘗試問以下問題：Provide a
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 20以及AI說書 - 從0開始 - 21中，闡述眾人目前對生成式AI的認知謬誤。
現在我們來談談生成式AI的根基 - Fou
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經有資料集在 AI說書 - 從0開始 - 103 ，必要的清理函數在 AI說書 - 從0開始 - 104 ，現在把它們湊在一起，如下：
# load Eng
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
先做個總回顧：
Transformer 架構總覽：AI說書 - 從0開始 - 39
Attention 意圖說明：AI說書 - 從0開始 - 40
Transfo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 30中，陳述了AI專案選擇系統的重要性，可以是Hugging Face、Google Cloud AI、ChatGPT/GPT-4
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
生成式人工智慧模糊了雲端平台、框架、函式庫、語言和模型之間的界線，以下展開幾項事實：
OpenAI 部署了一個Transformer API，幾乎不需要程式設計。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們在AI說書 - 從0開始 - 28中闡述了一些AI專業者的未來發展方向，現在我們更細分：
人工智慧專家在人工智慧某一領域擁有專業知識或技能，包含微調模型、維護和支
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer模型驅動的人工智慧正在將無所不在的一切連接起來，機器直接與其他機器通訊，人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，現在我們繼續做下去。
AI說書 - 從0開始 - 25在步驟7：Plot the confusio
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。
嘗試問以下問題：Provide a
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 20以及AI說書 - 從0開始 - 21中，闡述眾人目前對生成式AI的認知謬誤。
現在我們來談談生成式AI的根基 - Fou