AI說書 - 從0開始 - 234 | 微調 GPT 模型的資料集檢查

更新於 發佈於 閱讀時間約 2 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


先列出目前擁有的材料:


接著系統會把 JSON 轉換成 JSONL 檔案:

raw-image


此外 OpenAI 會出現以下提示:

raw-image


可以透過以下程式偷看一下 JSONL 檔案的內容:

import json

with open('kant_prompts_and_completions_prepared.jsonl', 'r') as f:
lines = f.readlines()

for line in lines[199:300]:
data = json.loads(line)
print(json.dumps(data, indent = 4))


結果為:

raw-image


注意以下幾點:

  • Prompt 中的「->」
  • Completion 中的「開頭空格」以及「\n」
留言
avatar-img
留言分享你的想法!
Maya-avatar-img
2024/11/02
AI的大白,非常弱地請教一下:養AI,是不是付費的養出來的品質會比免費的好?謝謝
LearnAI-avatar-img
發文者
2024/11/02
哈囉 主要考量是運算資源層面,普通人擁有的GPU資源,不夠養出一個厲害的AI,而大企業則有足夠的GPU資源來養厲害的AI,這些GPU運算資源,也可以透過租用的方式,給普通人使用
avatar-img
Learn AI 不 BI
225會員
632內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
Learn AI 不 BI的其他內容
2024/11/11
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 227 | 第八章引言 到 AI說書 - 從0開始 - 243 | 微調 GPT 模型與 GPT4 比較,我們完成書籍:Transfor
2024/11/11
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 227 | 第八章引言 到 AI說書 - 從0開始 - 243 | 微調 GPT 模型與 GPT4 比較,我們完成書籍:Transfor
2024/11/10
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
2024/11/10
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
2024/11/09
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
2024/11/09
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
看更多
你可能也想看
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
全球科技產業的焦點,AKA 全村的希望 NVIDIA,於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1,實際日曆期間為今年二到四月),交出了打敗了市場預期的成績單。然而,在銷售持續高速成長的同時,川普政府加大對於中國的晶片管制......
Thumbnail
全球科技產業的焦點,AKA 全村的希望 NVIDIA,於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1,實際日曆期間為今年二到四月),交出了打敗了市場預期的成績單。然而,在銷售持續高速成長的同時,川普政府加大對於中國的晶片管制......
Thumbnail
重點摘要: 6 月繼續維持基準利率不變,強調維持高利率主因為關稅 點陣圖表現略為鷹派,收斂 2026、2027 年降息預期 SEP 連續 2 季下修 GDP、上修通膨預測值 --- 1.繼續維持利率不變,強調需要維持高利率是因為關稅: 聯準會 (Fed) 召開 6 月利率會議
Thumbnail
重點摘要: 6 月繼續維持基準利率不變,強調維持高利率主因為關稅 點陣圖表現略為鷹派,收斂 2026、2027 年降息預期 SEP 連續 2 季下修 GDP、上修通膨預測值 --- 1.繼續維持利率不變,強調需要維持高利率是因為關稅: 聯準會 (Fed) 召開 6 月利率會議
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先列出目前擁有的材料: 微調 GPT 模型引言:AI說書 - 從0開始 - 229 | 微調 GPT 模型引言 微調 GPT 模型的前置步驟:AI說書 - 從0開始
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News