很多 AI 研究者都發現：
在大型語言模型（LLM）的訓練資料中，PDF 文件其實佔了非常大的比例，有些資料集甚至超過 30%。這是因為 PDF 在知識世界裡扮演了非常特殊的角色。
原因如下：1️⃣ 世界上重要的知識很多都存成 PDF
很多高價值知識並不是在普通網頁，而是以 PDF 發佈，例如：
- 學術論文（例如 arXiv）
- 大學教材
- 技術白皮書
- 政府報告
- 研究機構報告
- 標準規範文件
例如：
- AI論文
- 物理研究
- 密碼學
- 數學教材
- 半導體技術文件
這些資料大多都是 PDF格式。
2️⃣ PDF 通常代表「高密度知識」
與普通網頁相比：
PDF 常見特點：
完整章節
數學公式
圖表
長篇推導
例如一篇 AI 論文可能：
- 20–50頁
- 含公式
- 含實驗結果
- 含完整推理
這對 AI 學習 邏輯與專業語言非常重要。
3️⃣ 許多技術領域幾乎只用 PDF 發布
在某些領域，PDF 幾乎是唯一標準：
例如：
- 數學
- 物理
- 密碼學
- 電機工程
- 半導體
- 材料科學
像：
- IEEE 論文
- ACM 論文
- 技術標準文件
都主要是 PDF。
4️⃣ 許多書籍其實也是 PDF
LLM 訓練常用：
- 公版書
- 技術電子書
- 教科書
很多書在資料集中其實是：
PDFEPUB掃描PDF
例如：
- 數學教材
- 程式書
- 文學作品
5️⃣ PDF 是「網路深層知識」
很多高價值文件其實不在普通網頁列表：
例如：
- 大學課程講義
- 政府研究報告
- 科研資料
它們通常是：
example.edu/report.pdf
爬蟲抓到後，就會進入 AI 訓練資料。
6️⃣ 許多著名 AI 資料集包含大量 PDF
例如一些常見資料來源：
- Common Crawl
- arXiv
- Project Gutenberg
這些資料集都含有大量 PDF。
7️⃣ PDF 對 AI 的三個關鍵價值
AI 研究者常說 PDF 提供三種能力：
📚 長文本能力
模型學會：
- 長篇論述
- 結構化文章
- 章節邏輯
🧠 推理能力
論文與教材有：
- 推導
- 理論
- 分析
讓 AI 學到：
邏輯推理
學術寫作
技術說明
📐 數學與公式
PDF 中大量存在：
- LaTeX
- 公式
- 推導
例如：
- Transformer
- Diffusion
- RL
這些知識幾乎都來自論文 PDF。
🧠 一個很多人不知道的事
很多 AI 工程師私下說：
真正最值錢的 AI 訓練資料，其實不是 Reddit，而是「高品質 PDF」。
因為它們包含：
科學
數學
工程
深度推理
✅ 一句話總結
網頁讓 AI 學會「聊天」，而 PDF 讓 AI 學會「思考」。
