針對結構化數據（如 API 文件、JSON 結構、代碼、或是規則手冊），您的訓練策略必須比處理一般文章更為精確。結構化數據的特性在於其「邏輯嚴密性」與「格式固定性」，這對模型來說既是挑戰也是優點。
在兩張 RTX 5090 上處理幾百 MB 的結構化數據，請務必優化以下三個核心環節：
1. 數據預處理：從「文字」到「邏輯塊」
結構化數據最忌諱被「隨機切斷」。如果一個 API 的定義被切成兩半放在不同的訓練樣本中，模型很難學會完整的邏輯。- Packing 策略：
使用 "Constant Length Padding"。將多個完整的結構化塊拼接到 4096 或 8192 個 Token，並在每個塊之間加入特殊的 EOS（End of Sequence）符號。
- 範例處理：如果數據是 API 文件，建議格式化為：
### Definition: [API_NAME] \n ### Schema: [JSON_BODY] \n ### Usage: [CODE_EXAMPLE] <|end_of_text|>
2. 訓練器的關鍵設定 (5090 特化)
處理結構化數據時，模型需要更高的注意力精確度。
優先級一：Flash Attention 3 與長文本
結構化數據往往包含長列表或嵌套結構。5090 配合 Flash Attention 3 可以輕鬆處理 8192 甚至更長的序列。
- 優點： 讓模型在看 API 的結尾時，依然能「記住」開頭的定義。
優先級二：Liger Kernel 的 FusedLinearCrossEntropy
由於結構化數據中包含大量重複的符號（如 {, }, [, ] 或特定 Key 值），這會導致模型在計算 Loss 時，最後一層的邏輯非常集中。
- 配置： 務必開啟 Liger Kernel，它優化的 Cross Entropy 計算能讓模型在面對高重複性 Token 時，梯度更新更穩定，且省下更多顯存。
3. DeepSpeed Stage 3 + 8-bit Adam
儘管 5090 很強，但全參數微調 7B 模型時，優化器狀態會佔用巨大空間。
- 配置建議： 使用 DeepSpeed ZeRO-3，並將
offload_optimizer設為cpu。同時，為了加速收斂並節省 RAM，建議使用bitsandbytes的 8-bit AdamW 優化器。
</>JSON
{
"zero_optimization": {
"stage": 3,
"offload_optimizer": {
"device": "cpu"
}
},
"optimizer": {
"type": "AdamW",
"params": {
"lr": 1e-5,
"betas": [0.9, 0.95],
"eps": 1e-8,
"weight_decay": 0.1
}
}
}
4. 針對結構化數據的特殊調整：學習率與權重衰減
- Learning Rate (LR)： 建議設為
1e-5。結構化數據不需要模型「發揮創意」，需要的是「精確記憶」。較低的 LR 能防止模型過度擬合（Overfitting）導致喪失對話能力。 - Weight Decay： 設為
0.1。這能強制模型學習數據背後的規律，而不是死背某個特定的 API 參數名稱。
5. 驗證與測試 (Evaluation)
訓練完成後，結構化數據的驗證不能只看 Loss，建議建立一個小的 測試集 (Evaluation Set)：
- 給予一個 API 名稱，看模型是否能輸出正確的 JSON 格式。
- 給予一個邏輯需求，看模型是否能調用正確的結構。
