首頁內容關於
AI 工程師的 LLM 筆記
ArmoRM-Llama3-8B-v0.1 模型，能從多個面向（誠實性、詳盡度、安全性等）評估LLM生成的文本。包含架構說明、評分方式、輸入(Prompt, Response, messages)、輸出(19項評估，包含HelpSteer dataset的五種評估)以及使用範例。
採用 SynEval 工具，從「隱私保護（Privacy preservation）」出發，同時兼顧「保真度（Fidelity）」與「實用性（Utility）」，確保在支持下游任務的前提下，不洩露敏感資訊。利用TSTR框架和MAE、準確率等指標評估實用性，透過推斷攻擊評估隱私保護效果。
延續上篇所介紹的 Nemotron-4 340B Technical Report 細說合成資料集的流程，可以依據需要使用其中的步驟（流程），建置自己的合成資料生產線，最後附上範例 Prompt
由 NVIDIA 發表，包括 Base、Instruct 與 Reward 三個版本，在 alignment 過程中超過 98% 的微調資料來自合成資料生成流程，展現有效運用 synthetic data 發展對齊模型的能力。
Phi‑3 系列透過大量高品質與合成資料訓練，並結合 RLHF、對齊與自動測試，推出 3.8B 至 14B 的小模型與 4.2B 參數的多模態 Phi‑3‑Vision，在理解、推理、生成與圖像理解任務上表現突破，支援手機部署與低延遲場景。
Microsoft Research 發表《Textbooks Are All You Need II: phi-1.5 technical report》，Phi-1.5 展現高品質合成資料（教科書等級）的潛力，以僅 1.3B 參數在常識推理與語言理解上媲美大型模型，挑戰「參數規模至上」的傳統觀點
微軟的研究論文《Textbooks Are All You Need》提出以高品質教科書資料訓練語言模型，開發出僅 1.3B 參數的 phi-1 模型，其效能在程式碼生成任務上媲美參數量更大的模型。此論文探討了高品質資料的重要性，包含資料過濾、合成教科書資料集的建立，以及模型架構與訓練過程。
使用大型語言模型（LLM）生成合成資料作為訓練語料的可行性與實務應用。根據研究顯示，合成資料在某些任務上可達到與真實資料相近的效果，具備部分替代潛力。高品質訓練資料對模型表現的重要性，並討論合成資料的生成策略與評估方法。
討論合成資料的定義、優勢、取得手法、應用場景、挑戰以及未來發展。合成資料透過人工方法或生成模型創造，可用於補充或取代真實資料，應用於機器學習、資料隱私保護、醫療研究和金融風險分析等領域。然而，合成資料也面臨真實性、偏差、成本和驗證難度等挑戰。
ArmoRM-Llama3-8B-v0.1 模型，能從多個面向（誠實性、詳盡度、安全性等）評估LLM生成的文本。包含架構說明、評分方式、輸入(Prompt, Response, messages)、輸出(19項評估，包含HelpSteer dataset的五種評估)以及使用範例。
採用 SynEval 工具，從「隱私保護（Privacy preservation）」出發，同時兼顧「保真度（Fidelity）」與「實用性（Utility）」，確保在支持下游任務的前提下，不洩露敏感資訊。利用TSTR框架和MAE、準確率等指標評估實用性，透過推斷攻擊評估隱私保護效果。
延續上篇所介紹的 Nemotron-4 340B Technical Report 細說合成資料集的流程，可以依據需要使用其中的步驟（流程），建置自己的合成資料生產線，最後附上範例 Prompt
由 NVIDIA 發表，包括 Base、Instruct 與 Reward 三個版本，在 alignment 過程中超過 98% 的微調資料來自合成資料生成流程，展現有效運用 synthetic data 發展對齊模型的能力。
Phi‑3 系列透過大量高品質與合成資料訓練，並結合 RLHF、對齊與自動測試，推出 3.8B 至 14B 的小模型與 4.2B 參數的多模態 Phi‑3‑Vision，在理解、推理、生成與圖像理解任務上表現突破，支援手機部署與低延遲場景。
Microsoft Research 發表《Textbooks Are All You Need II: phi-1.5 technical report》，Phi-1.5 展現高品質合成資料（教科書等級）的潛力，以僅 1.3B 參數在常識推理與語言理解上媲美大型模型，挑戰「參數規模至上」的傳統觀點
微軟的研究論文《Textbooks Are All You Need》提出以高品質教科書資料訓練語言模型，開發出僅 1.3B 參數的 phi-1 模型，其效能在程式碼生成任務上媲美參數量更大的模型。此論文探討了高品質資料的重要性，包含資料過濾、合成教科書資料集的建立，以及模型架構與訓練過程。
使用大型語言模型（LLM）生成合成資料作為訓練語料的可行性與實務應用。根據研究顯示，合成資料在某些任務上可達到與真實資料相近的效果，具備部分替代潛力。高品質訓練資料對模型表現的重要性，並討論合成資料的生成策略與評估方法。
討論合成資料的定義、優勢、取得手法、應用場景、挑戰以及未來發展。合成資料透過人工方法或生成模型創造，可用於補充或取代真實資料，應用於機器學習、資料隱私保護、醫療研究和金融風險分析等領域。然而，合成資料也面臨真實性、偏差、成本和驗證難度等挑戰。
隨著 Agent 任務複雜度的提升，單純擴大上下文窗口已無法滿足需求，反而可能因計算成本和「注意力衰減」問題導致效率下降。傳統 RAG 的局限性，結合短期與長期記憶、發展情境感知檢索、上下文壓縮等策略的解決方案，對於構建更智能、更能解決複雜問題的 LLM Agent 至關重要。
大型語言模型在解決問題上的能力日益提升，但傳統方法如 CoT 仍有其侷限性。本文介紹Tree of Thoughts(ToT)方法，一種讓LLM更有效解決問題的方法。ToT將問題解決過程視為一棵樹，每個節點代表一個解決方案，透過LLM選擇並探索節點，直到找到最佳答案。
本文探討大型語言模型中提示工程的演進，從 Few-shot CoT、Zero-shot CoT 到 Self-Consistency 和Automatic CoT。說明優缺點及應用場景，並重點介紹 Automatic CoT如何提升模型效能。
本文簡介提示工程（Prompt Engineering）在大型語言模型（LLM）應用中的關鍵角色，說明如何設計與格式化提示詞（Prompts），並比較零樣本與少樣本提示的應用差異，同時介紹提示的四大元素：指令、語境、輸入與輸出指示，協助讀者有效提升模型表現。
隨著 Agent 任務複雜度的提升，單純擴大上下文窗口已無法滿足需求，反而可能因計算成本和「注意力衰減」問題導致效率下降。傳統 RAG 的局限性，結合短期與長期記憶、發展情境感知檢索、上下文壓縮等策略的解決方案，對於構建更智能、更能解決複雜問題的 LLM Agent 至關重要。
大型語言模型在解決問題上的能力日益提升，但傳統方法如 CoT 仍有其侷限性。本文介紹Tree of Thoughts(ToT)方法，一種讓LLM更有效解決問題的方法。ToT將問題解決過程視為一棵樹，每個節點代表一個解決方案，透過LLM選擇並探索節點，直到找到最佳答案。
本文探討大型語言模型中提示工程的演進，從 Few-shot CoT、Zero-shot CoT 到 Self-Consistency 和Automatic CoT。說明優缺點及應用場景，並重點介紹 Automatic CoT如何提升模型效能。
本文簡介提示工程（Prompt Engineering）在大型語言模型（LLM）應用中的關鍵角色，說明如何設計與格式化提示詞（Prompts），並比較零樣本與少樣本提示的應用差異，同時介紹提示的四大元素：指令、語境、輸入與輸出指示，協助讀者有效提升模型表現。
