大型語言模型
含有「大型語言模型」共 61 篇內容
全部內容
發佈日期由新至舊
一篇來自煉金工坊的提示工程學筆記。我們將揭示可被複製的儀式步驟（科學），並附上我在實踐中的個人哲思（玄學）。一趟深入咒語構築核心的雙軌之旅。
也許大部分的人聽過甚至用過 ChatGPT ，也可能看過 DeepSeek 的崛起影響了世界等等的報導，但有沒有想過它們到底為什麼突然能派上用場？從早期只能補字的小模型，到如今能進行翻譯、推理甚至聊天，這篇針對「湧現能力」與「上下文學習」來說明LLM 從「不能用」到「很好用」的轉變。
最近大家都在擔心AI會不會讓我們變笨，這讓羊羹我想起過去我們對網路的焦慮。其實真正的問題不在工具，而在我們自己的學習習慣。與其被動地搜尋答案不如學習如何與AI建構一場有深度的對話，將它從一個答案販賣機，升級為我們思考時最強大的陪練員。這是一場思維的升級，不僅不會被淘汰，反而變得比以往更強大。
採用 SynEval 工具，從「隱私保護（Privacy preservation）」出發，同時兼顧「保真度（Fidelity）」與「實用性（Utility）」，確保在支持下游任務的前提下，不洩露敏感資訊。利用TSTR框架和MAE、準確率等指標評估實用性，透過推斷攻擊評估隱私保護效果。
延續上篇所介紹的 Nemotron-4 340B Technical Report 細說合成資料集的流程，可以依據需要使用其中的步驟（流程），建置自己的合成資料生產線，最後附上範例 Prompt
由 NVIDIA 發表，包括 Base、Instruct 與 Reward 三個版本，在 alignment 過程中超過 98% 的微調資料來自合成資料生成流程，展現有效運用 synthetic data 發展對齊模型的能力。
Phi‑3 系列透過大量高品質與合成資料訓練，並結合 RLHF、對齊與自動測試，推出 3.8B 至 14B 的小模型與 4.2B 參數的多模態 Phi‑3‑Vision，在理解、推理、生成與圖像理解任務上表現突破，支援手機部署與低延遲場景。
Microsoft Research 發表《Textbooks Are All You Need II: phi-1.5 technical report》，Phi-1.5 展現高品質合成資料（教科書等級）的潛力，以僅 1.3B 參數在常識推理與語言理解上媲美大型模型，挑戰「參數規模至上」的傳統觀點
使用大型語言模型（LLM）生成合成資料作為訓練語料的可行性與實務應用。根據研究顯示，合成資料在某些任務上可達到與真實資料相近的效果，具備部分替代潛力。高品質訓練資料對模型表現的重要性，並討論合成資料的生成策略與評估方法。
本文探討大型語言模型中提示工程的演進，從 Few-shot CoT、Zero-shot CoT 到 Self-Consistency 和Automatic CoT。說明優缺點及應用場景，並重點介紹 Automatic CoT如何提升模型效能。
