本地AI
含有「本地AI」共 22 篇內容
全部內容
發佈日期由新至舊
整理截至 2026 年 3 月，對個人創作者、一人公司、自由工作者最具影響力的 AI 結構性趨勢。
2026/03 的主線不是「哪個模型最強」，而是「開源＋小模型＋工作流 Agent」讓個人/小團隊用更低成本做出接近大團隊的產能。
企業與開發者在推動 AI 專案時，常面臨雲端運算成本高昂、資料隱私外洩風險，以及網路延遲等挑戰。Dell 最新推出的 Pro Max with GB300 工作站將資料中心的強大算力濃縮至桌面，讓開發團隊能在零妥協的情況下，實現前沿水準的 AI 創新。
Foundation Models framework 大幅降低了 iOS 開發者使用離線 LLM 的門檻。關鍵還是開發者有沒有找到適合幫 App 加分的用法。
AnyLanguageModel 讓 Hugging Face 上的開源 LLM 很容易下載與開始使用，只要三行程式碼就可以呼叫 MLX 框架以及配套工具。我也更新了範例專案，可以直接在 Mac 與 iOS 裝置上試玩。
我們發現 AnyLanguageModel 還沒有 100% 實現 Foundation Models framework 的功能，但我們已經可以透過它替換成其他模型。本文以 LM Studio 的伺服器功能，讓 App 可以去呼叫 Mac 上的開源 LLM，生成結果。
分享兩個踩坑 AnyLanguageModel 過程中實際遇到的問題與解法。一個我發了熱騰騰的 PR，另一個則是借用相同的 Swift Package 機制來實現切換依賴模組。
AnyLanguageModel 是相容 Foundation Models framework 語法的模型替換套件。理想上能輕鬆替換 Apple Intelligence 的 Foundation Models，換成第三方開源本地模型，或是 OpenAI 等雲端模型。實際狀況如何呢？
本系列關於 Foundation Models framework 的相關文章即將完結。說明有哪些延伸探索的方向、各種參考資源，並預告把目前所學遷移到其他語言模型。
開發裝置端 AI 功能，測量效能是必要工作。首先介紹 Instruments 如何上手，觀察效能瓶頸。而為了能支援重複測試任意的 @Generable 型別，我寫了一個 SwiftUI View 作為工具，讓你可以快速把要生成的物件與畫面整合起來。
介紹一些提升使用者體驗的方向，把 context window、guardrail 等重要議題視為使用者體驗設計的一環，並整理各種可能發生的錯誤。妥善處理錯誤，就是提升體驗的機會。