13-avatar-img

13

3 位追蹤者

13

3 位追蹤者
在台灣的 iOS 開發者圈中大家知道的那位 13。喜歡分享,不賣焦慮。
avatar-img
13+
2.5K會員
153內容數
13 以 10+ 年 iOS 開發經驗為基礎撰寫,助你在 AI 時代成為更有自信的技術工作者。 ❤️ 支持 13 創作! 🤖 AI 工具實戰經驗與深度思考 🧠 軟體開發思維、職涯發展建議 💡 實用技巧與踩坑經驗分享 😔 開發者身心健康與職業傷害
全部內容
由新到舊
AnyLanguageModel 讓 Hugging Face 上的開源 LLM 很容易下載與開始使用,只要三行程式碼就可以呼叫 MLX 框架以及配套工具。我也更新了範例專案,可以直接在 Mac 與 iOS 裝置上試玩。
我們發現 AnyLanguageModel 還沒有 100% 實現 Foundation Models framework 的功能,但我們已經可以透過它替換成其他模型。本文以 LM Studio 的伺服器功能,讓 App 可以去呼叫 Mac 上的開源 LLM,生成結果。
分享兩個踩坑 AnyLanguageModel 過程中實際遇到的問題與解法。一個我發了熱騰騰的 PR,另一個則是借用相同的 Swift Package 機制來實現切換依賴模組。
AnyLanguageModel 是相容 Foundation Models framework 語法的模型替換套件。理想上能輕鬆替換 Apple Intelligence 的 Foundation Models,換成第三方開源本地模型,或是 OpenAI 等雲端模型。實際狀況如何呢?
本系列關於 Foundation Models framework 的相關文章即將完結。說明有哪些延伸探索的方向、各種參考資源,並預告把目前所學遷移到其他語言模型。
開發裝置端 AI 功能,測量效能是必要工作。首先介紹 Instruments 如何上手,觀察效能瓶頸。而為了能支援重複測試任意的 @Generable 型別,我寫了一個 SwiftUI View 作為工具,讓你可以快速把要生成的物件與畫面整合起來。
介紹一些提升使用者體驗的方向,把 context window、guardrail 等重要議題視為使用者體驗設計的一環,並整理各種可能發生的錯誤。妥善處理錯誤,就是提升體驗的機會。
語言模型雖然有很多知識,但沒有即時資訊,也不擅長數學計算。如果需要存取模型以外的資訊或運算,我們可以提供呼叫外部的工具。不過,重點是判斷什麼情況才該使用。
能輕鬆實現漸進式使用者體驗 為了不讓使用者等待,App 應該漸進地顯示生成的結果。但是,為了達到這個目的,你願意自行拼湊並解析 LLM 吐出過程中的不完整 JSON 字串嗎?太痛苦了。Foundation Models framework 提供給開發者十分優雅的方式避開這個麻煩,而且能直接沿用先前
既然 Foundation Models framework 具備結構化輸出的功能,那麼輸入提示詞有沒有類似的機制?有的,Apple 提供了 PromptBuilder,讓開發者輕鬆依照程式條件來調整 prompt,並且能與結構化輸出的 Generable protocol 整合。