輝達 (NVIDIA, NVDA-US) 宣布推出四款全新的 NVIDIA NIM 微服務,專為台灣和日本市場量身定制,能夠根據當地語言和文化特點提供精確的理解和回應。這些服務旨在提升使用者互動,並使開發人員更輕鬆地構建和部署高效能的生成式 AI 應用。目前,台灣的和碩、欣興以及長春集團等公司已經採用了這些微服務。
輝達表示,各國目前都在積極推動主權 AI 的發展,利用自身的計算基礎設施、數據、勞動力及商業網絡來發展 AI 系統,確保其符合當地的價值觀、法律和利益。新推出的微服務支持各地常用的模型,滿足當地市場的需求。
根據 ABI Research 的數據,到2030年,亞太地區的生成式 AI 軟件市場預計將從今年的50億美元增長至480億美元。
這次推出的區域語言模型包括使用日文資料訓練的 Llama-3-Swallow-70B 和使用國語資料訓練的 Llama-3-Taiwan-70B,能夠更深入地了解當地的法律、規範和文化習俗。
輝達的微服務基於 Mistral-7B 模型,這些模型在 RakutenAI 7B 系列模型上進行訓練,使用英文和日文資料集,提供了兩種不同的 NIM 微服務,分別用於對話(Chat)和指令(Instruct)。樂天(Rakuten)的基礎和指令模型在開放的日文大型語言模型中表現突出,今年1至3月的 LM Evaluation Harness 基準中名列前茅。
輝達認為,利用特定地區語言訓練的大型語言模型(LLM)能更好地理解和反映當地文化及語言的微妙之處,有助於確保更精準的溝通和更有效的內容生成。與 Llama 3 等基礎 LLM 相比,這些模型在理解日語和國語、處理當地法律問題、回答問題、語言翻譯和內容總結方面表現優異。
從新加坡、阿拉伯聯合大公國、韓國和瑞典,到法國、義大利和印度,全球各國都在積極發展主權 AI 基礎設施。全新的 NIM 微服務使企業、政府機構和大學能夠在自己的環境中運行原生 LLM,從而開發先進的 AI 輔助功能、聊天機器人和 AI 助理。
輝達 AI Enterprise 提供的微服務利用 NVIDIA TensorRT-LLM 開源函式庫進行推論優化。適用於 Llama 3 70B 的 NIM 微服務可以提供最高達 5 倍的輸出量,而 Llama 3 70B 是全新 Llama-3-Swallow-70B 和 Llama-3-Taiwan-70B NIM 微服務的基礎模型,這不僅降低了在生產環境中運行模型的總成本,還能減少延遲,提升用戶體驗。
輝達對於 NIM 微服務的未來充滿信心,認為它們能更快速地生成精準結果,加速部署並提升整體效能,同時為全球各行業提供所需的安全保障,包括醫療保健、金融、製造業、教育和法律等領域。
隨著人工智慧技術的迅速發展,各行各業逐漸看到了AI在提升效率和改善服務品質方面的潛力。集仕多公司(ChoozMo)在這一波科技浪潮中,積極擁抱領域語言模型,並將其應用於客戶服務領域,成功推動了企業與客戶之間的互動方式,提升了服務品質與客戶滿意度。
領域語言模型是專門針對特定行業或領域進行訓練的人工智慧模型。與一般通用語言模型相比,領域模型能夠理解和生成更為專業和精確的內容。在集仕多公司的應用中,這些模型經過針對性訓練,能夠深入理解該行業的專業術語、常見問題以及行業特有的挑戰。
集仕多公司在客戶服務領域的應用主要包括以下幾個方面:
雖然領域語言模型在客戶服務中展現了巨大的潛力,但集仕多公司也面臨了一些挑戰: