DeepSeek 模型橫空出世,迅速席捲全球,成為軟體業界的新寵兒。各大軟體廠商紛紛爭相導入,連微軟也不例外,已將其整合進 Copilot+ PC、Azure AI Foundry 和 GitHub 等平台。
然而,在台灣,這類源自中國的技術快速崛起,難免引發資訊安全方面的討論與疑慮。但面對這股技術浪潮,仍讓人不禁好奇:DeepSeek 究竟有何獨到之處,能夠吸引全球目光?
在這篇文章中,我將分享透過GPT4ALL這個軟體親自安裝、掛載並實際操作 DeepSeek 模型的全過程,帶您安全地一同探索這項技術背後的魅力與潛力。
GPT4ALL 是一款開源的本地大型語言模型(LLM)應用程式,源自於美國新創公司 Nomic AI,允許使用者在個人電腦上運行類似 ChatGPT 的 AI 聊天模型。與需要網路連線的雲端 AI 服務不同,GPT4ALL 支援完全離線運行,這不僅提升了資料隱私安全,還能在無網路環境下提供穩定的 AI 互動體驗。
安裝過程肯定需要網路,但執行可以完全離線
GPT4ALL 的優勢在於其簡單的安裝流程和多樣的模型選擇,適用於不同作業系統(Windows、macOS 和 Linux),並且對硬體需求相對較低(參考文件更表示甚至不需要有GPU也可以運作),使得一般使用者也能輕鬆體驗本地 AI 模型的強大功能。
DeepSeek R1 是 DeepSeek 系列中最受矚目的模型之一,以其卓越的語言理解與生成能力而聞名。該模型結合了最新的深度學習技術,能夠處理各種複雜的任務,如邏輯推理、文本生成、程式碼撰寫等。
R1號稱對標GTP4-o1除了強大功能,也引發了不少的輿論,更重要的是他是開源的模型,所以任何人都可以在自己的電腦上進行部屬使用。
在了解了 GPT4ALL 和 DeepSeek R1 的背景與特性後,大家可能會好奇,為什麼選擇在本地端進行模型佈署?
本地端部署就是把模型資料庫狀在自己的電腦上用自己的GPU去跑,最大的優勢在於資料隱私與安全性。
與雲端服務不同,本地運行模型意味著所有數據都留存在自己的設備上,無需擔心敏感資訊被上傳至第三方伺服器。此外,本地部署相對網路穩定,並能在離線環境下隨時使用,也沒有次數限制,算是免費仔福音?
接下來,我們將進入實作階段,一步步完成 GPT4ALL 的安裝,並在本地端部署 DeepSeek 開源模型,體驗其強大的語言生成與推理能力。
在開始安裝與使用前,確保您的電腦環境符合以下條件:
我的硬體
顯示卡:NVIDIA 4070 with 12GB 記憶體
RAM:DDR5-64GB ⚡
硬碟:SSD 1TB 💾
到這邊之後,其實就準備告一段落,有資安疑慮的就可以切斷網路了,後續不需要上傳或下載任何資訊就能運作。
如果裝有其他模型,就可以在上方進行切換或選擇模型種類
我用deepseek進行一些python程式碼的研究與學習,用以補足使用達gpt次數限制後的需求,而且程式碼產出的速度在自己電腦上也是挺快的,效果不差,如果有什麼問題再去問GPT作交岔驗證也不錯。
如果對他解題的方式感到好奇,也可以點擊按鈕展開看他怎麼思考問題。
和gpt不同的是,可以發現他基本都是用簡體中文思考,然後也有前後文記憶的功能。但用久了感覺他會有點思考卡頓沒辦法像GPT那麼流暢的在不同議題間轉換想法,所以要適時清空重來,在使用上要多加注意記錄自己需要的生成結果。
然後經過一些敏感議題問答,確實本地端也會對敏感議題進行防備,甚至沒有相關學習資訊,所以想要壞壞的朋友,應該會不如預期XD
在自己電腦上佈署AI聽起來是一件很酷的事情,但有gpt4all這個簡單的介面以後,似乎也不會離我們那麼遙遠,也成功在自己電腦上安裝開源模型,而這個世界也不是只有最近爆紅的DEEPSEEK而已,資料庫中還有很多各具特色的模型可以進行下載研究。
不過,硬體需求確實也是一道門檻。首先,需要有足夠的硬碟空間來存放模型資料庫,這就像是儲藏室一樣保存所有必要的食材。接著,主記憶體就好比冰箱,負責暫時存放需要快速取用的食材;而顯示卡記憶體則像是料理中島,將準備好的食材擺放好,隨時準備進行烹飪。最後,GPU 就是那位主廚,負責將這些食材加工成美味佳餚,也就是我們最終看到的 AI 回應。
當前主流的開源大型語言模型(LLM)主要集中在8B到70B參數的範圍內。例如,Meta的Llama 3系列就提供了8B和70B兩種版本,也許之後可以挑戰看看這些模型的效果(可能也是挑戰錢包厚度...)。
總之就是個很有趣的體驗分享,給覺得困難或好奇的朋友們有機會一探究竟。
最後補充,我們能下載到的R1-Distill-7B這個版本相當於用R1蒸餾再蒸餾、濃縮再濃縮出來的版本,並不是滿血版的R1模型,如果要用滿血版要另外搜尋安裝,這邊就不多示範。
我目前只會這些淺顯的用法,當然GPT4ALL本身還有很多功能可以和其他工具例如PYTHON做串接,讓你用自己的開源模型輔助寫程式,當然也可以直接串接OPENAI的API,有興趣的可以上他的技術網站作深入研究。
如果你也是這類技術和研究的愛好者,歡迎收藏或分享這篇文章唷~ ❤️✨