親身體驗 DeepSeek:安裝、掛載與使用心得全記錄

更新於 發佈於 閱讀時間約 7 分鐘

引言

DeepSeek 模型橫空出世,迅速席捲全球,成為軟體業界的新寵兒。各大軟體廠商紛紛爭相導入,連微軟也不例外,已將其整合進 Copilot+ PC、Azure AI Foundry 和 GitHub 等平台。

然而,在台灣,這類源自中國的技術快速崛起,難免引發資訊安全方面的討論與疑慮。但面對這股技術浪潮,仍讓人不禁好奇:DeepSeek 究竟有何獨到之處,能夠吸引全球目光?

在這篇文章中,我將分享透過GPT4ALL這個軟體親自安裝、掛載並實際操作 DeepSeek 模型的全過程,帶您安全地一同探索這項技術背後的魅力與潛力。


什麼是 GPT4ALL?

GPT4ALL 是一款開源的本地大型語言模型(LLM)應用程式,源自於美國新創公司 Nomic AI,允許使用者在個人電腦上運行類似 ChatGPT 的 AI 聊天模型。與需要網路連線的雲端 AI 服務不同,GPT4ALL 支援完全離線運行,這不僅提升了資料隱私安全,還能在無網路環境下提供穩定的 AI 互動體驗。

安裝過程肯定需要網路,但執行可以完全離線

GPT4ALL 的優勢在於其簡單的安裝流程和多樣的模型選擇,適用於不同作業系統(Windows、macOS 和 Linux),並且對硬體需求相對較低(參考文件更表示甚至不需要有GPU也可以運作),使得一般使用者也能輕鬆體驗本地 AI 模型的強大功能。

官網首頁顯示Run Deepseek R1 Privately

官網首頁顯示Run Deepseek R1 Privately



什麼是 DeepSeek R1?

DeepSeek R1 是 DeepSeek 系列中最受矚目的模型之一,以其卓越的語言理解與生成能力而聞名。該模型結合了最新的深度學習技術,能夠處理各種複雜的任務,如邏輯推理、文本生成、程式碼撰寫等。

R1號稱對標GTP4-o1除了強大功能,也引發了不少的輿論,更重要的是他是開源的模型,所以任何人都可以在自己的電腦上進行部屬使用。

deepseek官網,對資安有疑慮的千萬不要註冊

deepseek官網,對資安有疑慮的千萬不要註冊


為什麼要本地端佈署

在了解了 GPT4ALL 和 DeepSeek R1 的背景與特性後,大家可能會好奇,為什麼選擇在本地端進行模型佈署?

本地端部署就是把模型資料庫狀在自己的電腦上用自己的GPU去跑,最大的優勢在於資料隱私與安全性。

與雲端服務不同,本地運行模型意味著所有數據都留存在自己的設備上,無需擔心敏感資訊被上傳至第三方伺服器。此外,本地部署相對網路穩定,並能在離線環境下隨時使用,也沒有次數限制,算是免費仔福音?

接下來,我們將進入實作階段,一步步完成 GPT4ALL 的安裝,並在本地端部署 DeepSeek 開源模型,體驗其強大的語言生成與推理能力。


安裝與佈署流程

1.環境準備

在開始安裝與使用前,確保您的電腦環境符合以下條件:

  • 作業系統:Windows、macOS 或 Linux
  • 硬體需求:建議 8GB 以上記憶體,足夠的硬碟儲存空間(至少 10GB 以供模型下載與運行)
  • 網路連線:初次下載模型需網路連線,後續可離線使用
  • 顯示卡:一般都需要搭載cuda核心的nvidia顯示卡
  • GPT4All can run on CPU, Metal (Apple Silicon M1+), and GPU.

我的硬體
顯示卡:NVIDIA 4070 with 12GB 記憶體
RAM:DDR5-64GB ⚡
硬碟:SSD 1TB 💾


2. 安裝 GPT4ALL 軟體

  1. 前往 GPT4ALL 官方網站或 GitHub 頁面下載適合您作業系統的安裝檔。
  2. 執行安裝程式,並依照畫面指示完成安裝過程。
  3. 安裝完成後,啟動 GPT4ALL 軟體,進入主介面。
  4. 開啟時可以選擇不要回傳任何資訊。
到官網首頁進行下載

到官網首頁進行下載

按照一般步驟進行安裝

按照一般步驟進行安裝

進入主畫面前,兩個問題都勾選否

進入主畫面前,兩個問題都勾選否


3. 下載與掛載 DeepSeek 模型

  1. 在 GPT4ALL 介面中,選擇「搜尋模型」選項。
  2. 搜尋 DeepSeek 模型,並選擇適合的版本進行下載。(這邊先使用deepseek-r1-7b)
  3. 下載完成後,點擊左邊「模型」按鈕,可以檢視目前裝有哪些模型。


進入主介面,按下左邊那顆

進入主介面,按下左邊那顆

搜索各式開源模型

搜索各式開源模型

我們針對硬體要求最低的7B進行下載測試

我們針對硬體要求最低的7B進行下載測試

檢視已安裝模型種類

檢視已安裝模型種類

到這邊之後,其實就準備告一段落,有資安疑慮的就可以切斷網路了,後續不需要上傳或下載任何資訊就能運作。

4. 實際操作與測試範例

  1. 在首頁點擊「開始交談」或「我的文件」。
  2. 選擇並載入deepseek-r1-7b模型。
  3. 開始進行對話
回到首頁點擊「開始交談」

回到首頁點擊「開始交談」

可以點擊上方選擇模型,或點擊中間選擇預設模型

可以點擊上方選擇模型,或點擊中間選擇預設模型

如果裝有其他模型,就可以在上方進行切換或選擇模型種類

使用介面

使用介面

清除重來的按鈕

清除重來的按鈕


5.簡單使用心得

我用deepseek進行一些python程式碼的研究與學習,用以補足使用達gpt次數限制後的需求,而且程式碼產出的速度在自己電腦上也是挺快的,效果不差,如果有什麼問題再去問GPT作交岔驗證也不錯。

如果對他解題的方式感到好奇,也可以點擊按鈕展開看他怎麼思考問題。

和gpt不同的是,可以發現他基本都是用簡體中文思考,然後也有前後文記憶的功能。但用久了感覺他會有點思考卡頓沒辦法像GPT那麼流暢的在不同議題間轉換想法,所以要適時清空重來,在使用上要多加注意記錄自己需要的生成結果。

然後經過一些敏感議題問答,確實本地端也會對敏感議題進行防備,甚至沒有相關學習資訊,所以想要壞壞的朋友,應該會不如預期XD

透過DS進行PYTHON程式學習

透過DS進行PYTHON程式學習

偷看他的思考過程

偷看他的思考過程



deepseek有偶像包袱,可能需要更多方法讓他在自在一些

deepseek有偶像包袱,可能需要更多方法讓他在自在一些


結語

在自己電腦上佈署AI聽起來是一件很酷的事情,但有gpt4all這個簡單的介面以後,似乎也不會離我們那麼遙遠,也成功在自己電腦上安裝開源模型,而這個世界也不是只有最近爆紅的DEEPSEEK而已,資料庫中還有很多各具特色的模型可以進行下載研究。

不過,硬體需求確實也是一道門檻。首先,需要有足夠的硬碟空間來存放模型資料庫,這就像是儲藏室一樣保存所有必要的食材。接著,主記憶體就好比冰箱,負責暫時存放需要快速取用的食材;而顯示卡記憶體則像是料理中島,將準備好的食材擺放好,隨時準備進行烹飪。最後,GPU 就是那位主廚,負責將這些食材加工成美味佳餚,也就是我們最終看到的 AI 回應。

當前主流的開源大型語言模型(LLM)主要集中在8B到70B參數的範圍內。例如,Meta的Llama 3系列就提供了8B和70B兩種版本,也許之後可以挑戰看看這些模型的效果(可能也是挑戰錢包厚度...)。

總之就是個很有趣的體驗分享,給覺得困難或好奇的朋友們有機會一探究竟。

最後補充,我們能下載到的R1-Distill-7B這個版本相當於用R1蒸餾再蒸餾、濃縮再濃縮出來的版本,並不是滿血版的R1模型,如果要用滿血版要另外搜尋安裝,這邊就不多示範。
R1非蒸餾版(有點大,要確定裝的下)

R1非蒸餾版(有點大,要確定裝的下)


我目前只會這些淺顯的用法,當然GPT4ALL本身還有很多功能可以和其他工具例如PYTHON做串接,讓你用自己的開源模型輔助寫程式,當然也可以直接串接OPENAI的API,有興趣的可以上他的技術網站作深入研究。

如果你也是這類技術和研究的愛好者,歡迎收藏或分享這篇文章唷~ ❤️✨

留言
avatar-img
留言分享你的想法!
avatar-img
RAY的學習筆記
23會員
55內容數
📚 熱愛閱讀與金融市場的業餘知識工作者。 🧭 投資是一段認識自己的旅程,而我在這裡記錄腳步。 🌿 這裡不是標準答案的產地,而是我安靜輸出、慢慢釐清想法的所在。
你可能也想看
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
全球科技產業的焦點,AKA 全村的希望 NVIDIA,於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1,實際日曆期間為今年二到四月),交出了打敗了市場預期的成績單。然而,在銷售持續高速成長的同時,川普政府加大對於中國的晶片管制......
Thumbnail
全球科技產業的焦點,AKA 全村的希望 NVIDIA,於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1,實際日曆期間為今年二到四月),交出了打敗了市場預期的成績單。然而,在銷售持續高速成長的同時,川普政府加大對於中國的晶片管制......
Thumbnail
重點摘要: 6 月繼續維持基準利率不變,強調維持高利率主因為關稅 點陣圖表現略為鷹派,收斂 2026、2027 年降息預期 SEP 連續 2 季下修 GDP、上修通膨預測值 --- 1.繼續維持利率不變,強調需要維持高利率是因為關稅: 聯準會 (Fed) 召開 6 月利率會議
Thumbnail
重點摘要: 6 月繼續維持基準利率不變,強調維持高利率主因為關稅 點陣圖表現略為鷹派,收斂 2026、2027 年降息預期 SEP 連續 2 季下修 GDP、上修通膨預測值 --- 1.繼續維持利率不變,強調需要維持高利率是因為關稅: 聯準會 (Fed) 召開 6 月利率會議
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
當然以微軟的角度來說,將AI PC限縮成Copilot+ PC有利於將Copliot = AI的話語權綁在自己身上,畢竟其認定最大對手蘋果也開始使用AI PC一詞,與其在同個領域搶話語權,不如把重心移到自家的Copilot上,所以這次微軟也發表了一系列Copilot的功能
Thumbnail
當然以微軟的角度來說,將AI PC限縮成Copilot+ PC有利於將Copliot = AI的話語權綁在自己身上,畢竟其認定最大對手蘋果也開始使用AI PC一詞,與其在同個領域搶話語權,不如把重心移到自家的Copilot上,所以這次微軟也發表了一系列Copilot的功能
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
NVIDIA的Blackwell計算平台代表著實時生成式AI應用的重大進步,旨在滿足跨行業挑戰。此平台提升了計算效能,促進了AI在實體世界的應用,並對從自動駕駛到醫療診斷等多個領域產生了深遠影響。NVIDIA 黃仁勳的願景是將AI技術從虛擬世界帶入現實,為創新開闢新道路,一個更加智慧和互聯的未來。
Thumbnail
NVIDIA的Blackwell計算平台代表著實時生成式AI應用的重大進步,旨在滿足跨行業挑戰。此平台提升了計算效能,促進了AI在實體世界的應用,並對從自動駕駛到醫療診斷等多個領域產生了深遠影響。NVIDIA 黃仁勳的願景是將AI技術從虛擬世界帶入現實,為創新開闢新道路,一個更加智慧和互聯的未來。
Thumbnail
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署,包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等,並進行相關安裝過程說明。
Thumbnail
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署,包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等,並進行相關安裝過程說明。
Thumbnail
近年來,隨著科技的迅速發展,軟體開發領域也在不斷演進。在這股潮流中,敏捷開發備受矚目,成為企業追求靈活性和快速交付的首選方法。本文將探討敏捷開發在台灣的現況,深入了解這一趨勢的興起、面臨的挑戰以及實踐的實際情況。
Thumbnail
近年來,隨著科技的迅速發展,軟體開發領域也在不斷演進。在這股潮流中,敏捷開發備受矚目,成為企業追求靈活性和快速交付的首選方法。本文將探討敏捷開發在台灣的現況,深入了解這一趨勢的興起、面臨的挑戰以及實踐的實際情況。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News