親身體驗 DeepSeek:安裝、掛載與使用心得全記錄

更新於 發佈於 閱讀時間約 7 分鐘

引言

DeepSeek 模型橫空出世,迅速席捲全球,成為軟體業界的新寵兒。各大軟體廠商紛紛爭相導入,連微軟也不例外,已將其整合進 Copilot+ PC、Azure AI Foundry 和 GitHub 等平台。

然而,在台灣,這類源自中國的技術快速崛起,難免引發資訊安全方面的討論與疑慮。但面對這股技術浪潮,仍讓人不禁好奇:DeepSeek 究竟有何獨到之處,能夠吸引全球目光?

在這篇文章中,我將分享透過GPT4ALL這個軟體親自安裝、掛載並實際操作 DeepSeek 模型的全過程,帶您安全地一同探索這項技術背後的魅力與潛力。


什麼是 GPT4ALL?

GPT4ALL 是一款開源的本地大型語言模型(LLM)應用程式,源自於美國新創公司 Nomic AI,允許使用者在個人電腦上運行類似 ChatGPT 的 AI 聊天模型。與需要網路連線的雲端 AI 服務不同,GPT4ALL 支援完全離線運行,這不僅提升了資料隱私安全,還能在無網路環境下提供穩定的 AI 互動體驗。

安裝過程肯定需要網路,但執行可以完全離線

GPT4ALL 的優勢在於其簡單的安裝流程和多樣的模型選擇,適用於不同作業系統(Windows、macOS 和 Linux),並且對硬體需求相對較低(參考文件更表示甚至不需要有GPU也可以運作),使得一般使用者也能輕鬆體驗本地 AI 模型的強大功能。

官網首頁顯示Run Deepseek R1 Privately

官網首頁顯示Run Deepseek R1 Privately



什麼是 DeepSeek R1?

DeepSeek R1 是 DeepSeek 系列中最受矚目的模型之一,以其卓越的語言理解與生成能力而聞名。該模型結合了最新的深度學習技術,能夠處理各種複雜的任務,如邏輯推理、文本生成、程式碼撰寫等。

R1號稱對標GTP4-o1除了強大功能,也引發了不少的輿論,更重要的是他是開源的模型,所以任何人都可以在自己的電腦上進行部屬使用。

deepseek官網,對資安有疑慮的千萬不要註冊

deepseek官網,對資安有疑慮的千萬不要註冊


為什麼要本地端佈署

在了解了 GPT4ALL 和 DeepSeek R1 的背景與特性後,大家可能會好奇,為什麼選擇在本地端進行模型佈署?

本地端部署就是把模型資料庫狀在自己的電腦上用自己的GPU去跑,最大的優勢在於資料隱私與安全性。

與雲端服務不同,本地運行模型意味著所有數據都留存在自己的設備上,無需擔心敏感資訊被上傳至第三方伺服器。此外,本地部署相對網路穩定,並能在離線環境下隨時使用,也沒有次數限制,算是免費仔福音?

接下來,我們將進入實作階段,一步步完成 GPT4ALL 的安裝,並在本地端部署 DeepSeek 開源模型,體驗其強大的語言生成與推理能力。


安裝與佈署流程

1.環境準備

在開始安裝與使用前,確保您的電腦環境符合以下條件:

  • 作業系統:Windows、macOS 或 Linux
  • 硬體需求:建議 8GB 以上記憶體,足夠的硬碟儲存空間(至少 10GB 以供模型下載與運行)
  • 網路連線:初次下載模型需網路連線,後續可離線使用
  • 顯示卡:一般都需要搭載cuda核心的nvidia顯示卡
  • GPT4All can run on CPU, Metal (Apple Silicon M1+), and GPU.

我的硬體
顯示卡:NVIDIA 4070 with 12GB 記憶體
RAM:DDR5-64GB ⚡
硬碟:SSD 1TB 💾


2. 安裝 GPT4ALL 軟體

  1. 前往 GPT4ALL 官方網站或 GitHub 頁面下載適合您作業系統的安裝檔。
  2. 執行安裝程式,並依照畫面指示完成安裝過程。
  3. 安裝完成後,啟動 GPT4ALL 軟體,進入主介面。
  4. 開啟時可以選擇不要回傳任何資訊。
到官網首頁進行下載

到官網首頁進行下載

按照一般步驟進行安裝

按照一般步驟進行安裝

進入主畫面前,兩個問題都勾選否

進入主畫面前,兩個問題都勾選否


3. 下載與掛載 DeepSeek 模型

  1. 在 GPT4ALL 介面中,選擇「搜尋模型」選項。
  2. 搜尋 DeepSeek 模型,並選擇適合的版本進行下載。(這邊先使用deepseek-r1-7b)
  3. 下載完成後,點擊左邊「模型」按鈕,可以檢視目前裝有哪些模型。


進入主介面,按下左邊那顆

進入主介面,按下左邊那顆

搜索各式開源模型

搜索各式開源模型

我們針對硬體要求最低的7B進行下載測試

我們針對硬體要求最低的7B進行下載測試

檢視已安裝模型種類

檢視已安裝模型種類

到這邊之後,其實就準備告一段落,有資安疑慮的就可以切斷網路了,後續不需要上傳或下載任何資訊就能運作。

4. 實際操作與測試範例

  1. 在首頁點擊「開始交談」或「我的文件」。
  2. 選擇並載入deepseek-r1-7b模型。
  3. 開始進行對話
回到首頁點擊「開始交談」

回到首頁點擊「開始交談」

可以點擊上方選擇模型,或點擊中間選擇預設模型

可以點擊上方選擇模型,或點擊中間選擇預設模型

如果裝有其他模型,就可以在上方進行切換或選擇模型種類

使用介面

使用介面

清除重來的按鈕

清除重來的按鈕


5.簡單使用心得

我用deepseek進行一些python程式碼的研究與學習,用以補足使用達gpt次數限制後的需求,而且程式碼產出的速度在自己電腦上也是挺快的,效果不差,如果有什麼問題再去問GPT作交岔驗證也不錯。

如果對他解題的方式感到好奇,也可以點擊按鈕展開看他怎麼思考問題。

和gpt不同的是,可以發現他基本都是用簡體中文思考,然後也有前後文記憶的功能。但用久了感覺他會有點思考卡頓沒辦法像GPT那麼流暢的在不同議題間轉換想法,所以要適時清空重來,在使用上要多加注意記錄自己需要的生成結果。

然後經過一些敏感議題問答,確實本地端也會對敏感議題進行防備,甚至沒有相關學習資訊,所以想要壞壞的朋友,應該會不如預期XD

透過DS進行PYTHON程式學習

透過DS進行PYTHON程式學習

偷看他的思考過程

偷看他的思考過程



deepseek有偶像包袱,可能需要更多方法讓他在自在一些

deepseek有偶像包袱,可能需要更多方法讓他在自在一些


結語

在自己電腦上佈署AI聽起來是一件很酷的事情,但有gpt4all這個簡單的介面以後,似乎也不會離我們那麼遙遠,也成功在自己電腦上安裝開源模型,而這個世界也不是只有最近爆紅的DEEPSEEK而已,資料庫中還有很多各具特色的模型可以進行下載研究。

不過,硬體需求確實也是一道門檻。首先,需要有足夠的硬碟空間來存放模型資料庫,這就像是儲藏室一樣保存所有必要的食材。接著,主記憶體就好比冰箱,負責暫時存放需要快速取用的食材;而顯示卡記憶體則像是料理中島,將準備好的食材擺放好,隨時準備進行烹飪。最後,GPU 就是那位主廚,負責將這些食材加工成美味佳餚,也就是我們最終看到的 AI 回應。

當前主流的開源大型語言模型(LLM)主要集中在8B到70B參數的範圍內。例如,Meta的Llama 3系列就提供了8B和70B兩種版本,也許之後可以挑戰看看這些模型的效果(可能也是挑戰錢包厚度...)。

總之就是個很有趣的體驗分享,給覺得困難或好奇的朋友們有機會一探究竟。

最後補充,我們能下載到的R1-Distill-7B這個版本相當於用R1蒸餾再蒸餾、濃縮再濃縮出來的版本,並不是滿血版的R1模型,如果要用滿血版要另外搜尋安裝,這邊就不多示範。
R1非蒸餾版(有點大,要確定裝的下)

R1非蒸餾版(有點大,要確定裝的下)


我目前只會這些淺顯的用法,當然GPT4ALL本身還有很多功能可以和其他工具例如PYTHON做串接,讓你用自己的開源模型輔助寫程式,當然也可以直接串接OPENAI的API,有興趣的可以上他的技術網站作深入研究。

如果你也是這類技術和研究的愛好者,歡迎收藏或分享這篇文章唷~ ❤️✨

avatar-img
21會員
47內容數
一個熱愛閱讀與金融市場的業餘知識工作者 需要一個空間自在地放置一些想法上的輸出
留言
avatar-img
留言分享你的想法!

































































本篇參與的主題活動
我的得力助手T小姐在短時間內經歷了2次流產。 第一次流產後沒幾個月又急著要懷上,其實我還蠻不能理解的,身體都還沒復原、還沒查清楚流產的原因又急著懷孕真的風險太大。第二次也是在6周左右又流產了,這次終於好好的去醫院檢查原因,然後讓身體休息了近一年才又懷孕。 但是我聽了他上次流產的原因,是染色體異常
她每天醒來就已經上班,睡著了也在待命。 這是一份無法請假、無法辭職、無法下班的工作。沒有週末,沒有年假,沒有病假。當孩子發高燒時,沒有其他同事可以替班;當她自己病倒時,工作依然等待著她。 我的太太說道:「今天是我成為母親的第205天,也是我第205天沒有完整睡過一個晚上。」 全職媽媽,是世界上
定期存款(簡稱定存)是許多人喜愛的理財方式之一,但圍繞它的細節問題卻不少。以下整理了十個常見疑問,並附上詳細解答,幫全面了解定存的運作方式。
5個絕對要看的理由+觀後感 ⚠️以下內容涉及部分劇情 尚未看過請自行斟酌 📌動物生態圖鑑 電影充分展現出各動物的鮮明特色,宛如翻閱一本動物百科般,從「貓」的高冷傲嬌、「狗」的活潑調皮,到「水豚」的慵懶從容、「狐猴」喜歡蒐集小物的個性,甚至呈現出「蛇鷲」群體意識高的習性,更將牠塑造成母親般,
這篇文章分析了一副寶可夢卡牌遊戲的控制型牌組,詳述其核心概念、戰術配置、運作策略、優勢和弱點,並提出改善建議。牌組以時拉比EX和夢幻EX為核心,透過控制卡幹擾對手,並利用夢幻EX的複製能力提供多樣化攻擊。文章也點出牌組在能量依賴和前期較慢的缺點,並建議增加能量加速卡和基礎寶可夢。
我的得力助手T小姐在短時間內經歷了2次流產。 第一次流產後沒幾個月又急著要懷上,其實我還蠻不能理解的,身體都還沒復原、還沒查清楚流產的原因又急著懷孕真的風險太大。第二次也是在6周左右又流產了,這次終於好好的去醫院檢查原因,然後讓身體休息了近一年才又懷孕。 但是我聽了他上次流產的原因,是染色體異常
她每天醒來就已經上班,睡著了也在待命。 這是一份無法請假、無法辭職、無法下班的工作。沒有週末,沒有年假,沒有病假。當孩子發高燒時,沒有其他同事可以替班;當她自己病倒時,工作依然等待著她。 我的太太說道:「今天是我成為母親的第205天,也是我第205天沒有完整睡過一個晚上。」 全職媽媽,是世界上
定期存款(簡稱定存)是許多人喜愛的理財方式之一,但圍繞它的細節問題卻不少。以下整理了十個常見疑問,並附上詳細解答,幫全面了解定存的運作方式。
5個絕對要看的理由+觀後感 ⚠️以下內容涉及部分劇情 尚未看過請自行斟酌 📌動物生態圖鑑 電影充分展現出各動物的鮮明特色,宛如翻閱一本動物百科般,從「貓」的高冷傲嬌、「狗」的活潑調皮,到「水豚」的慵懶從容、「狐猴」喜歡蒐集小物的個性,甚至呈現出「蛇鷲」群體意識高的習性,更將牠塑造成母親般,
這篇文章分析了一副寶可夢卡牌遊戲的控制型牌組,詳述其核心概念、戰術配置、運作策略、優勢和弱點,並提出改善建議。牌組以時拉比EX和夢幻EX為核心,透過控制卡幹擾對手,並利用夢幻EX的複製能力提供多樣化攻擊。文章也點出牌組在能量依賴和前期較慢的缺點,並建議增加能量加速卡和基礎寶可夢。
你可能也想看
Google News 追蹤
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
當然以微軟的角度來說,將AI PC限縮成Copilot+ PC有利於將Copliot = AI的話語權綁在自己身上,畢竟其認定最大對手蘋果也開始使用AI PC一詞,與其在同個領域搶話語權,不如把重心移到自家的Copilot上,所以這次微軟也發表了一系列Copilot的功能
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
別小看語言模型,我們的歷史記載,不是都靠著文本嗎?
Thumbnail
NVIDIA的Blackwell計算平台代表著實時生成式AI應用的重大進步,旨在滿足跨行業挑戰。此平台提升了計算效能,促進了AI在實體世界的應用,並對從自動駕駛到醫療診斷等多個領域產生了深遠影響。NVIDIA 黃仁勳的願景是將AI技術從虛擬世界帶入現實,為創新開闢新道路,一個更加智慧和互聯的未來。
08/17/2014 睿恩終於決定要買自己的第一台電腦了。 將自己過去購買3C產品的經驗告訴他。 告訴他該如何分析並了解自己真正的需求。 並透過網路先選定符合需求的型號。 再到現地,透過簡單的訪價,迅速的更了解想買電腦的價格及贈品。 一切都很順利,我們用了最短的時間,就選到了我們要採買的
Thumbnail
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署,包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等,並進行相關安裝過程說明。
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
當然以微軟的角度來說,將AI PC限縮成Copilot+ PC有利於將Copliot = AI的話語權綁在自己身上,畢竟其認定最大對手蘋果也開始使用AI PC一詞,與其在同個領域搶話語權,不如把重心移到自家的Copilot上,所以這次微軟也發表了一系列Copilot的功能
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
別小看語言模型,我們的歷史記載,不是都靠著文本嗎?
Thumbnail
NVIDIA的Blackwell計算平台代表著實時生成式AI應用的重大進步,旨在滿足跨行業挑戰。此平台提升了計算效能,促進了AI在實體世界的應用,並對從自動駕駛到醫療診斷等多個領域產生了深遠影響。NVIDIA 黃仁勳的願景是將AI技術從虛擬世界帶入現實,為創新開闢新道路,一個更加智慧和互聯的未來。
08/17/2014 睿恩終於決定要買自己的第一台電腦了。 將自己過去購買3C產品的經驗告訴他。 告訴他該如何分析並了解自己真正的需求。 並透過網路先選定符合需求的型號。 再到現地,透過簡單的訪價,迅速的更了解想買電腦的價格及贈品。 一切都很順利,我們用了最短的時間,就選到了我們要採買的
Thumbnail
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署,包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等,並進行相關安裝過程說明。