親身體驗 DeepSeek:安裝、掛載與使用心得全記錄

更新於 發佈於 閱讀時間約 7 分鐘

引言

DeepSeek 模型橫空出世,迅速席捲全球,成為軟體業界的新寵兒。各大軟體廠商紛紛爭相導入,連微軟也不例外,已將其整合進 Copilot+ PC、Azure AI Foundry 和 GitHub 等平台。

然而,在台灣,這類源自中國的技術快速崛起,難免引發資訊安全方面的討論與疑慮。但面對這股技術浪潮,仍讓人不禁好奇:DeepSeek 究竟有何獨到之處,能夠吸引全球目光?

在這篇文章中,我將分享透過GPT4ALL這個軟體親自安裝、掛載並實際操作 DeepSeek 模型的全過程,帶您安全地一同探索這項技術背後的魅力與潛力。


什麼是 GPT4ALL?

GPT4ALL 是一款開源的本地大型語言模型(LLM)應用程式,源自於美國新創公司 Nomic AI,允許使用者在個人電腦上運行類似 ChatGPT 的 AI 聊天模型。與需要網路連線的雲端 AI 服務不同,GPT4ALL 支援完全離線運行,這不僅提升了資料隱私安全,還能在無網路環境下提供穩定的 AI 互動體驗。

安裝過程肯定需要網路,但執行可以完全離線

GPT4ALL 的優勢在於其簡單的安裝流程和多樣的模型選擇,適用於不同作業系統(Windows、macOS 和 Linux),並且對硬體需求相對較低(參考文件更表示甚至不需要有GPU也可以運作),使得一般使用者也能輕鬆體驗本地 AI 模型的強大功能。

官網首頁顯示Run Deepseek R1 Privately

官網首頁顯示Run Deepseek R1 Privately



什麼是 DeepSeek R1?

DeepSeek R1 是 DeepSeek 系列中最受矚目的模型之一,以其卓越的語言理解與生成能力而聞名。該模型結合了最新的深度學習技術,能夠處理各種複雜的任務,如邏輯推理、文本生成、程式碼撰寫等。

R1號稱對標GTP4-o1除了強大功能,也引發了不少的輿論,更重要的是他是開源的模型,所以任何人都可以在自己的電腦上進行部屬使用。

deepseek官網,對資安有疑慮的千萬不要註冊

deepseek官網,對資安有疑慮的千萬不要註冊


為什麼要本地端佈署

在了解了 GPT4ALL 和 DeepSeek R1 的背景與特性後,大家可能會好奇,為什麼選擇在本地端進行模型佈署?

本地端部署就是把模型資料庫狀在自己的電腦上用自己的GPU去跑,最大的優勢在於資料隱私與安全性。

與雲端服務不同,本地運行模型意味著所有數據都留存在自己的設備上,無需擔心敏感資訊被上傳至第三方伺服器。此外,本地部署相對網路穩定,並能在離線環境下隨時使用,也沒有次數限制,算是免費仔福音?

接下來,我們將進入實作階段,一步步完成 GPT4ALL 的安裝,並在本地端部署 DeepSeek 開源模型,體驗其強大的語言生成與推理能力。


安裝與佈署流程

1.環境準備

在開始安裝與使用前,確保您的電腦環境符合以下條件:

  • 作業系統:Windows、macOS 或 Linux
  • 硬體需求:建議 8GB 以上記憶體,足夠的硬碟儲存空間(至少 10GB 以供模型下載與運行)
  • 網路連線:初次下載模型需網路連線,後續可離線使用
  • 顯示卡:一般都需要搭載cuda核心的nvidia顯示卡
  • GPT4All can run on CPU, Metal (Apple Silicon M1+), and GPU.

我的硬體
顯示卡:NVIDIA 4070 with 12GB 記憶體
RAM:DDR5-64GB ⚡
硬碟:SSD 1TB 💾


2. 安裝 GPT4ALL 軟體

  1. 前往 GPT4ALL 官方網站或 GitHub 頁面下載適合您作業系統的安裝檔。
  2. 執行安裝程式,並依照畫面指示完成安裝過程。
  3. 安裝完成後,啟動 GPT4ALL 軟體,進入主介面。
  4. 開啟時可以選擇不要回傳任何資訊。
到官網首頁進行下載

到官網首頁進行下載

按照一般步驟進行安裝

按照一般步驟進行安裝

進入主畫面前,兩個問題都勾選否

進入主畫面前,兩個問題都勾選否


3. 下載與掛載 DeepSeek 模型

  1. 在 GPT4ALL 介面中,選擇「搜尋模型」選項。
  2. 搜尋 DeepSeek 模型,並選擇適合的版本進行下載。(這邊先使用deepseek-r1-7b)
  3. 下載完成後,點擊左邊「模型」按鈕,可以檢視目前裝有哪些模型。


進入主介面,按下左邊那顆

進入主介面,按下左邊那顆

搜索各式開源模型

搜索各式開源模型

我們針對硬體要求最低的7B進行下載測試

我們針對硬體要求最低的7B進行下載測試

檢視已安裝模型種類

檢視已安裝模型種類

到這邊之後,其實就準備告一段落,有資安疑慮的就可以切斷網路了,後續不需要上傳或下載任何資訊就能運作。

4. 實際操作與測試範例

  1. 在首頁點擊「開始交談」或「我的文件」。
  2. 選擇並載入deepseek-r1-7b模型。
  3. 開始進行對話
回到首頁點擊「開始交談」

回到首頁點擊「開始交談」

可以點擊上方選擇模型,或點擊中間選擇預設模型

可以點擊上方選擇模型,或點擊中間選擇預設模型

如果裝有其他模型,就可以在上方進行切換或選擇模型種類

使用介面

使用介面

清除重來的按鈕

清除重來的按鈕


5.簡單使用心得

我用deepseek進行一些python程式碼的研究與學習,用以補足使用達gpt次數限制後的需求,而且程式碼產出的速度在自己電腦上也是挺快的,效果不差,如果有什麼問題再去問GPT作交岔驗證也不錯。

如果對他解題的方式感到好奇,也可以點擊按鈕展開看他怎麼思考問題。

和gpt不同的是,可以發現他基本都是用簡體中文思考,然後也有前後文記憶的功能。但用久了感覺他會有點思考卡頓沒辦法像GPT那麼流暢的在不同議題間轉換想法,所以要適時清空重來,在使用上要多加注意記錄自己需要的生成結果。

然後經過一些敏感議題問答,確實本地端也會對敏感議題進行防備,甚至沒有相關學習資訊,所以想要壞壞的朋友,應該會不如預期XD

透過DS進行PYTHON程式學習

透過DS進行PYTHON程式學習

偷看他的思考過程

偷看他的思考過程



deepseek有偶像包袱,可能需要更多方法讓他在自在一些

deepseek有偶像包袱,可能需要更多方法讓他在自在一些


結語

在自己電腦上佈署AI聽起來是一件很酷的事情,但有gpt4all這個簡單的介面以後,似乎也不會離我們那麼遙遠,也成功在自己電腦上安裝開源模型,而這個世界也不是只有最近爆紅的DEEPSEEK而已,資料庫中還有很多各具特色的模型可以進行下載研究。

不過,硬體需求確實也是一道門檻。首先,需要有足夠的硬碟空間來存放模型資料庫,這就像是儲藏室一樣保存所有必要的食材。接著,主記憶體就好比冰箱,負責暫時存放需要快速取用的食材;而顯示卡記憶體則像是料理中島,將準備好的食材擺放好,隨時準備進行烹飪。最後,GPU 就是那位主廚,負責將這些食材加工成美味佳餚,也就是我們最終看到的 AI 回應。

當前主流的開源大型語言模型(LLM)主要集中在8B到70B參數的範圍內。例如,Meta的Llama 3系列就提供了8B和70B兩種版本,也許之後可以挑戰看看這些模型的效果(可能也是挑戰錢包厚度...)。

總之就是個很有趣的體驗分享,給覺得困難或好奇的朋友們有機會一探究竟。

最後補充,我們能下載到的R1-Distill-7B這個版本相當於用R1蒸餾再蒸餾、濃縮再濃縮出來的版本,並不是滿血版的R1模型,如果要用滿血版要另外搜尋安裝,這邊就不多示範。
R1非蒸餾版(有點大,要確定裝的下)

R1非蒸餾版(有點大,要確定裝的下)


我目前只會這些淺顯的用法,當然GPT4ALL本身還有很多功能可以和其他工具例如PYTHON做串接,讓你用自己的開源模型輔助寫程式,當然也可以直接串接OPENAI的API,有興趣的可以上他的技術網站作深入研究。

如果你也是這類技術和研究的愛好者,歡迎收藏或分享這篇文章唷~ ❤️✨

avatar-img
19會員
42內容數
一個熱愛閱讀與金融市場的業餘知識工作者 需要一個空間自在地放置一些想法上的輸出
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
本篇參與的主題活動
身為一名提倡讀萬卷書同行萬里路一樣重要的格友,以往於外出時總是習慣隨身攜帶幾本書,一來是出於自勉的心理,期待自己能把握住空檔閱讀,再者是出於喜歡換口味的閱讀風格,讀累了、換個內容又可以繼續投身於書海;隨著年齡的增長與體力的衰退,逐漸變得討厭攜帶重物,當然這些都是藉口,抱著「上網動動手指查詢、chat
這篇超完整的7天6夜北越自由行攻略,涵蓋河內、下龍灣、陸龍灣精華景點、美食與特色活動,提供行前準備、Google地圖懶人包、詳細行程規劃、總花費及購票連結,讓你輕鬆規劃深度北越之旅!
其實女生大概都喜歡風格時尚之類的,只是從一個專注練琴關在琴房的書呆子到磨練出自己適合的風格和造型,漸漸的發現每一件事情要從無到有慢慢地在每一次演每一次活動的紀錄之中,慢慢地修改找尋適合自己的風格,也是個人內在的形塑、氣質、每一個單品透露出用品本人的性格,都在無形的地方,慢慢的成為人生的一部分
外遇是一場感情的試煉,撕裂了信任,也暴露了關係中的隱形裂縫。它讓人深陷傷痛與困惑,但同時也提供了一次重新審視自我與關係的機會。在這篇文章中,我們將深度解析外遇的成因、對愛情的影響,以及如何在裂痕中找到修復或重生的可能性,幫助你面對這場情感的挑戰,找到屬於自己的答案。
身為一名提倡讀萬卷書同行萬里路一樣重要的格友,以往於外出時總是習慣隨身攜帶幾本書,一來是出於自勉的心理,期待自己能把握住空檔閱讀,再者是出於喜歡換口味的閱讀風格,讀累了、換個內容又可以繼續投身於書海;隨著年齡的增長與體力的衰退,逐漸變得討厭攜帶重物,當然這些都是藉口,抱著「上網動動手指查詢、chat
這篇超完整的7天6夜北越自由行攻略,涵蓋河內、下龍灣、陸龍灣精華景點、美食與特色活動,提供行前準備、Google地圖懶人包、詳細行程規劃、總花費及購票連結,讓你輕鬆規劃深度北越之旅!
其實女生大概都喜歡風格時尚之類的,只是從一個專注練琴關在琴房的書呆子到磨練出自己適合的風格和造型,漸漸的發現每一件事情要從無到有慢慢地在每一次演每一次活動的紀錄之中,慢慢地修改找尋適合自己的風格,也是個人內在的形塑、氣質、每一個單品透露出用品本人的性格,都在無形的地方,慢慢的成為人生的一部分
外遇是一場感情的試煉,撕裂了信任,也暴露了關係中的隱形裂縫。它讓人深陷傷痛與困惑,但同時也提供了一次重新審視自我與關係的機會。在這篇文章中,我們將深度解析外遇的成因、對愛情的影響,以及如何在裂痕中找到修復或重生的可能性,幫助你面對這場情感的挑戰,找到屬於自己的答案。
你可能也想看
Google News 追蹤
Thumbnail
大家好,我是woody,是一名料理創作者,非常努力地在嘗試將複雜的料理簡單化,讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程,今天想跟大家聊聊,除了料理本身,料理創作背後的成本。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
當然以微軟的角度來說,將AI PC限縮成Copilot+ PC有利於將Copliot = AI的話語權綁在自己身上,畢竟其認定最大對手蘋果也開始使用AI PC一詞,與其在同個領域搶話語權,不如把重心移到自家的Copilot上,所以這次微軟也發表了一系列Copilot的功能
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
別小看語言模型,我們的歷史記載,不是都靠著文本嗎?
Thumbnail
NVIDIA的Blackwell計算平台代表著實時生成式AI應用的重大進步,旨在滿足跨行業挑戰。此平台提升了計算效能,促進了AI在實體世界的應用,並對從自動駕駛到醫療診斷等多個領域產生了深遠影響。NVIDIA 黃仁勳的願景是將AI技術從虛擬世界帶入現實,為創新開闢新道路,一個更加智慧和互聯的未來。
08/17/2014 睿恩終於決定要買自己的第一台電腦了。 將自己過去購買3C產品的經驗告訴他。 告訴他該如何分析並了解自己真正的需求。 並透過網路先選定符合需求的型號。 再到現地,透過簡單的訪價,迅速的更了解想買電腦的價格及贈品。 一切都很順利,我們用了最短的時間,就選到了我們要採買的
Thumbnail
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署,包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等,並進行相關安裝過程說明。
Thumbnail
大家好,我是woody,是一名料理創作者,非常努力地在嘗試將複雜的料理簡單化,讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程,今天想跟大家聊聊,除了料理本身,料理創作背後的成本。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
當然以微軟的角度來說,將AI PC限縮成Copilot+ PC有利於將Copliot = AI的話語權綁在自己身上,畢竟其認定最大對手蘋果也開始使用AI PC一詞,與其在同個領域搶話語權,不如把重心移到自家的Copilot上,所以這次微軟也發表了一系列Copilot的功能
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
筆記-股癌-24.05.22 *認養狗可以聯絡Liza的IG。 *微軟AI PC: - 售價1000歐元起的AI PC,6/18推出,晶片NPU算力在40 TOPS以上, - 裝置有連動GPT-4o,這部分的功能還是要連上網;Copilot功能下放到邊緣端。 - recall功能,可以把螢
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
別小看語言模型,我們的歷史記載,不是都靠著文本嗎?
Thumbnail
NVIDIA的Blackwell計算平台代表著實時生成式AI應用的重大進步,旨在滿足跨行業挑戰。此平台提升了計算效能,促進了AI在實體世界的應用,並對從自動駕駛到醫療診斷等多個領域產生了深遠影響。NVIDIA 黃仁勳的願景是將AI技術從虛擬世界帶入現實,為創新開闢新道路,一個更加智慧和互聯的未來。
08/17/2014 睿恩終於決定要買自己的第一台電腦了。 將自己過去購買3C產品的經驗告訴他。 告訴他該如何分析並了解自己真正的需求。 並透過網路先選定符合需求的型號。 再到現地,透過簡單的訪價,迅速的更了解想買電腦的價格及贈品。 一切都很順利,我們用了最短的時間,就選到了我們要採買的
Thumbnail
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署,包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等,並進行相關安裝過程說明。