無需上網也能跟 AI 對話!Ollama:在本地端運行大型語言模型的免費工具,支援 LLaMA 2、GPT-OSS 等

更新於 發佈於 閱讀時間約 5 分鐘

Ollama 下載https://ollama.com/download


Ollama 是一個在自己的電腦(本地端)運行大型語言模型(LLM)的工具與平台。可以完全不需要連上網路就能夠使用。適合比較有機敏性的,避免意外泄露機密,不能透過雲端使用的專利研發者或企業。或是想免費無限量使用大型語言模型工具。但相對非常依賴自己的電腦記憶體和顯示卡的效能。先前在介紹 Sider AI 的 自訂 API 金鑰曾以 Ollama 為例,介紹其安裝方式。Ollama 也在上月有自己的圖形介面,不需要只在終端機操作。

Ollama 是由 Jeffrey MorganMichael Chiang 共同創立的,總部設在美國加州帕洛阿爾托(Palo Alto, CA),曾參加 Y Combinator 2021 年冬季(W21)創業加速器計畫,他們希望打造一個類似 Docker 的簡易本地開發體驗平台,讓使用者可以像執行 ollama run llama2 一樣,輕鬆快速地運行大型語言模型:本地、私密、易用。支援模型包括 LLaMA 2、Mistral、Gemma、TinyLLaMA、Phi 等

OpenAI gpt-oss

OpenAI 在8 月 5 日推出2款「gpt-oss」開源大型語言模型 120b(1200 億參數)與 20b(200 億參數)。採用Apache 2.0 授權允許用戶免費下載模型使用。還可以依照自身需求對模型進行修改、微調與部署,應用於商業部署,不必額外付費或申請授權。參照 OpenAI gpt-oss 模型說明:https://openai.com/zh-Hant/index/introducing-gpt-oss/

“ 若不想連網使用Turbo模式,只在本機端運作,建議高階筆電再安裝此模型 ” MacBook ProROG Flow 高規格電競筆電

相關資料:


步驟1:下載並安裝 Ollama

Ollama 下載https://ollama.com/download

步驟2:啟動 Ollama

安裝好後,點擊右上方白色羊駝圖示即可開啟,此時還沒安裝大型語言模型。

raw-image

步驟3:安裝 大型語言模型

對話框由左至右依序為「 搜尋網路」、「Turbo模式」、「目前模型選擇」、「發送訊息」。首次輸入文字對話即立即安裝目前所選的模型。 非高階筆電可以先選擇輕量化「deepssek-r1:1.5b」。非高階筆電若想嘗試「gpt-oss:120b」建議需開啟 Turbo模式才不會等待回應很久。 一台筆電可以安裝多個語言模型。 b的數值越高越聰明但是相對運算時間越長,需要更好的GPU以及更大記憶體。

raw-image
首次對話即安裝該語言模型

首次對話即安裝該語言模型

Turbo 模式

Turbo 模式是額外付費服務,每月需要20美元,提供用戶每7天有「10,000 tokens」的免費額度,可以體驗雲端加速運算服務。https://ollama.com/turbo

raw-image

挑選其他模型

更多開源模型可以至官網挑選。 https://ollama.com/search 進到該模型頁頁面查詢版本號。例如 qwen3 只要在終端機輸入 ollama run qwen3:0.6b 就開始安裝了。

raw-image

安裝好後,就能直接輸入文字測試AI回應,或是關閉終端機。

測試完成可以關閉終端機,直接在 Ollama 圖形介面運行。

空間考量推薦:

  • ollama run qwen3:0.6b (523MB)
  • ollama run gemma3:1b (815MB)
  • ollama run deepseek-r1:1.5b (1.1GB)
  • ollama run llama3.2:1b (1.3GB)

一般筆電推薦:

  • ollama run phi4:14b(9.1GB)
  • ollama run deepseek-r1:8b(5.2GB)
  • ollama run deepseek-r1:14b(9.0GB)
  • ollama run gemma3n(7.5GB)
  • ollama run gemma3:4b(3.3GB)

查詢目前已安裝的語言模型

在終端機打 ollama list 即可查詢目前已安裝的語言模型

raw-image

移除語言模型

在終端機打 ollama rm 模型代號 即可移除該模型。

raw-image

相關資料:

留言
avatar-img
留言分享你的想法!
avatar-img
林位青的沙龍
26會員
47內容數
林位青的沙龍的其他內容
2025/09/06
Perplexity Pro 免費領取活動開跑!只要你是 PayPal 或 Venmo 用戶,即可免費獲得價值 200 美元(約新臺幣 6,140 元)的 Perplexity Pro 一年訂閱資格。文章說明詳細領取步驟及取消自動扣款教學,快來享受 Perplexity AI 搜尋引擎的強大功能!
Thumbnail
2025/09/06
Perplexity Pro 免費領取活動開跑!只要你是 PayPal 或 Venmo 用戶,即可免費獲得價值 200 美元(約新臺幣 6,140 元)的 Perplexity Pro 一年訂閱資格。文章說明詳細領取步驟及取消自動扣款教學,快來享受 Perplexity AI 搜尋引擎的強大功能!
Thumbnail
2025/08/31
Google Gemini 2.5 Flash Image,代號 nano-banana,是一款強大的多模態圖像生成模型。本文將深入探討其特點、進階設定(Temperature、Top P、Safety settings)與角色風格一致性、生活照轉換、局部修圖、多圖融合、草圖生成等應用 ......
Thumbnail
2025/08/31
Google Gemini 2.5 Flash Image,代號 nano-banana,是一款強大的多模態圖像生成模型。本文將深入探討其特點、進階設定(Temperature、Top P、Safety settings)與角色風格一致性、生活照轉換、局部修圖、多圖融合、草圖生成等應用 ......
Thumbnail
2025/08/20
MGX 是一個多智能代理 AI 平臺,讓使用者能透過自然語言建立網站、部落格、遊戲等,無需編寫程式碼。它基於開源項目 MetaGPT,模擬軟體公司內不同角色的協同工作流程。MGX 提供兩種模式:工程師模式和團隊模式(模擬完整開發流程)。其特色包括接近人類可理解的專案流程、高度的可擴展性和靈活性。
Thumbnail
2025/08/20
MGX 是一個多智能代理 AI 平臺,讓使用者能透過自然語言建立網站、部落格、遊戲等,無需編寫程式碼。它基於開源項目 MetaGPT,模擬軟體公司內不同角色的協同工作流程。MGX 提供兩種模式:工程師模式和團隊模式(模擬完整開發流程)。其特色包括接近人類可理解的專案流程、高度的可擴展性和靈活性。
Thumbnail
看更多
你可能也想看
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續xxxx,ChatGPT 產生的程式,我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型,實作Chat GPT - Part 0
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續xxxx,ChatGPT 產生的程式,我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型,實作Chat GPT - Part 0
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 32中,展示了OpenAI的API如何使用,儘管 API 可以滿足許多需求,但它們也有其限制,例如,多用途 API 可能在所有任務
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 32中,展示了OpenAI的API如何使用,儘管 API 可以滿足許多需求,但它們也有其限制,例如,多用途 API 可能在所有任務
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想要操作ChatGPT,我們可以參考OpenAI的範例: https://platform.openai.com/examples/default-sql-trans
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想要操作ChatGPT,我們可以參考OpenAI的範例: https://platform.openai.com/examples/default-sql-trans
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 17中,介紹了大型語言模型 (LLM)世界裡面常用到的Token,現在我們來談談OpenAI的GPT模型如何利用Inference
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 17中,介紹了大型語言模型 (LLM)世界裡面常用到的Token,現在我們來談談OpenAI的GPT模型如何利用Inference
Thumbnail
大型語言模型(Large Language Model,LLM)是一項人工智慧技術,其目的在於理解和生成人類語言,可將其想像成一種高階的「文字預測機器」,然而,它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外,今天我們會介紹使用 LLM 的框架。
Thumbnail
大型語言模型(Large Language Model,LLM)是一項人工智慧技術,其目的在於理解和生成人類語言,可將其想像成一種高階的「文字預測機器」,然而,它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外,今天我們會介紹使用 LLM 的框架。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News