AnythingLLM 與 Ollama:簡化大型語言模型應用程式與部署

iBonnie_愛邦尼-avatar-img
發佈於AI領域展開 個房間
更新於 發佈於 閱讀時間約 3 分鐘

AnythingLLM:簡化大型語言模型應用程式

AnythingLLM是一款強大的AI工具,旨在讓多種文件格式、資源或內容轉化為大型語言模型(LLM)可用的查詢文本。它不僅支持多人使用和管理,也提供了選擇性地多個LLM和向量資料庫,使其成為私有客製化RAG解決方案的理想選擇。

Ollama:簡化大型語言模型部署

Ollama是一種工具,讓大型語言模型(LLM)能夠快速變成地端服務,並且使用速度很快。它提供了方便的安裝和上傳客製化模型的功能。

為什麼選擇AnythingLLM?

最主要是因為它的簡易和方便使用性,以及以下幾個優點:

  1. 多用戶支持: AnythingLLM能夠輕鬆管理多用戶的權限和操作,使得團隊合作和個人使用都變得更加容易。
  2. 靈活的 LLM 和向量資料庫選擇: 用戶可以根據需求選擇合適的 LLM 和向量資料庫,滿足不同的應用場景。
  3. 高效的文件管理: AnythingLLM支持多種文件類型,如 PDF、TXT、DOCX 等,並通過簡單的 UI 進行管理。
  4. 自定義聊天小工具: 可以將聊天功能嵌入網站,提升互動體驗。
  5. 兩種聊天模式: 可以在保留上下文的會話模式和問答的查詢模式之間靈活切換。

AnythingLLM 的功能

AnythingLLM還提供了以下功能:

  • 網頁文字爬取
  • YouTube字幕擷取

這些功能使得 AnythingLLM 成為了一款強大的工具,用於簡化大型語言模型應用程式的開發和部署。


DOCKER架設 AnythingLLM


目錄檔案建議放在外面

簡單說最好將容器儲存磁碟區安裝到主機上的資料夾中,以便您可以在不刪除現有資料的情況下提取未來的更新!(例如$HOME/anythingllm)

參考來源:

https://docs.anythingllm.com/installation-docker/local-docker

https://github.com/Mintplex-Labs/anything-llm/blob/master/docker/HOW_TO_USE_DOCKER.md

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

如果您想抓取網頁,則註釋--cap-add SYS_ADMIN必要的命令。我們使用PuppeeteerJS(在新分頁中開啟)抓取網站連結並--cap-add SYS_ADMIN讓我們在所有運行時使用沙盒 Chromium 來獲得最佳安全實踐。

AnythingLLM 使用


初步設定

http://localhost:3001 內可以直接點擊開始使用

raw-image

設定語言模型來源,可以根據需求挑選語言模型的來源。我們以OLLAMA為範例。

raw-image

設定使用情境

raw-image


多人使用選我的團隊,管理者帳號密碼設好點擊下一步

raw-image

底下步驟可以略過

raw-image


初始化第一個Workspace工作區

raw-image

我們做一個小秘書來執行會議紀錄工作

raw-image


raw-image

選擇執行模型

raw-image

設定提示詞

raw-image

測試

raw-image


raw-image



留言
avatar-img
留言分享你的想法!
avatar-img
iBonnie_愛邦尼
5會員
78內容數
記錄生活與技術的小細節
iBonnie_愛邦尼的其他內容
2025/04/18
大型語言模型(LLMs)已透過「思維鏈(Chain-of-Thought, CoT)」提示技術大幅提升其複雜推理能力。儘管 CoT 在提升準確性方面成效顯著,但其冗長的輸出方式也帶來了高昂的計算成本與顯著的延遲。這在講求效率的真實應用場景中,往往成為導入障礙。🧠 Chain of Draft
Thumbnail
可能包含敏感內容
2025/04/18
大型語言模型(LLMs)已透過「思維鏈(Chain-of-Thought, CoT)」提示技術大幅提升其複雜推理能力。儘管 CoT 在提升準確性方面成效顯著,但其冗長的輸出方式也帶來了高昂的計算成本與顯著的延遲。這在講求效率的真實應用場景中,往往成為導入障礙。🧠 Chain of Draft
Thumbnail
可能包含敏感內容
2025/04/17
本文提供 LangGraph、MCP(Model Context Protocol)與 Ollama 整合的實作教學,示範如何快速構建多代理聊天機器人系統。文章涵蓋 MCP 的優缺點、與 Function Call 的比較、應用場景選擇,以及逐步的實作步驟。
Thumbnail
2025/04/17
本文提供 LangGraph、MCP(Model Context Protocol)與 Ollama 整合的實作教學,示範如何快速構建多代理聊天機器人系統。文章涵蓋 MCP 的優缺點、與 Function Call 的比較、應用場景選擇,以及逐步的實作步驟。
Thumbnail
2024/06/04
自然語言模型中,「Temperature」和「Top_p」扮演著重要的角色,它們可以影響生成的文本風格和內容的豐富度。本篇將探討這兩個概念,並提供了多個相關的範例來幫助讀者更好地理解它們的作用。無論您是開發人員還是使用者,這些設定值的調整都可能會對生成的內容產生重大影響,因此值得進行實驗和測試。
Thumbnail
可能包含敏感內容
2024/06/04
自然語言模型中,「Temperature」和「Top_p」扮演著重要的角色,它們可以影響生成的文本風格和內容的豐富度。本篇將探討這兩個概念,並提供了多個相關的範例來幫助讀者更好地理解它們的作用。無論您是開發人員還是使用者,這些設定值的調整都可能會對生成的內容產生重大影響,因此值得進行實驗和測試。
Thumbnail
可能包含敏感內容
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們在AI說書 - 從0開始 - 42中,見識了 Tokenizer 做的事情了,以下來羅列幾個要點: 它將原始文字轉成小寫 有可能將原始文字再進行切割 通常 T
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們在AI說書 - 從0開始 - 42中,見識了 Tokenizer 做的事情了,以下來羅列幾個要點: 它將原始文字轉成小寫 有可能將原始文字再進行切割 通常 T
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 32中,展示了OpenAI的API如何使用,儘管 API 可以滿足許多需求,但它們也有其限制,例如,多用途 API 可能在所有任務
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 32中,展示了OpenAI的API如何使用,儘管 API 可以滿足許多需求,但它們也有其限制,例如,多用途 API 可能在所有任務
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 17中,介紹了大型語言模型 (LLM)世界裡面常用到的Token,現在我們來談談OpenAI的GPT模型如何利用Inference
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 17中,介紹了大型語言模型 (LLM)世界裡面常用到的Token,現在我們來談談OpenAI的GPT模型如何利用Inference
Thumbnail
在AI時代中,GPT技術正在改變我們的生活。然而,SLM(小型語言模型)也開始受到關注,具有更高的效率、更低的資源消耗和更快的響應速度。這篇文章將討論LLM和SLM的比較、SLM的應用場景以及未來的發展趨勢。
Thumbnail
在AI時代中,GPT技術正在改變我們的生活。然而,SLM(小型語言模型)也開始受到關注,具有更高的效率、更低的資源消耗和更快的響應速度。這篇文章將討論LLM和SLM的比較、SLM的應用場景以及未來的發展趨勢。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News