AnythingLLM:簡化大型語言模型應用程式
AnythingLLM是一款強大的AI工具,旨在讓多種文件格式、資源或內容轉化為大型語言模型(LLM)可用的查詢文本。它不僅支持多人使用和管理,也提供了選擇性地多個LLM和向量資料庫,使其成為私有客製化RAG解決方案的理想選擇。
Ollama:簡化大型語言模型部署Ollama是一種工具,讓大型語言模型(LLM)能夠快速變成地端服務,並且使用速度很快。它提供了方便的安裝和上傳客製化模型的功能。
為什麼選擇AnythingLLM?
最主要是因為它的簡易和方便使用性,以及以下幾個優點:
- 多用戶支持: AnythingLLM能夠輕鬆管理多用戶的權限和操作,使得團隊合作和個人使用都變得更加容易。
- 靈活的 LLM 和向量資料庫選擇: 用戶可以根據需求選擇合適的 LLM 和向量資料庫,滿足不同的應用場景。
- 高效的文件管理: AnythingLLM支持多種文件類型,如 PDF、TXT、DOCX 等,並通過簡單的 UI 進行管理。
- 自定義聊天小工具: 可以將聊天功能嵌入網站,提升互動體驗。
- 兩種聊天模式: 可以在保留上下文的會話模式和問答的查詢模式之間靈活切換。
AnythingLLM 的功能
AnythingLLM還提供了以下功能:
- 網頁文字爬取
- YouTube字幕擷取
這些功能使得 AnythingLLM 成為了一款強大的工具,用於簡化大型語言模型應用程式的開發和部署。
DOCKER架設 AnythingLLM
目錄檔案建議放在外面
簡單說最好將容器儲存磁碟區安裝到主機上的資料夾中,以便您可以在不刪除現有資料的情況下提取未來的更新!(例如$HOME/anythingllm)
參考來源:
https://docs.anythingllm.com/installation-docker/local-docker
https://github.com/Mintplex-Labs/anything-llm/blob/master/docker/HOW_TO_USE_DOCKER.md
export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm
如果您想抓取網頁,則註釋--cap-add SYS_ADMIN
是必要的命令。我們使用PuppeeteerJS(在新分頁中開啟)抓取網站連結並--cap-add SYS_ADMIN
讓我們在所有運行時使用沙盒 Chromium 來獲得最佳安全實踐。
AnythingLLM 使用
初步設定
http://localhost:3001 內可以直接點擊開始使用

設定語言模型來源,可以根據需求挑選語言模型的來源。我們以OLLAMA為範例。

設定使用情境

多人使用選我的團隊,管理者帳號密碼設好點擊下一步

底下步驟可以略過

初始化第一個Workspace工作區

我們做一個小秘書來執行會議紀錄工作


選擇執行模型

設定提示詞

測試

