Docker_NVIDIA Container Enable_以Ubuntu24.04|22.04為例

iBonnie_愛邦尼-avatar-img
發佈於AI領域展開 個房間
更新於 發佈於 閱讀時間約 5 分鐘


當你安裝完docker,並且設定好所有相關程序後。你正要使用docker去進行操作,讓專案可以在容器哩,方便平台移轉、備份、共用等等等等等;如果你遇到CUDA docker runtime 的問題時,這篇正適合你閱讀。

開始之前,如果你要參考怎麼安裝docker,設定docker環境,請參考:

完成上面的環境後,廢話不多說,讓我們開始吧!

一開始請新增來源庫:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

配置來源庫以使用體驗包(這是選項,你可以跳過這個步驟):

sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list

更新套件清單:

sudo apt-get update

安裝 NVIDIA Container Toolkit 軟體包:

sudo apt-get install -y nvidia-container-toolkit

重新啟動docker容器

sudo systemctl restart docker

使用以下命令配置容器運行nvidia-ctk(容器支援:Docker、Containerd、CRI-O、Podman;請依據你的需求在=後面置換即可)

sudo nvidia-ctk runtime configure --runtime=docker

如果你遇到錯誤(通常是系統沒有daemon.json,那就手動新增一個之後在執行上面的指令),nvidia-ctk指令會自行修改/etc/docker/daemon.json主機上的檔案配置,將 用 NVIDIA 容器工具包描述寫進去docker,讓docker可以運作時認識nvidia host的GPU。

sudo nano /etc/docker/daemon.json
sudo nvidia-ctk runtime configure --runtime=docker

重新啟動 Docker 就完成了:

sudo systemctl restart docker


如果你之前遇到CUDA docker runtime的問題無法執行容器的錯誤,可以把該容器拿來測試,成功後就不會有錯誤畫面了。


例如:

以text-generation-webui專案為例的畫面

以text-generation-webui專案為例的畫面

測試URL畫面

測試URL畫面






留言
avatar-img
留言分享你的想法!
avatar-img
iBonnie_愛邦尼
5會員
78內容數
記錄生活與技術的小細節
iBonnie_愛邦尼的其他內容
2025/04/18
大型語言模型(LLMs)已透過「思維鏈(Chain-of-Thought, CoT)」提示技術大幅提升其複雜推理能力。儘管 CoT 在提升準確性方面成效顯著,但其冗長的輸出方式也帶來了高昂的計算成本與顯著的延遲。這在講求效率的真實應用場景中,往往成為導入障礙。🧠 Chain of Draft
Thumbnail
可能包含敏感內容
2025/04/18
大型語言模型(LLMs)已透過「思維鏈(Chain-of-Thought, CoT)」提示技術大幅提升其複雜推理能力。儘管 CoT 在提升準確性方面成效顯著,但其冗長的輸出方式也帶來了高昂的計算成本與顯著的延遲。這在講求效率的真實應用場景中,往往成為導入障礙。🧠 Chain of Draft
Thumbnail
可能包含敏感內容
2025/04/17
本文提供 LangGraph、MCP(Model Context Protocol)與 Ollama 整合的實作教學,示範如何快速構建多代理聊天機器人系統。文章涵蓋 MCP 的優缺點、與 Function Call 的比較、應用場景選擇,以及逐步的實作步驟。
Thumbnail
2025/04/17
本文提供 LangGraph、MCP(Model Context Protocol)與 Ollama 整合的實作教學,示範如何快速構建多代理聊天機器人系統。文章涵蓋 MCP 的優缺點、與 Function Call 的比較、應用場景選擇,以及逐步的實作步驟。
Thumbnail
2025/03/27
AnythingLLM 是一款簡化大型語言模型應用程式的強大工具,支援多種文件格式、多人使用和管理,並提供彈性的 LLM 和向量資料庫選擇。同時,它也提供網頁文字爬取和 YouTube 字幕擷取等功能。本文介紹Docker 架設方法,並提供設定步驟與使用範例,例如建立一個會議紀錄小祕書。
Thumbnail
2025/03/27
AnythingLLM 是一款簡化大型語言模型應用程式的強大工具,支援多種文件格式、多人使用和管理,並提供彈性的 LLM 和向量資料庫選擇。同時,它也提供網頁文字爬取和 YouTube 字幕擷取等功能。本文介紹Docker 架設方法,並提供設定步驟與使用範例,例如建立一個會議紀錄小祕書。
Thumbnail
看更多