用Docker Model Runner 輕鬆在本地執行 LLM

前言

這篇文章將搭配簡單的範例，介紹最近推出的 Docker Model Runner。內容比較隨意粗略，希望能成為讓讀者了解這項工具的契機！

什麼是 Docker Model Runner？

使用條件

需使用 Docker Desktop 版本 4.40 以上。 在 Docker Desktop 的設定畫面中，前往「Features in Development」>「Beta features」，並啟用「Enable Model Runner」（預設是已經啟用的）

可用的模型

目前在 Docker Hub 上已有 12 個模型公開，包括 deepseek-r1-distill-llama、mistral、gemma3 等。 有關可用模型的最新資訊，請參考以下連結。

實際操作

這裡會介紹一個執行 Gemma 3 的範例。

請執行以下指令來下載 Gemma 3 模型。

docker model pull ai/gemma3:latest

下載完成後，請執行以下指令來運行 Gemma 3 模型。

docker model run ai/gemma3:latest

執行後，將會進入聊天模式。在聊天模式中輸入提問後，回覆就被生成出來了！

Interactive chat mode started. Type '/bye' to exit.
> 

也可以從其他 Docker 容器呼叫 API！

在以下範例中，我們將從 alpine 容器使用 curl 指令來訪問 Gemma 3 的 API。

docker run -it alpine:latest sh -c "apk update && apk add --no-cache curl && bash"

也可以在 http://model-runner.docker.internal/ 訪問。

curl http://model-runner.docker.internal/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/gemma3",
        "messages": [
            {
                "role": "system",
                "content": "你是個美國經濟學家"
            },
            {
                "role": "user",
                "content": "試論川普關稅方案對台灣與世界各國的衝擊"
            }
        ]
    }'

總結

Docker Model Runner的設定很簡單（只要安裝 Docker 就可以立即使用），我覺得它對於在開發中使用 Docker 的應用程式來整合 LLM 會非常有幫助。目前還是實驗性功能，所以可選的模型還比較少，但未來值得期待。