Windows 上評測 Gemma 4 26B：從零到可跑通

如果你和我一樣是在 Windows 環境，硬體是 AMD 顯示核心（例如 Radeon 8060S），又想評測 google/gemma-4-26b-a4b，最穩定的方式不是直接走 CUDA 路徑，而是：

1. 由 LM Studio 載入模型負責推論
2. 讓 lm-eval-harness 透過 OpenAI-compatible API 呼叫 LM Studio
3. 用任務指令做基準測試與結果輸出

先釐清一個常見誤會

lm-eval validate --tasks hellaswag 只會驗證任務設定與資料集配置。 它不會檢查你的 API 是否連得上，也不會測模型推論。

所以正確流程是：

1. 先 validate 任務
2. 再測 /v1/models 與 /v1/completions、/v1/chat/completions
3. 最後跑正式評測

你的情境最適合的路線

你的條件是：

• Windows
• AMD Radeon 8060S
• 模型：google/gemma-4-26b-a4b
• API 位址：http://172.31.160.1:1234

在這種情境下，建議用：

• local-chat-completions 跑生成型任務（例如 gsm8k）
• local-completions 跑需要 logprobs 的任務（例如 hellaswag）
• 前提是 /v1/completions 回傳中真的有 logprobs

手動步驟版（先看懂流程）

1) 建立環境與安裝

git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness.git
Set-Location .\lm-evaluation-harness
python -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install --upgrade pip setuptools wheel
pip install -e .
pip install "lm_eval[api]"

2) 驗證任務

lm-eval validate --tasks hellaswag

若指令找不到，改用：

python -m lm_eval validate --tasks hellaswag

3) 測 API 是否可達

Invoke-RestMethod -Uri "http://172.31.160.1:1234/v1/models" -Method Get

4) 先跑最容易成功的生成型測試（gsm8k）

lm-eval run --model local-chat-completions `
  --model_args "model=google/gemma-4-26b-a4b,base_url=http://172.31.160.1:1234/v1/chat/completions,num_concurrent=1,max_retries=3" `
  --tasks gsm8k `
  --apply_chat_template `
  --batch_size 1 `
  --limit 20 `
  --output_path ".\results\gemma4-gsm8k-chat" `
  --log_samples

5) 檢查 hellaswag 所需的 logprobs 能不能用

$body = @{
  model = "google/gemma-4-26b-a4b"
  prompt = "The quick brown fox"
  max_tokens = 1
  temperature = 0
  logprobs = 1
  echo = $true
} | ConvertTo-Json -Depth 5

Invoke-RestMethod -Uri "http://172.31.160.1:1234/v1/completions" `
  -Method Post -ContentType "application/json" -Body $body

如果回傳內有 choices[0].logprobs，才能跑 hellaswag。

6) 跑 hellaswag

lm-eval run --model local-completions `
  --model_args "model=google/gemma-4-26b-a4b,base_url=http://172.31.160.1:1234/v1/completions,tokenized_requests=False,num_concurrent=1,max_retries=3" `
  --tasks hellaswag `
  --batch_size 1 `
  --limit 100 `
  --output_path ".\results\gemma4-hellaswag" `
  --log_samples

一鍵執行版（可直接複製貼上）

下面整段可直接貼 PowerShell。 它會自動做：建 venv、安裝、validate、測 API、跑 gsm8k、偵測 logprobs、可用時跑 hellaswag。

# =========================
# lm-eval Windows 全流程腳本
# =========================
$ErrorActionPreference = "Stop"
Set-StrictMode -Version Latest

# -------- 可調整參數 --------
$RepoUrl        = "https://github.com/EleutherAI/lm-evaluation-harness.git"
$WorkDir        = "$HOME\AI\lm-evaluation-harness"
$VenvDir        = "$WorkDir\.venv"
$ApiBase        = "http://172.31.160.1:1234"
$ModelId        = "google/gemma-4-26b-a4b"
$LimitGsm8k     = 20
$LimitHellaswag = 100
$RunTag         = Get-Date -Format "yyyyMMdd-HHmmss"
$ResultRoot     = Join-Path $WorkDir "results\$RunTag"

Write-Host "=== 開始執行 lm-eval 評測流程 ===" -ForegroundColor Cyan

# 允許本次 PowerShell Session 啟用 venv
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass -Force | Out-Null

# 檢查必要工具
if (-not (Get-Command git -ErrorAction SilentlyContinue)) {
    throw "找不到 git，請先安裝 Git for Windows。"
}
if (-not (Get-Command python -ErrorAction SilentlyContinue)) {
    throw "找不到 python，請先安裝 Python 3.10+ 並加入 PATH。"
}

# 1) 下載或進入專案
if (-not (Test-Path $WorkDir)) {
    Write-Host "下載專案到 $WorkDir" -ForegroundColor Yellow
    git clone --depth 1 $RepoUrl $WorkDir
}
Set-Location $WorkDir

# 2) 若非 git 倉庫則初始化
if (-not (Test-Path (Join-Path $WorkDir ".git"))) {
    Write-Host "偵測到不是 git 倉庫，正在初始化..." -ForegroundColor Yellow
    git init | Out-Null
    Write-Host "已完成 git 初始化。" -ForegroundColor Green
}

# 3) 建立虛擬環境
if (-not (Test-Path $VenvDir)) {
    Write-Host "建立虛擬環境..." -ForegroundColor Yellow
    python -m venv $VenvDir
}

$Py = Join-Path $VenvDir "Scripts\python.exe"
if (-not (Test-Path $Py)) {
    throw "找不到虛擬環境 Python：$Py"
}

# 4) 安裝套件
Write-Host "安裝/更新套件中..." -ForegroundColor Yellow
& $Py -m pip install --upgrade pip setuptools wheel
& $Py -m pip install -e .
& $Py -m pip install "lm_eval[api]"

# 5) 驗證 task
Write-Host "執行 task 驗證：hellaswag" -ForegroundColor Yellow
& $Py -m lm_eval validate --tasks hellaswag

# 6) 檢查 API 連線與模型清單
Write-Host "檢查 LM Studio API：$ApiBase/v1/models" -ForegroundColor Yellow
$modelsResp = Invoke-RestMethod -Uri "$ApiBase/v1/models" -Method Get -TimeoutSec 30
$modelIds = @()
if ($modelsResp.data) {
    $modelIds = @($modelsResp.data | ForEach-Object { $_.id })
}
Write-Host ("API 可見模型: " + ($modelIds -join ", ")) -ForegroundColor Gray

if ($modelIds.Count -eq 0) {
    Write-Warning "API 可連線，但未讀到模型清單。請確認 LM Studio 已載入模型。"
}
elseif ($modelIds -notcontains $ModelId) {
    Write-Warning "找不到指定模型 $ModelId。請確認 LM Studio 右側 API Model Identifier 完全一致。"
}

# 建立結果資料夾
New-Item -ItemType Directory -Path $ResultRoot -Force | Out-Null

# 7) 先跑 generate 類任務
$OutGsm8k = Join-Path $ResultRoot "gsm8k-chat"
Write-Host "開始評測 gsm8k（local-chat-completions）..." -ForegroundColor Yellow
& $Py -m lm_eval run `
    --model local-chat-completions `
    --model_args "model=$ModelId,base_url=$ApiBase/v1/chat/completions,num_concurrent=1,max_retries=3" `
    --tasks gsm8k `
    --apply_chat_template `
    --batch_size 1 `
    --limit $LimitGsm8k `
    --output_path $OutGsm8k `
    --log_samples

# 8) 測試 completions 端點是否支援 logprobs
$hasLogprobs = $false
Write-Host "檢查 /v1/completions 與 logprobs 支援..." -ForegroundColor Yellow
try {
    $payload = @{
        model       = $ModelId
        prompt      = "The quick brown fox jumps over the lazy dog."
        max_tokens  = 1
        temperature = 0
        logprobs    = 1
        echo        = $true
    } | ConvertTo-Json -Depth 10

    $compResp = Invoke-RestMethod `
        -Uri "$ApiBase/v1/completions" `
        -Method Post `
        -ContentType "application/json" `
        -Body $payload `
        -TimeoutSec 60

    if ($compResp.choices -and $compResp.choices.Count -gt 0 -and $null -ne $compResp.choices[0].logprobs) {
        $hasLogprobs = $true
    }
}
catch {
    Write-Warning "測試 /v1/completions 或 logprobs 時發生錯誤：$($_.Exception.Message)"
}

# 9) 若支援 logprobs，跑 hellaswag
if ($hasLogprobs) {
    $OutHella = Join-Path $ResultRoot "hellaswag-completions"
    Write-Host "偵測到 logprobs 可用，開始評測 hellaswag（local-completions）..." -ForegroundColor Yellow

    & $Py -m lm_eval run `
        --model local-completions `
        --model_args "model=$ModelId,base_url=$ApiBase/v1/completions,tokenized_requests=False,num_concurrent=1,max_retries=3" `
        --tasks hellaswag `
        --batch_size 1 `
        --limit $LimitHellaswag `
        --output_path $OutHella `
        --log_samples
}
else {
    Write-Warning "目前 API 不支援（或未正確回傳）logprobs，已跳過 hellaswag。"
    Write-Warning "你仍可先使用 generate 類任務（例如 gsm8k）進行評測。"
}

Write-Host ""
Write-Host "=== 流程完成 ===" -ForegroundColor Green
Write-Host "結果目錄：$ResultRoot" -ForegroundColor Green
Write-Host "你可以用下列指令查看結果檔案：" -ForegroundColor Gray
Write-Host "Get-ChildItem -Path `"$ResultRoot`" -Recurse -File | Select-Object FullName"

常見錯誤與排查重點

• 出現 Loglikelihood is not supported for chat completions
  代表你用 local-chat-completions 跑了 hellaswag，請改用 local-completions。
• 出現 404
  多半是 base_url 路徑不對。 Chat 請用 /v1/chat/completions，Completions 請用 /v1/completions。
• 出現 model not found
model= 必須與 LM Studio 的 API Model Identifier 完全一致。
• validate 成功但 run 失敗
  正常，因為 validate 不測 API，需另做端點測試。

結語

在 Windows + AMD 顯示架構下，LM Studio API + lm-eval-harness 是目前最務實、可維護、可複現的評測組合。 先讓 gsm8k 跑通，再確認 logprobs 後挑戰 hellaswag，能大幅降低排錯成本，也更適合把流程自動化成固定基準測試。

參考資料

• 黃奇傑，〈（步驟3）工具介紹〉 https://chichieh-huang.com/posts/42628a4362f7/