vLLM

vLLM 可透過 OpenAI 相容的 HTTP API 提供開源（及部分自訂）模型服務。OpenClaw 使用 openai-completions API 連接 vLLM。

當你透過 VLLM_API_KEY（若伺服器不要求認證，任意值皆可）啟用且未定義 models.providers.vllm 時，OpenClaw 也能自動探索 vLLM 上的可用模型。

快速開始

啟動 vLLM 的 OpenAI 相容伺服器。

你的 Base URL 需提供 /v1 端點（例如 /v1/models、/v1/chat/completions）。vLLM 常用的位址為：

http://127.0.0.1:8000/v1

啟用（若未設定認證，任意值皆可）：

export VLLM_API_KEY="vllm-local"

設定模型（替換為你的 vLLM 模型 ID）：

{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}

模型探索（隱式供應商）

當 VLLM_API_KEY 已設定（或存在認證 Profile）且未定義 models.providers.vllm 時，OpenClaw 會查詢：

GET http://127.0.0.1:8000/v1/models

並將回傳的 ID 轉換為模型項目。

若你明確設定了 models.providers.vllm，自動探索會被略過，必須手動定義模型。

明確設定（手動模型）

在以下情況使用明確設定：

vLLM 執行在不同的主機或埠號上。
你想固定 contextWindow/maxTokens 的值。
你的伺服器需要真正的 API 金鑰（或你想控制 headers）。

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local vLLM Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

疑難排解

確認伺服器可連線：

curl http://127.0.0.1:8000/v1/models

若請求因認證錯誤失敗，請設定與伺服器設定相符的 VLLM_API_KEY，或在 models.providers.vllm 中明確設定供應商。