SGLang

SGLang 可透過 OpenAI 相容的 HTTP API 提供開源模型服務。OpenClaw 使用 openai-completions API 連接 SGLang。

當你透過 SGLANG_API_KEY(若伺服器不要求認證,任意值皆可)啟用且未定義 models.providers.sglang 時,OpenClaw 也能自動探索 SGLang 上的可用模型。

快速開始

  1. 啟動 SGLang 的 OpenAI 相容伺服器。

你的 Base URL 需提供 /v1 端點(例如 /v1/models/v1/chat/completions)。SGLang 常用的位址為:

  • http://127.0.0.1:30000/v1
  1. 啟用(若未設定認證,任意值皆可):
export SGLANG_API_KEY="sglang-local"
  1. 執行設定精靈並選擇 SGLang,或直接設定模型:
openclaw onboard
{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

模型探索(隱式供應商)

SGLANG_API_KEY 已設定(或存在認證 Profile)且未定義 models.providers.sglang 時,OpenClaw 會查詢:

  • GET http://127.0.0.1:30000/v1/models

並將回傳的 ID 轉換為模型項目。

若你明確設定了 models.providers.sglang,自動探索會被略過,必須手動定義模型。

明確設定(手動模型)

在以下情況使用明確設定:

  • SGLang 執行在不同的主機或埠號上。
  • 你想固定 contextWindow/maxTokens 的值。
  • 你的伺服器需要真正的 API 金鑰(或你想控制 headers)。
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

疑難排解

  • 確認伺服器可連線:
curl http://127.0.0.1:30000/v1/models
  • 若請求因認證錯誤失敗,請設定與伺服器設定相符的 SGLANG_API_KEY,或在 models.providers.sglang 中明確設定供應商。