SGLang

SGLang kann Open-Source-Modelle über eine OpenAI-kompatible HTTP-API bereitstellen. OpenClaw kann sich über die openai-completions-API mit SGLang verbinden.

OpenClaw kann verfügbare Modelle von SGLang auch automatisch erkennen, wenn du SGLANG_API_KEY aktivierst (jeder Wert funktioniert, falls dein Server keine Authentifizierung erzwingt) und keinen expliziten models.providers.sglang-Eintrag definierst.

Schnellstart

  1. Starte SGLang mit einem OpenAI-kompatiblen Server.

Deine Base-URL sollte /v1-Endpunkte bereitstellen (zum Beispiel /v1/models, /v1/chat/completions). SGLang läuft üblicherweise auf:

  • http://127.0.0.1:30000/v1
  1. Aktiviere den Zugang (jeder Wert funktioniert, wenn keine Authentifizierung konfiguriert ist):
export SGLANG_API_KEY="sglang-local"
  1. Starte das Onboarding und wähle SGLang, oder setze direkt ein Modell:
openclaw onboard
{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

Modellerkennung (impliziter Provider)

Wenn SGLANG_API_KEY gesetzt ist (oder ein Auth-Profil existiert) und du models.providers.sglang nicht definierst, fragt OpenClaw ab:

  • GET http://127.0.0.1:30000/v1/models

und wandelt die zurückgegebenen IDs in Modelleinträge um.

Wenn du models.providers.sglang explizit setzt, wird die automatische Erkennung übersprungen und du musst Modelle manuell definieren.

Explizite Konfiguration (manuelle Modelle)

Verwende die explizite Konfiguration, wenn:

  • SGLang auf einem anderen Host/Port läuft.
  • Du contextWindow/maxTokens-Werte festlegen möchtest.
  • Dein Server einen echten API-Key erfordert (oder du Header steuern möchtest).
{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

Fehlerbehebung

  • Prüfe, ob der Server erreichbar ist:
curl http://127.0.0.1:30000/v1/models
  • Falls Anfragen mit Authentifizierungsfehlern fehlschlagen, setze einen echten SGLANG_API_KEY, der zu deiner Serverkonfiguration passt, oder konfiguriere den Provider explizit unter models.providers.sglang.
Weiter
Overview
arrow_forward