Ollama

Ollama ist eine lokale LLM-Laufzeitumgebung, mit der du Open-Source-Modelle ganz einfach auf deinem Rechner ausführen kannst. OpenClaw integriert sich in Ollamas native API (/api/chat), unterstützt Streaming und Tool-Calling und kann lokale Ollama-Modelle automatisch erkennen, wenn du OLLAMA_API_KEY (oder ein Auth-Profil) aktivierst und keinen expliziten models.providers.ollama-Eintrag definierst.

Warnung: Remote-Ollama-Nutzer: Verwende nicht die /v1 OpenAI-kompatible URL (http://host:11434/v1) mit OpenClaw. Das bricht Tool-Calling und Modelle geben möglicherweise rohes Tool-JSON als Klartext aus. Nutze stattdessen die native Ollama-API-URL: baseUrl: "http://host:11434" (ohne /v1).

Schnellstart

Onboarding-Assistent (empfohlen)

Der schnellste Weg, Ollama einzurichten, ist der Onboarding-Assistent:

openclaw onboard

Wähle Ollama aus der Provider-Liste. Der Assistent wird:

  1. Nach der Ollama-Base-URL fragen, unter der deine Instanz erreichbar ist (Standard http://127.0.0.1:11434).
  2. Dich zwischen Cloud + Local (Cloud- und lokale Modelle) oder Local (nur lokale Modelle) wählen lassen.
  3. Einen Browser-Anmeldevorgang öffnen, wenn du Cloud + Local wählst und nicht bei ollama.com angemeldet bist.
  4. Verfügbare Modelle erkennen und Standardwerte vorschlagen.
  5. Das ausgewählte Modell automatisch herunterladen, falls es lokal nicht verfügbar ist.

Der nicht-interaktive Modus wird ebenfalls unterstützt:

openclaw onboard --non-interactive \
  --auth-choice ollama \
  --accept-risk

Optional kannst du eine benutzerdefinierte Base-URL oder ein Modell angeben:

openclaw onboard --non-interactive \
  --auth-choice ollama \
  --custom-base-url "http://ollama-host:11434" \
  --custom-model-id "qwen3.5:27b" \
  --accept-risk

Manuelle Einrichtung

  1. Installiere Ollama: https://ollama.com/download

  2. Lade ein lokales Modell herunter, wenn du lokale Inferenz nutzen möchtest:

ollama pull glm-4.7-flash
# oder
ollama pull gpt-oss:20b
# oder
ollama pull llama3.3
  1. Wenn du auch Cloud-Modelle nutzen möchtest, melde dich an:
ollama signin
  1. Starte das Onboarding und wähle Ollama:
openclaw onboard
  • Local: nur lokale Modelle
  • Cloud + Local: lokale Modelle plus Cloud-Modelle
  • Cloud-Modelle wie kimi-k2.5:cloud, minimax-m2.5:cloud und glm-5:cloud erfordern kein lokales ollama pull

OpenClaw schlägt derzeit folgende Modelle vor:

  • Lokaler Standard: glm-4.7-flash
  • Cloud-Standards: kimi-k2.5:cloud, minimax-m2.5:cloud, glm-5:cloud
  1. Wenn du die manuelle Einrichtung bevorzugst, aktiviere Ollama direkt für OpenClaw (jeder Wert funktioniert; Ollama benötigt keinen echten Schlüssel):
# Umgebungsvariable setzen
export OLLAMA_API_KEY="ollama-local"

# Oder in deiner Konfigurationsdatei festlegen
openclaw config set models.providers.ollama.apiKey "ollama-local"
  1. Modelle anzeigen oder wechseln:
openclaw models list
openclaw models set ollama/glm-4.7-flash
  1. Oder den Standard in der Konfiguration festlegen:
{
  agents: {
    defaults: {
      model: { primary: "ollama/glm-4.7-flash" },
    },
  },
}

Modellerkennung (impliziter Provider)

Wenn du OLLAMA_API_KEY (oder ein Auth-Profil) setzt und models.providers.ollama nicht definierst, erkennt OpenClaw Modelle automatisch von der lokalen Ollama-Instanz unter http://127.0.0.1:11434:

  • Fragt /api/tags ab
  • Nutzt Best-Effort /api/show-Abfragen, um contextWindow auszulesen, wenn verfügbar
  • Markiert reasoning mit einer Modellnamen-Heuristik (r1, reasoning, think)
  • Setzt maxTokens auf den Standard-Ollama-Max-Token-Wert von OpenClaw
  • Setzt alle Kosten auf 0

So entfällt die manuelle Modellkonfiguration und der Katalog bleibt mit der lokalen Ollama-Instanz synchron.

Um zu sehen, welche Modelle verfügbar sind:

ollama list
openclaw models list

Um ein neues Modell hinzuzufügen, lade es einfach mit Ollama herunter:

ollama pull mistral

Das neue Modell wird automatisch erkannt und ist sofort nutzbar.

Wenn du models.providers.ollama explizit setzt, wird die automatische Erkennung übersprungen und du musst Modelle manuell definieren (siehe unten).

Konfiguration

Einfache Einrichtung (implizite Erkennung)

Der einfachste Weg, Ollama zu aktivieren, ist über eine Umgebungsvariable:

export OLLAMA_API_KEY="ollama-local"

Explizite Einrichtung (manuelle Modelle)

Verwende die explizite Konfiguration, wenn:

  • Ollama auf einem anderen Host/Port läuft.
  • Du bestimmte Context-Windows oder Modelllisten erzwingen möchtest.
  • Du vollständig manuelle Modelldefinitionen willst.
{
  models: {
    providers: {
      ollama: {
        baseUrl: "http://ollama-host:11434",
        apiKey: "ollama-local",
        api: "ollama",
        models: [
          {
            id: "gpt-oss:20b",
            name: "GPT-OSS 20B",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 8192,
            maxTokens: 8192 * 10
          }
        ]
      }
    }
  }
}

Wenn OLLAMA_API_KEY gesetzt ist, kannst du apiKey im Provider-Eintrag weglassen und OpenClaw füllt ihn für Verfügbarkeitsprüfungen automatisch aus.

Benutzerdefinierte Base-URL (explizite Konfiguration)

Wenn Ollama auf einem anderen Host oder Port läuft (explizite Konfiguration deaktiviert die automatische Erkennung, daher musst du Modelle manuell definieren):

{
  models: {
    providers: {
      ollama: {
        apiKey: "ollama-local",
        baseUrl: "http://ollama-host:11434", // Kein /v1 - native Ollama-API-URL verwenden
        api: "ollama", // Explizit setzen, um natives Tool-Calling-Verhalten zu garantieren
      },
    },
  },
}

Warnung: Füge /v1 nicht zur URL hinzu. Der /v1-Pfad nutzt den OpenAI-kompatiblen Modus, bei dem Tool-Calling nicht zuverlässig funktioniert. Verwende die Ollama-Base-URL ohne Pfad-Suffix.

Modellauswahl

Nach der Konfiguration stehen dir alle deine Ollama-Modelle zur Verfügung:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/gpt-oss:20b",
        fallbacks: ["ollama/llama3.3", "ollama/qwen2.5-coder:32b"],
      },
    },
  },
}

Cloud-Modelle

Cloud-Modelle ermöglichen es dir, in der Cloud gehostete Modelle (zum Beispiel kimi-k2.5:cloud, minimax-m2.5:cloud, glm-5:cloud) neben deinen lokalen Modellen zu nutzen.

Um Cloud-Modelle zu verwenden, wähle beim Onboarding den Modus Cloud + Local. Der Assistent prüft, ob du angemeldet bist, und öffnet bei Bedarf einen Browser-Anmeldevorgang. Falls die Authentifizierung nicht verifiziert werden kann, fällt der Assistent auf lokale Modell-Standards zurück.

Du kannst dich auch direkt unter ollama.com/signin anmelden.

Erweitert

Reasoning-Modelle

OpenClaw behandelt Modelle mit Namen wie deepseek-r1, reasoning oder think standardmäßig als Reasoning-fähig:

ollama pull deepseek-r1:32b

Modellkosten

Ollama ist kostenlos und läuft lokal, daher sind alle Modellkosten auf 0 $ gesetzt.

Streaming-Konfiguration

Die Ollama-Integration von OpenClaw nutzt standardmäßig die native Ollama-API (/api/chat), die Streaming und Tool-Calling gleichzeitig vollständig unterstützt. Es ist keine spezielle Konfiguration nötig.

Legacy OpenAI-kompatibler Modus

Warnung: Tool-Calling ist im OpenAI-kompatiblen Modus nicht zuverlässig. Verwende diesen Modus nur, wenn du das OpenAI-Format für einen Proxy benötigst und nicht auf natives Tool-Calling-Verhalten angewiesen bist.

Wenn du stattdessen den OpenAI-kompatiblen Endpunkt verwenden musst (z.B. hinter einem Proxy, der nur das OpenAI-Format unterstützt), setze api: "openai-completions" explizit:

{
  models: {
    providers: {
      ollama: {
        baseUrl: "http://ollama-host:11434/v1",
        api: "openai-completions",
        injectNumCtxForOpenAICompat: true, // default: true
        apiKey: "ollama-local",
        models: [...]
      }
    }
  }
}

Dieser Modus unterstützt möglicherweise nicht gleichzeitiges Streaming und Tool-Calling. Eventuell musst du Streaming mit params: { streaming: false } in der Modellkonfiguration deaktivieren.

Wenn api: "openai-completions" zusammen mit Ollama verwendet wird, injiziert OpenClaw standardmäßig options.num_ctx, damit Ollama nicht stillschweigend auf ein 4096-Token Context-Window zurückfällt. Falls dein Proxy/Upstream unbekannte options-Felder ablehnt, deaktiviere dieses Verhalten:

{
  models: {
    providers: {
      ollama: {
        baseUrl: "http://ollama-host:11434/v1",
        api: "openai-completions",
        injectNumCtxForOpenAICompat: false,
        apiKey: "ollama-local",
        models: [...]
      }
    }
  }
}

Context-Windows

Bei automatisch erkannten Modellen verwendet OpenClaw das von Ollama gemeldete Context-Window, wenn verfügbar, andernfalls fällt es auf das Standard-Ollama-Context-Window von OpenClaw zurück. Du kannst contextWindow und maxTokens in der expliziten Provider-Konfiguration überschreiben.

Fehlerbehebung

Ollama wird nicht erkannt

Stelle sicher, dass Ollama läuft, du OLLAMA_API_KEY (oder ein Auth-Profil) gesetzt hast und keinen expliziten models.providers.ollama-Eintrag definiert hast:

ollama serve

Prüfe außerdem, ob die API erreichbar ist:

curl http://localhost:11434/api/tags

Keine Modelle verfügbar

Wenn dein Modell nicht aufgelistet wird:

  • Lade das Modell lokal herunter, oder
  • Definiere das Modell explizit in models.providers.ollama.

Um Modelle hinzuzufügen:

ollama list  # Zeigt installierte Modelle
ollama pull glm-4.7-flash
ollama pull gpt-oss:20b
ollama pull llama3.3     # Oder ein anderes Modell

Verbindung abgelehnt

Prüfe, ob Ollama auf dem richtigen Port läuft:

# Prüfen, ob Ollama läuft
ps aux | grep ollama

# Oder Ollama neu starten
ollama serve

Siehe auch

arrow_back
Zurück
Nvidia
Weiter
Openai
arrow_forward