Pi-Integrationsarchitektur

Dieses Dokument beschreibt, wie OpenClaw mit pi-coding-agent und den Geschwisterpaketen (pi-ai, pi-agent-core, pi-tui) zusammenarbeitet, um seine KI-Agent-Funktionen bereitzustellen.

Überblick

OpenClaw nutzt das Pi-SDK, um einen KI-Coding-Agenten in seine Messaging-Gateway-Architektur einzubetten. Statt Pi als Subprozess zu starten oder den RPC-Modus zu verwenden, importiert und instanziiert OpenClaw direkt Pi’s AgentSession über createAgentSession(). Dieser eingebettete Ansatz bietet:

Volle Kontrolle über den Session-Lebenszyklus und Event-Handling
Benutzerdefinierte Tool-Injektion (Messaging, Sandbox, Channel-spezifische Aktionen)
System-Prompt-Anpassung pro Channel/Kontext
Session-Persistenz mit Branching/Kompaktierungsunterstützung
Multi-Account-Auth-Profil-Rotation mit Failover
Provider-agnostisches Modell-Switching

Paketabhängigkeiten

{
  "@mariozechner/pi-agent-core": "0.49.3",
  "@mariozechner/pi-ai": "0.49.3",
  "@mariozechner/pi-coding-agent": "0.49.3",
  "@mariozechner/pi-tui": "0.49.3"
}

Paket	Zweck
`pi-ai`	Kern-LLM-Abstraktionen: `Model`, `streamSimple`, Nachrichtentypen, Provider-APIs
`pi-agent-core`	Agent-Loop, Tool-Ausführung, `AgentMessage`-Typen
`pi-coding-agent`	High-Level-SDK: `createAgentSession`, `SessionManager`, `AuthStorage`, `ModelRegistry`, integrierte Tools
`pi-tui`	Terminal-UI-Komponenten (im lokalen TUI-Modus von OpenClaw verwendet)

Dateistruktur

src/agents/
├── pi-embedded-runner.ts          # Re-Exports aus pi-embedded-runner/
├── pi-embedded-runner/
│   ├── run.ts                     # Haupteinstiegspunkt: runEmbeddedPiAgent()
│   ├── run/
│   │   ├── attempt.ts             # Einzelversuch-Logik mit Session-Setup
│   │   ├── params.ts              # RunEmbeddedPiAgentParams-Typ
│   │   ├── payloads.ts            # Response-Payloads aus Run-Ergebnissen aufbauen
│   │   ├── images.ts              # Bild-Injektion für Vision-Modelle
│   │   └── types.ts               # EmbeddedRunAttemptResult
│   ├── abort.ts                   # Erkennung von Abort-Fehlern
│   ├── cache-ttl.ts               # Cache-TTL-Tracking für Context-Pruning
│   ├── compact.ts                 # Manuelle/automatische Kompaktierungslogik
│   ├── extensions.ts              # Pi-Extensions für eingebettete Runs laden
│   ├── extra-params.ts            # Provider-spezifische Stream-Parameter
│   ├── google.ts                  # Google/Gemini-Turn-Ordering-Fixes
│   ├── history.ts                 # History-Limitierung (DM vs. Gruppe)
│   ├── lanes.ts                   # Session-/globale Command-Lanes
│   ├── logger.ts                  # Subsystem-Logger
│   ├── model.ts                   # Modell-Auflösung über ModelRegistry
│   ├── runs.ts                    # Aktives Run-Tracking, Abort, Queue
│   ├── sandbox-info.ts            # Sandbox-Info für System-Prompt
│   ├── session-manager-cache.ts   # SessionManager-Instanz-Caching
│   ├── session-manager-init.ts    # Session-Datei-Initialisierung
│   ├── system-prompt.ts           # System-Prompt-Builder
│   ├── tool-split.ts              # Tools aufteilen in builtIn vs. custom
│   ├── types.ts                   # EmbeddedPiAgentMeta, EmbeddedPiRunResult
│   └── utils.ts                   # ThinkLevel-Mapping, Fehlerbeschreibung
├── pi-embedded-subscribe.ts       # Session-Event-Subscription/Dispatch
├── pi-embedded-subscribe.types.ts # SubscribeEmbeddedPiSessionParams
├── pi-embedded-subscribe.handlers.ts # Event-Handler-Factory
├── pi-embedded-subscribe.handlers.lifecycle.ts
├── pi-embedded-subscribe.handlers.types.ts
├── pi-embedded-block-chunker.ts   # Streaming-Block-Reply-Chunking
├── pi-embedded-messaging.ts       # Messaging-Tool-Sent-Tracking
├── pi-embedded-helpers.ts         # Fehlerklassifizierung, Turn-Validierung
├── pi-embedded-helpers/           # Hilfsmodule
├── pi-embedded-utils.ts           # Formatierungshilfen
├── pi-tools.ts                    # createOpenClawCodingTools()
├── pi-tools.abort.ts              # AbortSignal-Wrapping für Tools
├── pi-tools.policy.ts             # Tool-Allowlist/-Denylist-Policy
├── pi-tools.read.ts               # Read-Tool-Anpassungen
├── pi-tools.schema.ts             # Tool-Schema-Normalisierung
├── pi-tools.types.ts              # AnyAgentTool-Typ-Alias
├── pi-tool-definition-adapter.ts  # AgentTool -> ToolDefinition-Adapter
├── pi-settings.ts                 # Settings-Overrides
├── pi-extensions/                 # Benutzerdefinierte Pi-Extensions
│   ├── compaction-safeguard.ts    # Safeguard-Extension
│   ├── compaction-safeguard-runtime.ts
│   ├── context-pruning.ts         # Cache-TTL-Context-Pruning-Extension
│   └── context-pruning/
├── model-auth.ts                  # Auth-Profil-Auflösung
├── auth-profiles.ts               # Profil-Store, Cooldown, Failover
├── model-selection.ts             # Standard-Modell-Auflösung
├── models-config.ts               # models.json-Generierung
├── model-catalog.ts               # Modellkatalog-Cache
├── context-window-guard.ts        # Context-Window-Validierung
├── failover-error.ts              # FailoverError-Klasse
├── defaults.ts                    # DEFAULT_PROVIDER, DEFAULT_MODEL
├── system-prompt.ts               # buildAgentSystemPrompt()
├── system-prompt-params.ts        # System-Prompt-Parameter-Auflösung
├── system-prompt-report.ts        # Debug-Report-Generierung
├── tool-summaries.ts              # Tool-Beschreibungszusammenfassungen
├── tool-policy.ts                 # Tool-Policy-Auflösung
├── transcript-policy.ts           # Transkript-Validierungspolicy
├── skills.ts                      # Skill-Snapshot/Prompt-Building
├── skills/                        # Skill-Subsystem
├── sandbox.ts                     # Sandbox-Kontext-Auflösung
├── sandbox/                       # Sandbox-Subsystem
├── channel-tools.ts               # Channel-spezifische Tool-Injektion
├── openclaw-tools.ts              # OpenClaw-spezifische Tools
├── bash-tools.ts                  # exec/process-Tools
├── apply-patch.ts                 # apply_patch-Tool (OpenAI)
├── tools/                         # Einzelne Tool-Implementierungen
│   ├── browser-tool.ts
│   ├── canvas-tool.ts
│   ├── cron-tool.ts
│   ├── discord-actions*.ts
│   ├── gateway-tool.ts
│   ├── image-tool.ts
│   ├── message-tool.ts
│   ├── nodes-tool.ts
│   ├── session*.ts
│   ├── slack-actions.ts
│   ├── telegram-actions.ts
│   ├── web-*.ts
│   └── whatsapp-actions.ts
└── ...

Kern-Integrationsablauf

1. Eingebetteten Agenten ausführen

Der Haupteinstiegspunkt ist runEmbeddedPiAgent() in pi-embedded-runner/run.ts:

import { runEmbeddedPiAgent } from "./agents/pi-embedded-runner.js";

const result = await runEmbeddedPiAgent({
  sessionId: "user-123",
  sessionKey: "main:whatsapp:+1234567890",
  sessionFile: "/path/to/session.jsonl",
  workspaceDir: "/path/to/workspace",
  config: openclawConfig,
  prompt: "Hello, how are you?",
  provider: "anthropic",
  model: "claude-sonnet-4-20250514",
  timeoutMs: 120_000,
  runId: "run-abc",
  onBlockReply: async (payload) => {
    await sendToChannel(payload.text, payload.mediaUrls);
  },
});

2. Session-Erstellung

Innerhalb von runEmbeddedAttempt() (aufgerufen von runEmbeddedPiAgent()) wird das Pi-SDK verwendet:

import {
  createAgentSession,
  DefaultResourceLoader,
  SessionManager,
  SettingsManager,
} from "@mariozechner/pi-coding-agent";

const resourceLoader = new DefaultResourceLoader({
  cwd: resolvedWorkspace,
  agentDir,
  settingsManager,
  additionalExtensionPaths,
});
await resourceLoader.reload();

const { session } = await createAgentSession({
  cwd: resolvedWorkspace,
  agentDir,
  authStorage: params.authStorage,
  modelRegistry: params.modelRegistry,
  model: params.model,
  thinkingLevel: mapThinkingLevel(params.thinkLevel),
  tools: builtInTools,
  customTools: allCustomTools,
  sessionManager,
  settingsManager,
  resourceLoader,
});

applySystemPromptOverrideToSession(session, systemPromptOverride);

3. Event-Subscription

subscribeEmbeddedPiSession() abonniert die Events von Pi’s AgentSession:

const subscription = subscribeEmbeddedPiSession({
  session: activeSession,
  runId: params.runId,
  verboseLevel: params.verboseLevel,
  reasoningMode: params.reasoningLevel,
  toolResultFormat: params.toolResultFormat,
  onToolResult: params.onToolResult,
  onReasoningStream: params.onReasoningStream,
  onBlockReply: params.onBlockReply,
  onPartialReply: params.onPartialReply,
  onAgentEvent: params.onAgentEvent,
});

Behandelte Events:

message_start / message_end / message_update (Streaming von Text/Reasoning)
tool_execution_start / tool_execution_update / tool_execution_end
turn_start / turn_end
agent_start / agent_end
auto_compaction_start / auto_compaction_end

4. Prompting

Nach dem Setup wird die Session mit einem Prompt angesprochen:

await session.prompt(effectivePrompt, { images: imageResult.images });

Das SDK übernimmt den kompletten Agent-Loop: Senden an das LLM, Ausführen von Tool-Aufrufen, Streaming der Antworten.

Die Bild-Injektion ist prompt-lokal: OpenClaw lädt Bild-Referenzen aus dem aktuellen Prompt und übergibt sie via images nur für diesen Turn. Ältere History-Turns werden nicht erneut nach Bild-Payloads durchsucht.

Tool-Architektur

Tool-Pipeline

Basis-Tools: Pi’s codingTools (read, bash, edit, write)
Benutzerdefinierte Ersetzungen: OpenClaw ersetzt bash durch exec/process, passt read/edit/write für die Sandbox an
OpenClaw-Tools: Messaging, Browser, Canvas, Sessions, Cron, Gateway usw.
Channel-Tools: Discord-/Telegram-/Slack-/WhatsApp-spezifische Aktions-Tools
Policy-Filterung: Tools gefiltert nach Profil, Provider, Agent, Gruppe, Sandbox-Policies
Schema-Normalisierung: Schemas bereinigt für Gemini/OpenAI-Eigenheiten
AbortSignal-Wrapping: Tools gewrappt, um Abort-Signale zu respektieren

Tool-Definition-Adapter

pi-agent-core’s AgentTool hat eine andere execute-Signatur als pi-coding-agent’s ToolDefinition. Der Adapter in pi-tool-definition-adapter.ts verbindet beides:

export function toToolDefinitions(tools: AnyAgentTool[]): ToolDefinition[] {
  return tools.map((tool) => ({
    name: tool.name,
    label: tool.label ?? name,
    description: tool.description ?? "",
    parameters: tool.parameters,
    execute: async (toolCallId, params, onUpdate, _ctx, signal) => {
      // pi-coding-agent-Signatur unterscheidet sich von pi-agent-core
      return await tool.execute(toolCallId, params, signal, onUpdate);
    },
  }));
}

Tool-Split-Strategie

splitSdkTools() übergibt alle Tools via customTools:

export function splitSdkTools(options: { tools: AnyAgentTool[]; sandboxEnabled: boolean }) {
  return {
    builtInTools: [], // Leer. Wir überschreiben alles
    customTools: toToolDefinitions(options.tools),
  };
}

Das stellt sicher, dass OpenClaws Policy-Filterung, Sandbox-Integration und erweitertes Toolset über alle Provider hinweg konsistent bleiben.

System-Prompt-Aufbau

Der System-Prompt wird in buildAgentSystemPrompt() (system-prompt.ts) zusammengebaut. Er setzt einen vollständigen Prompt zusammen mit Abschnitten für Tooling, Tool-Call-Stil, Sicherheits-Guardrails, OpenClaw-CLI-Referenz, Skills, Docs, Workspace, Sandbox, Messaging, Reply-Tags, Voice, Silent Replies, Heartbeats, Runtime-Metadaten sowie Memory und Reactions (wenn aktiviert) und optionale Context-Dateien und zusätzliche System-Prompt-Inhalte. Abschnitte werden für den minimalen Prompt-Modus von Subagenten gekürzt.

Der Prompt wird nach der Session-Erstellung über applySystemPromptOverrideToSession() angewendet:

const systemPromptOverride = createSystemPromptOverride(appendPrompt);
applySystemPromptOverrideToSession(session, systemPromptOverride);

Session-Management

Session-Dateien

Sessions sind JSONL-Dateien mit Baumstruktur (id/parentId-Verknüpfung). Pi’s SessionManager übernimmt die Persistenz:

const sessionManager = SessionManager.open(params.sessionFile);

OpenClaw wrappt dies mit guardSessionManager() für Tool-Result-Sicherheit.

Session-Caching

session-manager-cache.ts cached SessionManager-Instanzen, um wiederholtes Datei-Parsing zu vermeiden:

await prewarmSessionFile(params.sessionFile);
sessionManager = SessionManager.open(params.sessionFile);
trackSessionManagerAccess(params.sessionFile);

History-Limitierung

limitHistoryTurns() kürzt die Konversationshistorie basierend auf dem Channel-Typ (DM vs. Gruppe).

Kompaktierung

Auto-Kompaktierung wird bei Context-Overflow ausgelöst. compactEmbeddedPiSessionDirect() handhabt die manuelle Kompaktierung:

const compactResult = await compactEmbeddedPiSessionDirect({
  sessionId, sessionFile, provider, model, ...
});

Authentifizierung & Modell-Auflösung

Auth-Profile

OpenClaw verwaltet einen Auth-Profil-Store mit mehreren API-Keys pro Provider:

const authStore = ensureAuthProfileStore(agentDir, { allowKeychainPrompt: false });
const profileOrder = resolveAuthProfileOrder({ cfg, store: authStore, provider, preferredProfile });

Profile rotieren bei Fehlern mit Cooldown-Tracking:

await markAuthProfileFailure({ store, profileId, reason, cfg, agentDir });
const rotated = await advanceAuthProfile();

Modell-Auflösung

import { resolveModel } from "./pi-embedded-runner/model.js";

const { model, error, authStorage, modelRegistry } = resolveModel(
  provider,
  modelId,
  agentDir,
  config,
);

// Verwendet Pi's ModelRegistry und AuthStorage
authStorage.setRuntimeApiKey(model.provider, apiKeyInfo.apiKey);

Failover

FailoverError löst Modell-Fallback aus, wenn konfiguriert:

if (fallbackConfigured && isFailoverErrorMessage(errorText)) {
  throw new FailoverError(errorText, {
    reason: promptFailoverReason ?? "unknown",
    provider,
    model: modelId,
    profileId,
    status: resolveFailoverStatus(promptFailoverReason),
  });
}

Pi-Extensions

OpenClaw lädt benutzerdefinierte Pi-Extensions für spezialisiertes Verhalten:

Kompaktierungs-Safeguard

src/agents/pi-extensions/compaction-safeguard.ts fügt Guardrails zur Kompaktierung hinzu, einschließlich adaptiver Token-Budgetierung plus Tool-Fehler- und Dateioperations-Zusammenfassungen:

if (resolveCompactionMode(params.cfg) === "safeguard") {
  setCompactionSafeguardRuntime(params.sessionManager, { maxHistoryShare });
  paths.push(resolvePiExtensionPath("compaction-safeguard"));
}

Context-Pruning

src/agents/pi-extensions/context-pruning.ts implementiert Cache-TTL-basiertes Context-Pruning:

if (cfg?.agents?.defaults?.contextPruning?.mode === "cache-ttl") {
  setContextPruningRuntime(params.sessionManager, {
    settings,
    contextWindowTokens,
    isToolPrunable,
    lastCacheTouchAt,
  });
  paths.push(resolvePiExtensionPath("context-pruning"));
}

Streaming & Block-Replies

Block-Chunking

EmbeddedBlockChunker verwaltet das Streaming von Text in einzelne Reply-Blöcke:

const blockChunker = blockChunking ? new EmbeddedBlockChunker(blockChunking) : null;

Thinking/Final-Tag-Stripping

Streaming-Output wird verarbeitet, um <think>/<thinking>-Blöcke zu entfernen und <final>-Inhalte zu extrahieren:

const stripBlockTags = (text: string, state: { thinking: boolean; final: boolean }) => {
  // <think>...</think>-Inhalte entfernen
  // Bei enforceFinalTag nur <final>...</final>-Inhalte zurückgeben
};

Reply-Direktiven

Reply-Direktiven wie [[media:url]], [[voice]], [[reply:id]] werden geparst und extrahiert:

const { text: cleanedText, mediaUrls, audioAsVoice, replyToId } = consumeReplyDirectives(chunk);

Fehlerbehandlung

Fehlerklassifizierung

pi-embedded-helpers.ts klassifiziert Fehler für die geeignete Behandlung:

isContextOverflowError(errorText)     // Kontext zu groß
isCompactionFailureError(errorText)   // Kompaktierung fehlgeschlagen
isAuthAssistantError(lastAssistant)   // Auth-Fehler
isRateLimitAssistantError(...)        // Rate-Limited
isFailoverAssistantError(...)         // Sollte failovern
classifyFailoverReason(errorText)     // "auth" | "rate_limit" | "quota" | "timeout" | ...

Thinking-Level-Fallback

Wenn ein Thinking-Level nicht unterstützt wird, fällt es zurück:

const fallbackThinking = pickFallbackThinkingLevel({
  message: errorText,
  attempted: attemptedThinking,
});
if (fallbackThinking) {
  thinkLevel = fallbackThinking;
  continue;
}

Sandbox-Integration

Wenn der Sandbox-Modus aktiviert ist, werden Tools und Pfade eingeschränkt:

const sandbox = await resolveSandboxContext({
  config: params.config,
  sessionKey: sandboxSessionKey,
  workspaceDir: resolvedWorkspace,
});

if (sandboxRoot) {
  // Sandboxed read/edit/write-Tools verwenden
  // Exec läuft im Container
  // Browser verwendet Bridge-URL
}

Provider-spezifische Behandlung

Anthropic

Refusal-Magic-String-Bereinigung
Turn-Validierung für aufeinanderfolgende Rollen
Claude-Code-Parameter-Kompatibilität

Google/Gemini

Turn-Ordering-Fixes (applyGoogleTurnOrderingFix)
Tool-Schema-Bereinigung (sanitizeToolsForGoogle)
Session-History-Bereinigung (sanitizeSessionHistory)

OpenAI

apply_patch-Tool für Codex-Modelle
Thinking-Level-Downgrade-Handling

TUI-Integration

OpenClaw hat auch einen lokalen TUI-Modus, der pi-tui-Komponenten direkt nutzt:

// src/tui/tui.ts
import { ... } from "@mariozechner/pi-tui";

Das bietet die interaktive Terminal-Erfahrung ähnlich dem nativen Pi-Modus.

Wesentliche Unterschiede zur Pi-CLI

Aspekt	Pi-CLI	OpenClaw eingebettet
Aufruf	`pi`-Befehl / RPC	SDK via `createAgentSession()`
Tools	Standard-Coding-Tools	Benutzerdefiniertes OpenClaw-Tool-Set
System-Prompt	AGENTS.md + Prompts	Dynamisch pro Channel/Kontext
Session-Speicher	`~/.pi/agent/sessions/`	`~/.openclaw/agents/<agentId>/sessions/` (oder `$OPENCLAW_STATE_DIR/agents/<agentId>/sessions/`)
Auth	Einzelnes Credential	Multi-Profil mit Rotation
Extensions	Von Disk geladen	Programmatisch + Disk-Pfade
Event-Handling	TUI-Rendering	Callback-basiert (onBlockReply usw.)

Zukünftige Überlegungen

Bereiche für mögliche Überarbeitung:

Tool-Signatur-Angleichung: Derzeit wird zwischen pi-agent-core- und pi-coding-agent-Signaturen adaptiert
SessionManager-Wrapping: guardSessionManager erhöht die Sicherheit, aber auch die Komplexität
Extension-Loading: Könnte Pi’s ResourceLoader direkter nutzen
Streaming-Handler-Komplexität: subscribeEmbeddedPiSession ist stark gewachsen
Provider-Eigenheiten: Viele Provider-spezifische Codepfade, die Pi potenziell übernehmen könnte

Tests

Die Pi-Integrations-Testabdeckung umfasst folgende Suites:

src/agents/pi-*.test.ts
src/agents/pi-auth-json.test.ts
src/agents/pi-embedded-*.test.ts
src/agents/pi-embedded-helpers*.test.ts
src/agents/pi-embedded-runner*.test.ts
src/agents/pi-embedded-runner/**/*.test.ts
src/agents/pi-embedded-subscribe*.test.ts
src/agents/pi-tools*.test.ts
src/agents/pi-tool-definition-adapter*.test.ts
src/agents/pi-settings.test.ts
src/agents/pi-extensions/**/*.test.ts

Live/opt-in:

src/agents/pi-embedded-runner-extraparams.live.test.ts (aktivieren mit OPENCLAW_LIVE_TEST=1)

Aktuelle Run-Befehle findest du im Pi-Entwicklungsworkflow.