Firecrawl

OpenClaw kann Firecrawl als Fallback-Extrahierer für web_fetch verwenden. Es ist ein gehosteter Content-Extraktionsdienst, der Bot-Umgehung und Caching unterstützt, was bei JS-lastigen Seiten oder Seiten hilft, die einfache HTTP-Fetches blockieren.

API-Key besorgen

1. Erstelle ein Firecrawl-Konto und generiere einen API-Key.
2. Speichere ihn in der Konfiguration oder setze FIRECRAWL_API_KEY in der Gateway-Umgebung.

Firecrawl konfigurieren

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

Hinweise:

• firecrawl.enabled ist standardmäßig true, es sei denn, explizit auf false gesetzt.
• Firecrawl-Fallback-Versuche werden nur durchgeführt, wenn ein API-Key verfügbar ist (tools.web.fetch.firecrawl.apiKey oder FIRECRAWL_API_KEY).
• maxAgeMs steuert, wie alt gecachte Ergebnisse sein dürfen (ms). Standard sind 2 Tage.

Stealth / Bot-Umgehung

Firecrawl bietet einen Proxy-Modus-Parameter für Bot-Umgehung (basic, stealth oder auto). OpenClaw verwendet immer proxy: "auto" plus storeInCache: true für Firecrawl-Anfragen. Wenn Proxy weggelassen wird, verwendet Firecrawl standardmäßig auto. auto versucht es mit Stealth-Proxies erneut, wenn ein Basis-Versuch fehlschlägt, was mehr Credits verbrauchen kann als reines Basis-Scraping.

Wie web_fetch Firecrawl verwendet

web_fetch-Extraktionsreihenfolge:

1. Readability (lokal)
2. Firecrawl (wenn konfiguriert)
3. Einfache HTML-Bereinigung (letzter Fallback)

Siehe Web-Tools für das vollständige Web-Tool-Setup.