Firecrawl

OpenClaw 可以使用 Firecrawl 作為 web_fetch 的後備擷取器。這是一個託管的內容擷取服務,支援繞過機器人偵測和快取,對於大量使用 JavaScript 的網站或阻擋普通 HTTP 請求的頁面特別有用。

取得 API key

  1. 建立 Firecrawl 帳號並產生 API key。
  2. 將它存放在設定中,或在 Gateway 環境中設定 FIRECRAWL_API_KEY

設定 Firecrawl

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

注意事項:

  • firecrawl.enabled 預設為 true,除非明確設為 false
  • Firecrawl 後備嘗試僅在有可用 API key 時執行(tools.web.fetch.firecrawl.apiKeyFIRECRAWL_API_KEY)。
  • maxAgeMs 控制快取結果的最大存續時間(毫秒)。預設為 2 天。

隱匿 / 反機器人繞過

Firecrawl 提供一個代理模式參數用於反機器人繞過(basicstealthauto)。OpenClaw 對 Firecrawl 請求一律使用 proxy: "auto" 加上 storeInCache: true。如果省略 proxy,Firecrawl 預設為 autoauto 在基本嘗試失敗後會以隱匿代理重試,可能比僅使用 basic 消耗更多額度。

web_fetch 如何使用 Firecrawl

web_fetch 擷取順序:

  1. Readability(本地)
  2. Firecrawl(如果已設定)
  3. 基本 HTML 清理(最終後備)

完整的 web 工具設定請參閱 Web 工具