Firecrawl
OpenClaw 可以使用 Firecrawl 作為 web_fetch 的後備擷取器。這是一個託管的內容擷取服務,支援繞過機器人偵測和快取,對於大量使用 JavaScript 的網站或阻擋普通 HTTP 請求的頁面特別有用。
取得 API key
- 建立 Firecrawl 帳號並產生 API key。
- 將它存放在設定中,或在 Gateway 環境中設定
FIRECRAWL_API_KEY。
設定 Firecrawl
{
tools: {
web: {
fetch: {
firecrawl: {
apiKey: "FIRECRAWL_API_KEY_HERE",
baseUrl: "https://api.firecrawl.dev",
onlyMainContent: true,
maxAgeMs: 172800000,
timeoutSeconds: 60,
},
},
},
},
}
注意事項:
firecrawl.enabled預設為true,除非明確設為false。- Firecrawl 後備嘗試僅在有可用 API key 時執行(
tools.web.fetch.firecrawl.apiKey或FIRECRAWL_API_KEY)。 maxAgeMs控制快取結果的最大存續時間(毫秒)。預設為 2 天。
隱匿 / 反機器人繞過
Firecrawl 提供一個代理模式參數用於反機器人繞過(basic、stealth 或 auto)。OpenClaw 對 Firecrawl 請求一律使用 proxy: "auto" 加上 storeInCache: true。如果省略 proxy,Firecrawl 預設為 auto。auto 在基本嘗試失敗後會以隱匿代理重試,可能比僅使用 basic 消耗更多額度。
web_fetch 如何使用 Firecrawl
web_fetch 擷取順序:
- Readability(本地)
- Firecrawl(如果已設定)
- 基本 HTML 清理(最終後備)
完整的 web 工具設定請參閱 Web 工具。