Firecrawl

OpenClaw は web_fetch のフォールバック抽出エンジンとして Firecrawl を使用できます。Firecrawl はボット回避とキャッシュに対応したホスト型コンテンツ抽出サービスで、JS を多用するサイトや通常の HTTP フェッチをブロックするページの処理に役立ちます。

API キーの取得

  1. Firecrawl アカウントを作成し、API キーを生成します。
  2. 設定ファイルに保存するか、Gateway 環境に FIRECRAWL_API_KEY を設定します。

Firecrawl の設定

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

補足:

  • firecrawl.enabled は明示的に false に設定しない限り、デフォルトで true です。
  • Firecrawl フォールバックは API キーが利用可能な場合（tools.web.fetch.firecrawl.apiKey または FIRECRAWL_API_KEY）にのみ実行されます。
  • maxAgeMs はキャッシュ結果の保持期間（ミリ秒）を制御します。デフォルトは 2 日間です。

ステルス / ボット回避

Firecrawl はボット回避のためのプロキシモードパラメータ（basic、stealth、auto）を提供しています。OpenClaw は Firecrawl リクエストに対して常に proxy: "auto" と storeInCache: true を使用します。proxy を省略した場合、Firecrawl のデフォルトは auto です。auto は基本的な試行が失敗した場合にステルスプロキシでリトライするため、basic のみのスクレイピングより多くのクレジットを消費する可能性があります。

web_fetch での Firecrawl の使われ方

web_fetch の抽出順序:

  1. Readability（ローカル）
  2. Firecrawl（設定されている場合）
  3. 基本的な HTML クリーンアップ（最終フォールバック）

Web ツールの完全な設定については Web ツール を参照してください。

arrow_back
前へ
Exec Approvals
次へ
LLM Task
arrow_forward