Firecrawl

OpenClaw는 web_fetch의 폴백 추출기로 Firecrawl을 사용할 수 있습니다. Firecrawl은 봇 차단 우회와 캐싱을 지원하는 호스팅된 콘텐츠 추출 서비스로, JS 중심 사이트나 일반 HTTP 요청을 차단하는 페이지에 유용합니다.

API 키 발급

1. Firecrawl 계정을 생성하고 API 키를 발급받으세요.
2. 설정 파일에 저장하거나 게이트웨이 환경에 FIRECRAWL_API_KEY를 설정하세요.

Firecrawl 설정

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

참고사항:

• firecrawl.enabled는 명시적으로 false로 설정하지 않는 한 기본값이 true입니다.
• Firecrawl 폴백은 API 키(tools.web.fetch.firecrawl.apiKey 또는 FIRECRAWL_API_KEY)가 있을 때만 시도됩니다.
• maxAgeMs는 캐시된 결과의 최대 허용 시간(밀리초)을 제어합니다. 기본값은 2일입니다.

스텔스 / 봇 차단 우회

Firecrawl은 봇 차단 우회를 위한 프록시 모드 매개변수(basic, stealth, auto)를 제공합니다. OpenClaw는 Firecrawl 요청에 항상 proxy: "auto"와 storeInCache: true를 사용합니다. 프록시를 생략하면 Firecrawl은 기본적으로 auto를 사용합니다. auto는 기본 시도가 실패하면 스텔스 프록시로 재시도하므로, 기본 전용 스크래핑보다 크레딧 소비가 많을 수 있습니다.

web_fetch에서 Firecrawl 사용 방식

web_fetch 추출 순서:

1. Readability (로컬)
2. Firecrawl (설정된 경우)
3. 기본 HTML 정리 (최종 폴백)

전체 웹 도구 설정은 웹 도구를 참고하세요.