Firecrawl

Firecrawl 由 Mendable, Inc. 开发，核心采用 TypeScript 构建 API 服务端与 Playwright 抓取服务，通过 Docker Compose 编排多容器部署（API + Worker + Redis + PostgreSQL + Playwright 微服务），异步任务基于 Bull Queue 调度。项目以 AGPL-3.0 协议开源核心代码，SDK 及部分 UI 组件采用 MIT 协议。

项目提供八大 API 端点：Search（搜索并返回页面内容）、Scrape（单 URL 转 Markdown/JSON/截图）、Crawl（整站爬取）、Map（站点 URL 发现）、Batch Scrape（异步批量抓取）、Parse（PDF/DOCX 解析）、Interact（AI 驱动页面交互后提取）、Agent（自主数据采集，支持结构化 Schema 输出）。声称覆盖 96% 网页，P95 延迟 3.4s，自动处理代理轮换、速率限制等反爬复杂性。

支持两种部署形态：云端 SaaS（功能最完整，含 Fire-engine 高级反封锁与 Agent/Browser 端点）与自托管（功能子集，但支持 Ollama 本地 LLM 实验性接入及 SearXNG 替代搜索后端）。AI 功能层支持 OpenAI API、Ollama 及任意 OpenAI 兼容接口。

Agent 接入方面，提供 CLI Skill 一键安装与标准 MCP Server 配置，已与 Claude Code、Antigravity、OpenCode 等 Agent 及 Zapier、n8n 等自动化平台集成。提供 Python、Node.js、Rust、Elixir、Java 官方 SDK，Go SDK 为社区维护。

SDK 安装#

Python:

pip install firecrawl-py

Node.js:

npm install @mendable/firecrawl-js

Rust:

[dependencies]
firecrawl = "2"

自托管部署#

前置条件：Docker。创建 .env 配置文件后执行：

docker compose build
docker compose up

服务默认运行于 http://localhost:3002，支持 Kubernetes Helm Chart 部署。

快速使用示例#

from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
doc = app.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)

MCP Server 配置#

{
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": { "FIRECRAWL_API_KEY": "fc-YOUR_API_KEY" }
    }
  }
}

云端 vs 自托管能力差异#