简介
Firecrawl 专为 AI 数据管道设计，解决了”把网页喂给大模型”的痛点。它不仅能抓取静态页面，还能处理 JavaScript 渲染、翻页与深层链接，并输出整洁的 Markdown 或结构化 JSON。
核心功能
- 智能爬取：整站递归抓取与链接发现
- 格式转换：HTML 转干净 Markdown
- 结构化提取：按 schema 输出 JSON
- 动态渲染：处理 SPA 与 JS 页面
- 批量接口：支持异步大规模任务
适用场景
- RAG 知识库网页语料采集
- 竞品与市场情报监控
- AI Agent 的实时网页数据源
优缺点
优点：
- 输出质量高、免清洗
- 动态页面处理能力强
- 有开源版本可自托管
缺点：
- 高并发抓取成本上升
- 需遵守目标站点robots 规则
使用技巧
- 用 crawl 接口批量抓站，scrape 抓单页
- 为结构化提取定义明确的 JSON schema
- 配合向量库构建自动化 RAG 流水线
