名称: firecrawl
描述: 通过 Firecrawl API 进行网络搜索与网页抓取。当你需要搜索网络、抓取网站(包括 JavaScript 密集型页面)、爬取整个站点或从网页中提取结构化数据时使用。需要设置 FIRECRAWL_API_KEY 环境变量。
通过 Firecrawl API 实现网络搜索与网页抓取。
在环境变量或 .env 文件中设置 FIRECRAWL_API_KEY:
export FIRECRAWL_API_KEY=fc-xxxxxxxxxx
firecrawl_search "你的搜索词" --limit 10
firecrawl_scrape "https://example.com"
firecrawl_crawl "https://example.com" --max-pages 50
详细 API 文档及高级选项,请参阅 references/api.md。
scripts/search.py - 使用 Firecrawl 进行网络搜索scripts/scrape.py - 抓取单个 URLscripts/crawl.py - 爬取整个网站