名称： brightdata
描述： 通过 Bright Data API 进行网页抓取与搜索。需要配置 BRIGHTDATA_API_KEY 和 BRIGHTDATA_UNLOCKER_ZONE。可用于以 Markdown 格式抓取任意网页（绕过机器人检测/CAPTCHA），或获取结构化结果的 Google 搜索。

Bright Data - 网页抓取与搜索

直接通过 API 调用 Bright Data 的 Web Unlocker 和 SERP 服务。

环境配置

1. 获取 API 密钥：
从 Bright Data 控制面板 获取密钥。

2. 创建 Web Unlocker 区域：
在 brightdata.com/cp 中点击右上角“添加”，选择“Unlocker zone”以创建区域。

3. 设置环境变量：

export BRIGHTDATA_API_KEY="你的API密钥"
export BRIGHTDATA_UNLOCKER_ZONE="你的区域名称"

使用方法

Google 搜索

搜索 Google 并获取结构化的 JSON 结果（包含标题、链接、描述）。

bash scripts/search.sh "搜索词" [页码]

• 页码：可选参数，用于分页（从 0 开始，默认值：0）

网页抓取

将任意网页抓取为 Markdown 格式。可绕过机器人检测和 CAPTCHA。

bash scripts/scrape.sh "网页地址"

输出格式

搜索结果

返回包含结构化 organic 数组的 JSON：

{
  "organic": [
    {"link": "...", "title": "...", "description": "..."}
  ]
}

抓取结果

返回网页内容转换后的清晰 Markdown 文本。