AI

将 ZeroClaw 与 Bright Data 集成,打造具备网页感知能力的 AI 助手

本指南将带你了解如何使用 Web MCP 和 Agent skills 将 Bright Data 集成到 ZeroClaw 中,以实现实时网页访问和生产级数据采集。
2 分钟阅读
使用 Bright Data 的 Zeroclaw

在本文中,你将学习:

  • ZeroClaw 是什么,以及它能带来什么。
  • 为什么添加网页访问能力能提升你的 AI 助手的能力。
  • Bright Data 如何通过网页抓取、搜索、发现和浏览器自动化工具实现 ZeroClaw 集成。
  • 如何使用 MCP 将 Bright Data 连接到 ZeroClaw。
  • 如何通过专用的 Agent 技能 为你的 ZeroClaw AI 助手提供 Bright Data 知识。
  • ZeroClaw + Bright Data 集成支持什么,并提供一个完整示例。

让我们开始吧!

什么是 ZeroClaw?

ZeroClaw 是一个轻量级、基于 Rust 的 AI agent 运行时,专为完全在你自己的机器上运行而设计。

它充当一个个人 AI 助手,可连接多个 LLM 提供商,在数十个渠道中交互,并通过 shell、浏览器和 API 等工具执行现实世界任务。与竞争对手相比,它的突出之处在于其隐私优先且完全本地化的方法。
ZeroClaw 的 GitHub star 历史

ZeroClaw 在开源社区中正在快速获得关注,在不到两个月内达到超过 30k GitHub stars

它提供的核心特性包括:

  • 单一二进制运行时:以紧凑的 Rust 二进制文件运行,启动快且资源占用极少。
  • 与提供商无关:可与 50+ AI 提供商配合使用,包括 OpenAI、Anthropic、Ollama 等。
  • 多渠道支持:连接到 20+ 平台,如 Discord、Telegram、电子邮件和 CLI。
  • 本地优先隐私:一切都在你的机器上运行,因此你拥有完整的数据所有权(无云端、无遥测)。
  • 工具执行引擎:与 shell、浏览器、HTTP API、硬件和 MCP 服务器交互。
  • 安全与沙箱:内置防护措施、权限和工作区隔离,实现安全自动化。
  • 自动化与 SOP(标准操作流程)引擎:通过 cron jobs、webhooks 和事件驱动流程支持工作流。
  • 硬件集成:可与 Raspberry Pi、Arduino 和 ESP32 等设备配合使用。
  • 可扩展架构:轻松添加新的提供商、工具、渠道和自定义集成。

官方文档中了解更多。

为什么要让你的 ZeroClaw AI 助手访问网页

即使是为 ZeroClaw 提供支持的最先进 LLM,也有一个根本限制:它们的知识是冻结在某个时间点的。由于它们依赖于静态训练数据,因此无法自然地跟上现实世界的变化。

在快速变化的环境中,这是一个严重的缺点。没有对最新信息的访问,AI 助手可能会给出过时的答案、产生幻觉事实,或采取错误的行动。

为了保持可靠性,你的 ZeroClaw AI agents 需要访问实时网页。这就是为什么 ZeroClaw 自带用于网页抓取和搜索的内置工具。尽管如此,这些工具并不总是具备生产就绪能力,并且可能会遇到封锁或结果不一致的问题。

这就是 Bright Data 发挥作用的地方!

Bright Data 凭借覆盖 195 个国家/地区的超过 4 亿住宅 IP网络脱颖而出,提供 99.99% 的正常运行时间和 99.95% 的成功率。它将你的 AI agent 变成一个具备可扩展、生产级网页数据访问能力的配置。

通过集成 Bright Data 的 AI-ready 基础设施,你的 ZeroClaw 助手可以通过以下方式突破训练限制:

  • 执行实时研究:通过在 Google、Bing、Yandex 等上的实时搜索查询访问最新信息
  • 验证信息准确性:将输出与可靠的在线来源进行交叉验证
  • 收集实时数据:提取最新内容,例如价格、评论和市场洞察
  • 支持许多其他用例…

如何使用 Bright Data 扩展 ZeroClaw:2 种方法

Bright Data 通过两种互补的集成方式支持 ZeroClaw:

  • Bright Data Web MCP:官方 MCP 服务器,提供 70+ 工具以与 Bright Data 的 API 和服务交互。
  • Bright Data 技能:一组 Agent 技能,用于教 ZeroClaw 如何有效使用 Bright Data 解决方案。

重要:这两种方法不是替代关系。相反,它们结合使用效果最佳。特别是,Bright Data skills 包含一个专用技能,帮助你的 AI agents 最大化利用 Web MCP 工具。

Bright Data Web MCP

Bright Data Web MCP 提供 70+ 工具,用于自动化网页数据采集、结构化提取和浏览器自动化。

即使在免费层级(每月 5k 请求)中,你也可以访问以下核心工具:

Tool Description
search_engine + its batch version 以 JSON 或 Markdown 格式检索 Google、Bing 或 Yandex 结果
scrape_as_markdown + its batch version 将任何网页转换为干净的 Markdown,同时绕过机器人防护
discover 执行 AI 驱动的网页搜索,获得排序后的相关结果

然后,Pro mode 解锁 Web MCP 的全部能力。这包括用于从 Amazon、LinkedIn、Yahoo Finance、YouTube、TikTok、Zillow 和 Google Maps 等平台进行结构化提取的高级工具。此外,它还提供浏览器自动化工具。

Bright Data 技能

Bright Data 技能 通过以下方式扩展 ZeroClaw 的知识:

Skill Description
search 结构化 Google 搜索,支持分页并输出干净的 JSON
scrape 将网页抓取为 Markdown,支持绕过机器人、防 CAPTCHA 处理和 JavaScript 渲染
data-feeds 来自 40+ 平台的预构建结构化数据集(Amazon、LinkedIn、TikTok、YouTube、eBay、Walmart 等)
brightdata-cli 用于抓取、搜索、代理、提取和监控的 CLI 实用工具
bright-data-mcp 编排 MCP 工具以进行搜索、抓取、提取和自动化
competitive-intel 实时竞争情报(定价、评论、招聘、SEO 信号)
scraper-builder 指导创建生产就绪的爬虫工具,从分析到实现
design-mirror 复制 UI 模式、tokens 和设计系统
python-sdk-best-practices Bright Data Python SDK 的使用指南(sync/async、数据集、错误处理等)
bright-data-best-practices 网络解锁器、搜索引擎 API、爬虫工具 API 和 Browser API 的最佳实践

通用步骤

在了解如何将 Bright Data 集成到 ZeroClaw 之前,请先完成通用的设置步骤。

前提条件

要跟随本教程,请确保你具备:

  • 基于 UNIX 的操作系统(Linux 或 macOS)。
  • 本地安装了 Node.js 20+(推荐 LTS 版本)。
  • 本地安装了 Rust
  • 来自 ZeroClaw 支持的某个 LLM 提供商的 API key(这里我们将使用 OpenAI API key)。
  • 一个已配置 API key 的 Bright Data 账户。要生成 Bright Data API key,请遵循官方指南

步骤 #1:安装 ZeroClaw

在终端中,运行下面的命令以获取并执行 ZeroClaw 安装脚本:

curl -fsSL https://raw.githubusercontent.com/zeroclaw-labs/zeroclaw/master/install.sh | bash

你将输出类似如下内容:
ZeroClaw 安装脚本

现在重启你的 shell。zeroclaw 命令现在应可在全局使用。通过以下方式验证:

zeroclaw --version

结果将类似于:

zeroclaw 0.7.3

做得好!ZeroClaw 已安装在你的机器上。

步骤 #2:完成设置

要进行引导式设置,请运行以下命令:

zeroclaw onboard

ZeroClaw 引导流程将开始:
ZeroClaw 引导

你将通过一个 9 步向导来配置 ZeroClaw。

首先选择你的目标 AI 提供商。在本例中,选择 OpenAI 并粘贴你的 API key:
配置你的 OpenAI API key

然后获取最新模型并选择一个(在本例中,gpt-5-mi<a href="https://developers.openai.com/api/docs/models/gpt-5-mini" target="_blank" rel="noreferrer noopener nofollow">n</a>i)。

系统会提示你连接一个渠道。对于本教程来说这是可选的。接下来,请确保启用 “Sovereign Mode”,以完全控制 AI 助手的工具:
启用 “Sovereign” 模式

最后,通过提供其名称、时区和偏好语气来个性化你的 AI 助手:
自定义 ZeroClaw 助手

ZeroClaw 现在将被配置,并且所需的守护进程将自动启动。

要验证一切正常工作,请使用以下命令启动 CLI chat:

zeroclaw agent

尝试发送一条消息,例如 “Hey!” 如果一切设置正确,你应该会看到类似如下的响应:
注意助手生成的消息

太棒了!ZeroClaw 现在已在你的机器上正确运行。

将你的 ZeroClaw AI 助手连接到 Bright Data MCP

在这个引导部分中,你将学习如何在 ZeroClaw 中配置 Bright Data Web MCP 的本地实例。

前提条件

为了更轻松地跟随,建议你具备:

另外请注意,“通用步骤”部分列出的前提条件在这里仍然适用。

步骤 #1:设置 Bright Data 的 Web MCP

在你的 ZeroClaw 设置中配置 Web MCP 之前,先验证 MCP 服务器能在你的机器上正确运行。

首先登录你的 Bright Data 账户。为了快速设置,可以参考控制面板中 “MCP” 部分的说明:
Bright Data 控制面板中的 “MCP” 部分

否则,如需更多指导,请按照以下步骤操作。

首先,通过全局添加 @brightdata/mcp 包来安装 Web MCP:

npm install -g @brightdata/mcp

接下来,使用以下命令检查 MCP 服务器是否启动:

API_TOKEN="<YOUR_BRIGHT_DATA_API>" npx -y @brightdata/mcp

<YOUR_BRIGHT_DATA_API> 占位符替换为你实际的 Bright Data API key。上述命令设置所需的 API_TOKEN 环境变量并在本地启动 Web MCP 服务器。

如果一切正常,你应该会看到类似如下的日志:
Bright Data 的 Web MCP 启动消息

在首次运行时,@brightdata/mcp 包会在你的 Bright Data 账户中自动创建两个区域:

这些区域为 Web MCP 中可用的 70+ 工具提供支持。你也可以配置自定义区域名称,如官方仓库所述

要检查默认区域是否已创建,请进入控制面板中的 “Proxies & Scraping Infrastructure” 页面。你应该会在 “My Zones” 表格中看到这两个区域:
注意 Web MCP 在启动时创建的 “mcp_unlocker” 和 “mcp_browser” 区域

现在,请记住,在 Web MCP 免费层级中,只提供有限的一组工具。

要解锁全部 70+ 工具,你必须通过设置 PRO_MODE="true" env 来启用 Pro mode

API_TOKEN="<YOUR_BRIGHT_DATA_API>" PRO_MODE="true" npx -y @brightdata/mcp

注意:Pro mode 不包含在免费层级中,并且会产生额外费用

很好!你刚刚确认了 Bright Data Web MCP 在你的系统上可以工作。现在,你将配置 ZeroClaw 连接到它。

步骤 #2:添加 Web MCP 配置

ZeroClaw 支持 MCP 配置,通过 ~/.zeroclaw/config.toml 文件中的一个特殊设置实现。这代表 ZeroClaw 使用的全局配置文件。

要启用 Bright Data Web MCP,请确保你的 config.toml 包含以下内容:

# ~/.zeroclaw/config.toml

[mcp]
enabled = true
deferred_loading = true
servers = [{ name = "bright-data", command = "npx", transport = "stdio", args = ["@brightdata/mcp"], env = { API_TOKEN = "<YOUR_BRIGHT_DATA_API_KEY", PRO_MODE = "true" }, headers = {} }]

具体来说,enabled 必须设置为 true 以激活 MCP 支持(在最近版本中,默认是禁用的)。此外,[mcp] 中的 servers 数组必须包含如上所示的有效 Bright Data MCP 配置。

该配置镜像了前面看到的 npx 命令,其中凭据通过环境变量传递:

  • API_TOKEN(必需):你的 Bright Data API key。
  • PRO_MODE(可选):启用高级功能。如果你不打算依赖 Pro mode,请移除它或将其设置为 "false"

注意:ZeroClaw 中的 MCP 服务器是延迟加载的,这意味着它们不会在守护进程启动时启动。
相反,ZeroClaw 仅在你启动 AI 助手时才连接到本地 Web MCP 实例,并在那时触发已配置的 npx 命令。

很酷!让我们验证一下。

步骤 #3:检查连接

使用以下命令启动一个新的 ZeroClaw CLI 会话:

zeroclaw agent

在启动日志中,你现在应该会看到:
注意与 MCP 相关的日志

由于 Web MCP 是唯一配置的,并且日志专门提到了它,我们可以确认 ZeroClaw 已成功连接到本地 Web MCP 实例。

为消除任何疑虑,尝试如下提示:

Which Bright Data MCP tools do you have access to?

你应该会收到一个响应,列出 Web MCP 暴露的所有工具。启用 Pro Mode 后,输出将包含完整的可用工具集,如下所示:
注意 ZeroClaw AI 助手看到的 Web MCP 工具

恭喜!Web MCP 集成工作正常。在本文后面,你将看到 Web MCP 与 Bright Data 技能 一起实际运行。

通过 skills 让你的 ZeroClaw AI 助手了解 Bright Data 的基础设施

在这里,你将看到如何将 Bright Data 技能 添加到你的本地 ZeroClaw 设置中。

前提条件

要完成本章,请确保你具备:

除了“通用步骤”的前提条件外,你还需要:

要在基于 Debian 的操作系统上安装 jq(一个类似于 sed 的轻量级 JSON 处理器),运行:

sudo apt-get install curl jq

或者,在 macOS 上运行:

brew install curl jq

要快速设置一个网络解锁器 API 区域,请查看 “创建你的第一个 Unlocker API” 指南。或者,继续执行下面的步骤。

步骤 #1:创建一个网络解锁器 API 区域

首先登录你的 Bright Data 账户。进入 “Proxies & Scraping Infrastructure” 页面,并查看 “My Zones” 表格:
注意 “web_unlocker” 网络解锁器 API 区域

如果已经存在一个网络解锁器区域,例如本例中的 web_unlocker,请进入下一步。

否则,通过滚动到 “Unblocker API” 卡片并点击 “Create 区域” 来创建一个:
点击 “Create 区域” 按钮

为你的区域选择一个清晰的名称,并完成设置向导,直到该区域变为激活状态。
太棒了!

步骤 #2:完成 技能 设置

要连接到 Bright Data 基础设施,官方 skills 需要这两个环境变量

使用以下命令在系统中设置所需 env:

export BRIGHTDATA_API_KEY="<YOUR_BRIGHT_DATA_API_KEY>"
export BRIGHTDATA_UNLOCKER_ZONE="<YOUR_BRIGHT_DATA_WEB_UNLOCKER_API_ZONE_NAME>"

将占位符替换为实际值。设置完成后,Bright Data 技能 就可以被 ZeroClaw 使用了!

步骤 #3:在 ZeroClaw 中添加 Bright Data skills

在撰写本文时,Bright Data 技能 需要执行 shell 脚本才能工作。因此,首先在 ZeroClaw 配置文件的 [skills] 部分将 allow_scripts 设置为 true

# ~/.zeroclaw/config.toml

[skills]
# ...
allow_scripts = true
# ...

要在 ZeroClaw 中安装新 技能,你需要将它们放在 ~/.zeroclaw/workdpsace/skills 目录中。首先克隆官方 Bright Data 技能 仓库:

git clone https://github.com/brightdata/skills

在仓库中,你会在内部的 skills/ 文件夹下找到所有可用 技能:

skills/
  ├── ...
  └── skills/
        ├── brd-browser-debug/
        ├── bright-data-best-practices/
        ├── bright-data-mcp/
        ├── brightdata-cli/
        ├── competitive-intel/
        ├── data-feeds/
        ├── design-mirror/
        ├── python-sdk-best-practices/
        ├── scrape/
        └── scraper-builder/

将所有 skills/skills/ 文件夹复制到你的 ZeroClaw workspace 中:

cp -r skills/skills/* ~/.zeroclaw/workspace/skills/

就是这样!Bright Data 技能 现在已成功添加到 ZeroClaw。

步骤 #4:验证 skills 是否可用

要确认 ZeroClaw 识别 Bright Data 官方 技能,请运行:

zeroclaw skills list

输出应显示你之前添加的 Bright Data 技能 列表:
注意 Bright Data skills

任务完成!在下一部分中,你将体验由 Bright Data Web MCP 和 Agent 技能 增强的 ZeroClaw AI 助手。

ZeroClaw + Bright Data 实战

假设你是一位企业主,希望定期收到来自你的 ZeroClaw AI 助手的一条消息,总结你的 Google Maps 列表的评论。可以通过如下提示实现:

Retrieve the Google Maps reviews for the "NY Pizza Suprema" business in New York. Focus on reviews that were posted in the last 2 days. Also scrape the main business information from Google Maps (e.g., name, category, location, rating, number of reviews, etc.).

Then, aggregate everything into a concise report that includes
- Updated average review score + udpated review count
- A sentiment analysis of the most recent reviews

For the sentiment analysis:
- Highlight common positive and negative themes
- Include real quotes from customers
- Emphasize what customers appreciated most and what they suggested could be improved

重要:这项任务不是 ZeroClaw 单独就能可靠完成的。因为它需要用于网页搜索(定位 Maps 上的商家)、抓取(提取商家数据)以及从 Google Maps 进行结构化提取的生产级工具。

提示:为确保 ZeroClaw 在此工作流中使用 Bright Data(而不是不稳定的内置工具),你可以在提示中明确指示它。或者,可选地,发送一条消息要求将此偏好存储在 agent 的记忆中,以便跨会话持久化。

要验证该提示有效,请通过启动与 agent 的聊天并发送消息来测试:

zeroclaw agent

或者使用以下方式直接发送提示:

zeroclaw agent --message "<YOUR_PROMPT>"

你应该会看到如下内容:
提示运行

预期的工作流是:

  1. 它通过 Web MCP search_engine 工具执行网页查询(由 Bright Data 搜索引擎 API 提供支持)。
  2. 它从结构化搜索结果中提取 Google Maps URL。
  3. 它将 URL 传递给 web_data_google_maps_reviews 工具(由 Bright Data Google Reviews API 支持)。
  4. 它通过使用 scrape_as_markdown 抓取 Maps 商家页面来检索商家元数据(名称、评分、类别、评论)(通过网络解锁器 API)。
  5. 它将所有内容汇总为一个结构化报告。

注意:在运行任何工具之前,AI agent 会请求权限。使用 “A” 授权以允许 agent 记住此权限以供未来工具使用。否则,仅针对当前运行,使用 “Y” 批准执行。

结果是一份上下文报告,包含基于真实 Google Maps 数据的评分与情感分析:
生成的报告

这包括直接从实时 Google Maps 信息和评论数据中得出的真实世界洞察:
目标商家的 Google Maps 评论页面

瞧!唯一剩下的步骤是启用调度、连接一个渠道,然后你就会开始收到包含你所需全部洞察的自动化报告。这是一个展示 ZeroClaw + Bright Data 强大能力的简单示例,当然也还有许多其他用例!

结论

在本教程中,你探索了 ZeroClaw 是什么以及它提供的价值。特别是,你了解了为什么以及如何通过 Web MCP其官方 技能 集成 Bright Data 来增强它。

该设置通过启用直接网页访问来提升你的 ZeroClaw AI 助手。它解锁了网页搜索、内容发现、结构化数据提取以及与网站的自动化交互等能力。

如果你想更进一步,请探索 Bright Data 生态系统中提供的完整 AI-ready 服务套件

立即注册一个免费的 Bright Data 账户,并开始集成我们强大的网页数据工具!

支持支付宝等多种支付方式

Antonello Zanini

技术写作

5.5 years experience

Antonello是一名软件工程师,但他更喜欢称自己为技术传教士。通过写作传播知识是他的使命。

Expertise
Web 开发 网页抓取 AI 集成