AI

通过 Bright Data 插件为 OpenClaw AI 助手扩展网页访问能力

在 OpenClaw 中设置 Bright Data 插件,为你的 AI 助手提供实时网页访问、绕过机器人拦截的抓取能力,以及大规模结构化数据检索。
2 分钟阅读
OpenClaw 与 Bright Data 博客图片

在本文中,你将看到:

  • 为什么静态数据和有限的网页交互是 OpenClaw 助手最大的限制。
  • 如何通过为 OpenClaw 配备官方 Bright Data 插件来克服这些限制。
  • 关于如何开始使用 OpenClaw Bright Data 插件的教程部分。

让我们开始吧!

OpenClaw 的最大限制以及如何解决它们

GitHub 上34.1 万星标(并且还在增长)这一惊人的数字,清楚地表明了 OpenClaw 对 AI 行业所产生的影响。毫无疑问,这个解决方案极其强大,并且具备大量实用功能。不过,它继承了其底层引擎的限制:LLM。

具体来说,LLM 面临两个主要限制:

  • 过时的知识:它们是基于静态数据集训练的,这些数据集会在某个特定时间点停止更新。
  • 无法与外部世界交互:它们不能直接与外部服务交互,包括网页。

这些问题会影响任何由 LLM 驱动的解决方案,而不仅仅是 OpenClaw。可以通过赋予 LLM 调用外部工具的能力来解决这些问题。例如,提供用于网页交互和数据访问的工具,可以让代理从网页获取上下文信息。这使它能够在探索和与页面交互的同时扩展其知识。

OpenClaw 通过自定义工具、插件和技能支持这种机制。通过将它们添加到你的设置中,你可以扩展为 OpenClaw 助手提供支持的 AI 代理能力。这是克服 LLM 固有限制的最简单方式!

介绍 OpenClaw Bright Data 插件

Bright Data 通过官方插件(以及官方技能)支持 OpenClaw 集成。该插件可在ClawHub上获取,这是 OpenClaw 技能和插件的官方公共注册表与市场。

OpenClaw Bright Data 插件(@brightdata/brightdata-plugin将 Bright Data 基础设施的强大能力直接带入你的 OpenClaw 代理。完成配置后,你的代理将获得:

  • 通过搜索引擎 API在 Google、Bing 和 Yandex 上进行实时网页搜索,并支持地理定位选项。
  • 通过Bright Data 网络解锁器进行绕过机器人拦截的抓取,它会自动处理验证码、JavaScript 渲染和速率限制。
  • 通过真实的 Chromium 实例实现完整的浏览器自动化,并通过Bright Data 的 Browser API进行路由,从而与任何网站进行可靠、无拦截的交互。
  • Bright Data 网页爬虫工具 API提供支持的 50 多种结构化数据工具,可从 Amazon、LinkedIn、Instagram、TikTok、YouTube、Reddit 等平台返回干净的 JSON。

所有这些都不需要手动连接 API、不需要设置代理,也没有额外开销。

真正让 Bright Data 脱颖而出的是它的基础设施,它建立在一个覆盖 195 个国家、拥有超过 4 亿个 IP 的代理网络之上。这是世界上最大的代理网络之一,支持无限扩展性和并发能力。结果是一个高度可靠的平台,具有 99.99% 的正常运行时间和 99.95% 的成功率。

通过将此插件添加到你的 OpenClaw 设置中,你的 AI 助手可以搜索新鲜的上下文信息。它可以从热门网站检索结构化数据,并以编程方式与网页交互。所有这些都可以大规模进行,而不会遇到封锁或可靠性问题!

如何在 OpenClaw 中为具备网页访问能力的 AI 助手设置 Bright Data 插件

在这个分步部分中,你将获得指导,了解如何使用官方插件将 Bright Data 集成到 OpenClaw 中。

这会扩展底层 AI 代理,而你可以通过 WhatsApp、Telegram、Slack 和类似渠道与其聊天。具体来说,OpenClaw 助手将获得抓取网页数据、搜索网页以及与网页交互的能力。

注意: 如果你希望通过技能在 OpenClaw 中配置 Bright Data,请改为参考我们的另一篇专门指南

按照下面的说明操作,学习如何使用 OpenClaw Bright Data 插件!

前提条件

要跟随本教程,请确保你满足以下前提条件:

现在无需担心设置 Bright Data 账户,因为稍后会有一个专门部分指导你完成这一步。

第 1 步:安装并配置 OpenClaw

使用以下命令安装 OpenClaw:

curl -fsSL https://openclaw.ai/install.sh | bash

然后,完成向导以设置 LLM 并连接你的聊天渠道。在本示例中,我们假设你已配置OpenAI GPT-5.4 Mini模型用于在 WhatsApp 上聊天。任何其他设置也都可以正常工作。

如需分步指导,请参考官方文档,或按照“使用 Bright Data 技能扩展 OpenClaw,打造可处理网页数据的 WhatsApp AI 助手”一文的前四个步骤进行操作。

做得好!你现在已经在本地运行 OpenClaw 了。

第 2 步:安装 Bright Data OpenClaw 插件

要安装 OpenClaw Bright Data 插件,请运行以下命令:

openclaw plugins install @brightdata/brightdata-plugin@latest

你应该会看到类似这样的输出:

“openclaw plugins install” 命令生成的输出

ID 为 brightdata 的插件将被安装,并默认配置为加载。接下来,重启 OpenClaw gateway以使更改生效:

openclaw gateway restart

要验证插件是否已成功添加,请运行:

openclaw plugin list

你应该会在终端显示的表格中看到列出的 brightdata 插件:

注意 “brightdata” 插件

太棒了!Bright Data 插件现已成功添加到你的 OpenClaw 设置中。

第 3 步:配置插件

OpenClaw Bright Data 插件通过将你的 OpenClaw AI 助手连接到你的 Bright Data 账户来工作。在底层,它会向 Bright Data 服务发起 API 调用,并通过你的Bright Data API 密钥进行身份验证。

要开始,你需要在你的 Bright Data 账户中生成一个 API 密钥。如果你还没有账户,请创建一个新账户。否则,直接登录。然后,按照官方文档生成你的第一个 API 密钥

对于本地开发,你可以将 API 密钥设置为全局环境变量:

export BRIGHTDATA_API_TOKEN=<YOUR_BRIGHT_DATA_API_KEY>

或者,你也可以将其存储在OpenClaw 配置中,以实现持久化设置:

openclaw config set plugins.entries.brightdata.config.webSearch.apiKey <YOUR_BRIGHT_DATA_API_KEY>

请确保将 <YOUR_BRIGHT_DATA_API_KEY> 占位符替换为你的实际 API 令牌。

运行上述任一命令后,请记得重启 OpenClaw gateway:

openclaw gateway restart

该 API 密钥用于连接到你账户中配置的所需 Bright Data 区域。具体来说,该插件需要两个服务:一个网络解锁器 API 区域和一个Browser API 区域

你可以在 Bright Data 控制面板中创建它们,并在插件中配置区域名称,但这并不是必须的。首次使用时,插件会自动为你创建这些区域:

  • mcp_unlocker(网络解锁器 API 区域)
  • mcp_browser(Browser API 区域)

因此,不需要手动设置。此时,OpenClaw Bright Data 插件已完成全部配置,并准备好向你的 AI 代理公开可用工具。太好了!

注意:首次运行插件后,你会在 Bright Data 控制面板“Proxies & Scraping”部分下的“My Zones”表格中看到这些区域:

注意 “mcp_unlocker” 和 “mcp_browser” 区域

第 4 步:控制插件

现在,你需要验证该插件在控制面板中可用并且配置正确。首先,启动OpenClaw 控制面板

openclaw dashboard

你应该会收到类似这样的输出:

注意控制面板 URL

复制完整的控制面板 URL 并将其粘贴到浏览器中。你将进入 OpenClaw 控制面板:

OpenClaw 控制面板

在左侧栏中,找到“Automation”条目并点击它。在“Automation”页面上,导航到“Plugins”选项卡:

进入 “Automation” 页面上的 “Plugins” 选项卡

首先,检查“Plugin Allowlist”部分:

“Plugin Allowlist” 部分

如果它是空的(如本例所示,这是默认设置),则表示允许所有插件运行。如果它不是空的,请确保添加 brightdata 插件。否则,它将对 AI 助手保持不可见。

接下来,在“Plugin Entries”部分中,向下滚动并找到“@brightdata/brightdata-plugin”卡片。展开它,你将看到:

“@brightdata/brightdata-plugin” 卡片

确保该插件已启用。如果没有,请切换“Enable @brightdata/brightdata-plugin”选项。

然后展开“@brightdata/brightdata-plugin Config”部分。如果你在上一步中配置了 apiKey 配置,你会注意到“Bright Data API Token”字段已设置:

注意 “Bright Data API Token” 配置

在这里,你还可以配置其他设置,以自定义插件的行为。对于本示例,你可以保留所有默认设置。

一切看起来都很好!剩下唯一要做的就是通过 Bright Data 插件测试 AI 助手的新网页访问能力。

第 5 步:测试集成

打开 WhatsApp(或你配置的聊天渠道),然后尝试提出这样一个问题:

I’m interested in buying the following product from Amazon:
https://www.amazon.com/Apple-EarPods-Headphones-Built-Control/dp/B0DCH8VDXF/
Can you tell me the current price, availability, and expected delivery date?

Also, I’m not sure if this is the best time to buy. Could you check when the next Amazon sales events are and include links to articles where I can learn more?
在连接到 OpenClaw 的 WhatsApp 聊天中提出问题

现在,转到 OpenClaw 控制面板中的“Chat”页面。你会注意到 AI 代理已经收到了同样的消息。为了处理它,助手会调用 Bright Data 插件中的多个工具。等待几秒钟获取响应,你也会看到工具输出元素出现。
注意代理调用的工具
在这种情况下,AI 助手调用了:

展开 brightdata_amazon_product 的“Tool output”卡片,你会看到 OpenClaw 出于安全原因添加的一条警告,后面跟着包含 Amazon 产品数据的 JSON:

注意包含 Amazon 产品数据的 JSON 响应

这些数据由 Bright Data Amazon 抓取工具检索,它会访问页面、绕过反机器人保护(包括臭名昭著的Amazon CAPTCHA)、提取相关信息,并以结构化格式返回。

同样,展开一个 brightdata_search 卡片的输出:

注意该工具返回的结构化 SERP

你会注意到一个结构化的 JSON 响应,对应于代理执行查询后得到的 SERP(搜索引擎结果页)。在本示例中,AI 助手发出了三个搜索查询来处理你的请求。

几秒钟后,你将收到类似这样的响应:

由 OpenClaw AI 代理生成并发送到你的 WhatsApp 聊天的响应

该响应具有上下文信息,包含真实世界链接,并提供了直接从 Amazon 产品页面检索到的最新、准确数据:

Amazon 目标页面

重要:没有 Bright Data 工具的常规 LLM 无法实现这一结果。同样,通用网页抓取工具可能会被 Amazon 阻止,或者无法在 Google 上执行搜索查询。因此,你收到的响应是将 Bright Data 插件集成到 OpenClaw 中所带来优势的直接结果。

请记住,这只是一个简单示例。不过,OpenClaw Bright Data 插件支持许多其他用例——包括企业级场景。现在,试着使用不同的提示词进行实验吧!

探索代理如何搜索网页、提取结构化数据以及与网页交互,所有这些都具有很高的成功率并且可大规模执行。

就是这样!你刚刚体验了将 Bright Data 插件集成到你的 OpenClaw 助手中的好处。

结论

在这篇博文中,你了解了由 OpenClaw 驱动的 AI 助手的主要限制。这些限制并非来自 OpenClaw 本身,而是来自底层 LLM。毕竟,LLM 依赖静态知识,且无法与网页交互。

为了克服这些限制,你可以通过官方 OpenClaw Bright Data 插件使用 Bright Data 功能来扩展 OpenClaw。这为 AI 助手配备了网页搜索、网页交互和爬虫工具,而这一切都由市场上最强大的基础设施之一提供支持。

探索 Bright Data 面向 AI 的工具,为你的代理解锁实时网页访问能力。

今天就免费创建一个 Bright Data 账户,并开始使用强大的网页数据解决方案进行构建!

支持支付宝等多种支付方式

Antonello Zanini

技术写作

5.5 years experience

Antonello是一名软件工程师,但他更喜欢称自己为技术传教士。通过写作传播知识是他的使命。

Expertise
Web 开发 网页抓取 AI 集成