AI

让 Octop 智能体通过 Bright Data CLI 和 MCP 探索网络

借助 Bright Data 的企业级网络访问能力增强 Octop 智能体,实现可靠的网络搜索、抓取和浏览器自动化。
3 分钟阅读
Octop 与 Bright Data

在本教程中,你将了解:

  • Octop 是什么,以及它作为多智能体、多用户 AI 助手提供哪些功能。
  • 为什么为 Octop 智能体提供可靠且生产就绪的网络访问能力,能够使其更强大、更实用。
  • Bright Data 如何为 Octop 提供企业级的网页搜索、网页抓取和浏览器自动化功能。
  • 如何通过教智能体使用 Bright Data CLI 来扩展 Octop。
  • 如何将 Octop 连接到 Bright Data MCP 服务器。

让我们开始吧!

什么是 Octop?

Octop

Octop 是由腾讯开发的一款开源、自托管 AI 助手。它为你提供了一个多智能体环境,可用于自动执行任务、与 Web 应用程序交互、管理知识并协调专业 AI 智能体,同时将数据保留在你自己的基础设施中。

该项目目前是 GitHub 上的热门代码库已获得超过 6.3K 个 Star。Octop 支持的主要功能包括:

  • 通过 AI 辅助的终端访问执行命令和排查问题。
  • 连接消息平台、MCP 服务器、腾讯服务及其他外部工具。
  • 通过 ACP(智能体客户端协议)集成 IDE 和编程智能体。
  • 使用 RAG 构建知识库让回答以私有文档为依据。
  • 可随每个智能体工作区一同保留的持久化智能体记忆。
  • 通过 cron 作业和自然语言触发器进行定时自动化。
  • 支持多用户,并提供相互隔离的智能体、工作区和权限。
  • 通过插件和共享专家扩展及复用智能体能力。

更多信息请参阅官方文档。

为什么要为 Octop 提供生产就绪的网页搜索、抓取和浏览器功能

Octop 提供了一个内置浏览器让智能体能够浏览网站并执行自动化任务。这个内置工具主要面向通用 Web 交互,而不是生产规模的数据采集。

当智能体需要访问大量页面、提取结构化数据、重复执行搜索,或处理受反爬虫系统保护的网站时,就需要额外的基础设施。

现代 Web 应用程序越来越多地受到速率限制、CAPTCHA、浏览器指纹识别和其他反抓取技术的保护。这些防护机制使可靠的网络访问变得困难,尤其是当 AI 助手需要大规模执行 Web 任务时。

这正是 Bright Data 可以补充 Octop 能力的地方。通过将 Octop 连接到 Bright Data 的 Web 数据基础设施其智能体即可获得生产就绪的网页搜索、抓取、结构化数据采集和浏览器自动化能力。

Bright Data 的基础设施专为大规模 Web 数据工作流构建,拥有超过 4 亿个住宅 IP并支持高并发。它还提供由 99.99% SLA 保障的正常运行时间,据报告成功率达到 99.95%,帮助 AI 智能体更稳定地访问 Web 数据。

Bright Data 如何为 Octop 增加 Web 数据能力

Bright Data 可通过以下方式与 Octop 配合使用:

  • Bright Data CLI:通过终端命令提供 Web 数据和浏览器功能。
  • Bright Data MCP:通过模型上下文协议让 Octop 智能体能够直接使用 Bright Data 的 Web 数据工具。

借助这些集成,Octop 智能体可以搜索最新信息、检索网页内容、采集结构化数据并自动执行浏览器交互,而不会被封锁。

Bright Data CLI

Bright Data CLI 提供通过终端访问 Bright Data Web 数据产品的方式。其主要命令包括:

命令 功能 Bright Data 产品
brightdata search <query> 在 Google、Bing 或 Yandex 上执行搜索并返回结构化结果。 搜索引擎 API
brightdata scrape <url> 检索网页内容,同时处理 JavaScript 渲染和常见的访问限制。 网络解锁器 API
brightdata browser open <url> 启动持久化浏览器会话并加载指定网页,以便进一步交互。 浏览器 API
brightdata browser snapshot 将当前浏览器页面转换为 AI 智能体可以检查的无障碍树。 浏览器 API
brightdata browser click / type / fill / scroll / etc. 让智能体通过点击、输入文本、填写表单、滚动及执行其他浏览器操作与页面元素交互。 浏览器 API
brightdata browser screenshot 截取可见的浏览器视口或整个网页,以便进行可视化检查。 浏览器 API
brightdata pipelines <type> 从 Amazon、LinkedIn、Instagram 和 YouTube 等受支持的网站及平台采集结构化信息。 网页爬虫工具 API

注意:Bright Data CLI 提供按月循环的免费套餐最高可获得 5,000 个积分。更多详情请查看“免费套餐”文档页面。

Bright Data MCP

Bright Data MCP 服务器无需智能体逐一使用 CLI 命令,而是提供一系列专业工具,Octop 可以根据需要调用。

主要工具包括:

  • 网页搜索:从 Google、Bing 和 Yandex 检索最新结果。
  • 网页提取:获取网页并以整洁的 Markdown 格式返回其内容。
  • 特定域名抓取:针对热门网站和平台使用 60 多个预构建爬虫工具。
  • 网络解锁:访问受反爬虫系统保护的网站,包括存在 CAPTCHA 和其他访问限制的网站。
  • 浏览器自动化:通过真实的浏览器环境浏览网站并执行操作。
  • 结构化数据检索:从受支持的网站和平台采集结构化信息。
  • 地理位置定向:从特定地理位置检索网页内容。

注意:Bright Data MCP 提供免费套餐每月最多可发出 5,000 次请求。

如何让 Octop AI 智能体调用 Bright Data CLI 命令

在本分步指南中,你将学习如何配置 Octop 以使用 Bright Data CLI。

前提条件

要学习本教程,请确保你已具备:

如果你对 AI 智能体如何使用 Bright Data CLI 有基本了解,也会有所帮助。

第 1 步:安装 Octop

运行以下命令,为 macOS 或 Linux 下载并运行单行安装程序:

curl -fsSL https://finnie-1258344699.cos.ap-guangzhou.myqcloud.com/octop/install.sh | bash

或者,在 Windows(PowerShell)上运行:

irm https://finnie-1258344699.cos.ap-guangzhou.myqcloud.com/octop/install.ps1 | iex

对于其他安装选项,包括 Python、CMD、Docker 等替代方案,请参阅官方安装文档。

这些命令会在你的环境中下载并安装 Octop CLI。安装完成后,你应该会看到类似以下内容的输出:

Octop 安装脚本的输出

请注意,其中包含后续步骤的说明。很好!现在可以使用引导式设置向导配置 Octop 了。

第 2 步:设置 Octop

安装脚本可能会建议运行:

octop init

注意:这可能会导致错误。出现这种情况是因为安装脚本已经为你完成了初始化,无需担心。

请改为执行以下命令启动 Octop:

octop run

你应该会在终端中看到一条包含一次性密码的消息,并提示可通过 http://127.0.0.1:8088 访问 Octop 控制面板:

“octop run”命令的输出

在浏览器中打开该本地 URL。你将看到 Octop 初始设置向导:

粘贴密码以继续 Ocop 设置向导

第一步,输入运行 octop run 后终端中显示的一次性密码。

将密码粘贴到设置向导中,然后点击“验证并继续”。

接下来,系统会要求你配置数据库。默认情况下,Octop 使用一个本地 SQLite 数据库文件。初始设置使用此默认选项即可,因此你可以保留默认配置并点击“保存并继续”:

选择数据库设置

然后,系统会要求你创建管理员凭据,以便日后登录 Octop。

输入用户名和密码,然后点击“创建管理员并继续”:

设置账户

重要提示:请妥善保存这些凭据,因为以后进行 Octop 会话身份验证时需要使用它们。

最后,选择你希望 Octop 使用的 AI 提供商。在本例中,我们将使用 OpenAI,因此请选择“OpenAI”卡片:

选择 AI 提供商

在“API 密钥”字段中输入你的 OpenAI API 密钥,并选择你希望 Octop 最初使用的模型。点击“测试连接”,验证 Octop 是否可以连接到 OpenAI。测试成功后,点击“测试通过后继续”以完成设置。

设置完成后,Octop Web UI 将启动,并自动初始化第一个专家(名为“Main – General Assistant”):

Octop Web UI

大功告成!现在,你已经拥有一个配置完整且正在运行的 Octop 环境。

第 3 步:设置 Bright Data CLI

有关引导式设置,请参阅关于安装和配置 Bright Data CLI 的官方文档。如需更详细的介绍,请阅读我们的博客文章:认识 Bright Data CLI:通过终端提取数据并与 Web 交互。

或者,也可以按照以下步骤操作。

首先,使用 @brightdata/cli npm 包全局安装 Bright Data CLI:

npm install -g @brightdata/cli

这会安装 brightdata 命令及其 bdata 别名,让你能够直接从终端使用 CLI。

要验证安装是否成功,请检查已安装的版本:

bdata --version

输出会显示已安装的版本,例如 0.3.8。

接下来,使用以下命令将 Bright Data CLI 连接到你的 Bright Data 账户:

bdata login

这会打开浏览器并启动安全的 OAuth 身份验证流程。身份验证完成后,CLI 会自动配置所需的 API 并应用必要的默认设置。

太棒了!现在可以在 Octop 中配置 Bright Data CLI 了。

第 4 步:导入 Bright Data CLI 技能

为 Octop AI 智能体提供使用 Bright Data CLI 所需上下文的最简单方法,是安装 brightdata-cli 技能。该技能属于 Bright Data 官方智能体技能集。具体来说,它为智能体提供安装、配置和使用 Bright Data CLI 所需的知识。

替代方法:你也可以向 AI 智能体提供相关上下文,手动指示它们使用 Bright Data CLI,具体方法请参阅我们的“将 Bright Data CLI 与 Claude Code、Codex CLI 和其他本地 AI 智能体配合使用”指南。

要在 Octop 中安装 brightdata-cli 技能,请转到“个性化”页面,打开“已安装技能”选项卡,然后点击“导入技能”:

点击“Import Skill”按钮

这会打开“导入技能”模态窗口。你可以在这里从技能.sh 代码库或直接从 GitHub 导入外部技能。

Bright Data 智能体技能已在 skills.sh 上发布。因此,要添加 Bright Data CLI 技能,请将其技能.sh URL 粘贴到导入字段中:

https://github.com/bright-cn/skills/blob/main/skills/brightdata-cli/SKILL.md
安装 Bright Data CLI 技能

点击“导入技能”继续。现在brightdata-cli 技能将在 Octop 中可用:

注意“brightdata-cli”技能

该技能默认处于启用状态。这意味着 Octop AI 智能体需要使用 Bright Data CLI 时,可以自动加载该技能。很好!让我们验证一下。

第 5 步:更新智能体记忆

在查看 Octop + Bright Data 集成的实际运行效果之前,你还需要完成一个步骤。

Octop AI 智能体并不知道 Bright Data CLI 已安装并可在你的系统上使用。因此,你首先需要向智能体提供此上下文。

转到“对话”部分,首先告诉所选智能体它现在可以使用 Bright Data CLI:

Try to run `bdata --version` to check that you have access to the Bright Data CLI. If so, remember that.

你应该会收到类似以下内容的输出:

代理现在知道它可以访问 Bright Data CLI

这一步非常重要,因为它可以确保智能体不仅知道自己能够访问 brightdata-cli 技能,还知道 Bright Data CLI 已安装并可随时使用。

更具体地说,Octop 会将这些信息写入 MEMORY.md 文件,从而更新智能体的记忆。因此,智能体之后的对话可以直接使用此上下文,你不必再次进行说明。太好了!

第 6 步:测试集成

验证智能体是否确实可以使用 Bright Data CLI 执行需要网络访问的任务。粘贴类似以下内容的提示词:

Use the Bright Data CLI to search online for the NFL schedule for this week. Return a list of all games taking place during this week, along with information about the venue, kickoff time, and any other relevant game details.

请注意,这只是一个示例。将 Bright Data 与 Octop 集成可实现许多其他用例包括价格监控、新闻摘要、SERP 跟踪、市场研究等。

执行提示词后,你应该会看到类似以下内容的输出:

提示词执行

为了完成任务,Octop AI 智能体会执行以下步骤:

  1. 调用由 Bright Data 搜索引擎 API 提供支持的 bdata search 命令,搜索相关的网络来源。
  2. 分析搜索引擎 API 以 JSON 格式返回的搜索结果,并确定最相关的链接(在本例中为 ESPN NFL 赛程页面)。
  3. 使用由 Bright Data 网络解锁器 API 提供支持的 bdata scrape 命令抓取所选页面。
  4. 分析抓取工具返回的 AI 优化 Markdown 页面内容,并找出相关的 NFL 比赛。
  5. 创建抓取计划,以检索每场 NFL 比赛所需的特定信息。
  6. 通过多次调用 bdata scrape 执行该计划,以获取所需的比赛详情。
  7. 要求用户指定所需的输出格式和数据(这里,我们为日期和时间选择了 ET,并将结果保存为 CSV 文件)。
  8. 生成包含所请求数据的最终输出文件 nfl_week_of_2026-09-30_schedule.csv。

令人印象深刻!接下来准备检查输出文件中的结果。

第 7 步:分析输出

打开 Octop 生成的 nfl_week_of_2026-09-30_schedule.csv 文件:

生成的“nfl_week_of_2026-09-30_schedule.csv”文件

请注意,该文件包含测试运行当周所有符合要求的 NFL 比赛:

注意抓取的赛程与 ESPN 上的 NFL 赛程一致

如果你想知道这些信息来自哪里,请展开“工具执行”实例。你会看到 Octop 智能体使用 Bright Data CLI 检索了数据:

注意“bdata search”CLI 的用法

这个简单示例展示了完整的工作流。借助 Bright Data CLI,Octop 智能体现在可以发现相关网页、抓取页面、分析返回的内容并生成结构化结果。任务完成!

后续步骤

这里展示的工作流只是使用 Octop 和 Bright Data 可以构建的一个示例。你可以通过以下功能进一步增强此设置:

  • 消息平台集成:将 Octop 连接到 Telegram、Discord 或企业微信等平台,以便直接通过手机与智能体交互。
  • 浏览器自动化:让智能体使用 Bright Data CLI 浏览网站、填写表单、截取屏幕截图等。
  • 知识库:将 Web 数据与私有文档结合,为智能体提供更丰富的上下文和更有依据的回答。
  • 定时任务:使用 Octop 的 cron 功能自动运行周期性的研究、监控和数据采集任务。

Octop + Bright Data MCP:替代集成方式

在这里,你将学习如何将 Octop 连接到 Bright Data MCP 服务器,让其智能体能够使用 70 多种工具进行网页搜索、抓取和 Web 探索。

第 1 步:获取 Bright Data MCP 连接 URL

Octop 支持连接本地 STDIO 和远程 MCP 服务器。Bright Data MCP 可以通过 @brightdata/mcp` 在本地运行,也可以使用可流式传输 HTTP(或 SSE)服务器远程运行。

远程选项无需在本地安装任何软件包。要让你的 Octop 智能体访问完整的 Bright Data MCP 工具集,请使用以下可流式传输 HTTP 连接 URL:

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

该 URL 包含两个查询参数:

  • token:对你的请求进行身份验证,并将其连接到你的 Bright Data 账户。请将 <YOUR_BRIGHT_DATA_API_KEY> 替换为你实际的 Bright Data API 密钥。
  • pro=1:允许访问包含 70 多种 Bright Data MCP 工具的完整目录。如果没有此参数,你只能访问免费工具。

如果你希望更精确地控制要公开哪些工具,可以从 Bright Data 控制面板创建自定义 MCP 连接 URL。首先,登录你的 Bright Data 账户,然后转到“AI 网关 > MCP”页面。按照设置向导配置 MCP 服务器并生成自定义连接 URL。

配置 Bright Data MCP 连接 URL

设置完成后,复制生成的 Bright Data MCP 连接 URL。很好!

第 2 步:将 Octop 连接到 Bright Data MCP

在 Octop 中,转到“连接器”页面。打开“已启用的连接器”选项卡,然后点击“添加自定义 MCP”:

点击“Add custom MCP”按钮

选择“添加 HTTP 服务器”,并按以下方式填写表单:

  • 显示名称:Bright Data MCP
  • 服务器 ID:bright-data-mcp
  • 传输方式:streamable_http
  • URL:上一步中生成的 Bright Data MCP 连接 URL
通过 Strreamable HTTP 设置与 Bright Data MCP 服务器的连接

点击“保存”以完成连接设置。太棒了!

第 3 步:验证连接

要验证 Octop 是否可以连接到 Bright Data MCP 服务器并访问其工具,请点击“探测”。Octop 应会显示通过所配置 MCP 服务器提供的工具:

Octop 已成功加载 70 多个 Bright Data MCP 工具

在本例中,由于 Bright Data MCP 服务器以 Pro 模式运行,因此 Octop 加载了 74 种工具。

大功告成!从现在起,你的 Octop 智能体可以使用 Bright Data MCP 执行生产就绪的网页搜索、抓取和探索任务,效果如前文所示。

总结

在本文中,你了解了 Octop 是什么,以及它作为自托管 AI 助手可以提供哪些功能。具体而言,你学习了如何将其连接到 Bright Data CLI(通过官方技能)和 Bright Data MCP。

借助 Bright Data,Octop 智能体可以大规模搜索、抓取 Web 内容并与 Web 交互,从而可靠地访问最新的 Web 数据。如需实现更高级的用例,请探索 Bright Data AI 生态系统提供的完整解决方案。

立即免费创建 Bright Data 账户,开始探索我们面向 AI 的 Web 数据和自动化工具!

支持支付宝等多种支付方式

Antonello Zanini

技术写作

5.5 years experience

Antonello是一名软件工程师,但他更喜欢称自己为技术传教士。通过写作传播知识是他的使命。

Expertise
Web 开发 网页抓取 AI 集成