AI

赋予 AstrBot 使用 Bright Data(MCP + skills)与网络交互的能力

了解如何通过 Bright Data 将 AstrBot 转变为具备网页感知能力的 AI 智能体,使其能够执行实时搜索、抓取页面并自动化浏览器任务。
4 分钟阅读
Astrbot 与 Bright Data

在本教程中,你将学习:

  • AstrBot 是什么,以及它作为开源 AI 智能体平台提供了什么。
  • 为什么添加实时网页访问能让 AstrBot 在真实世界任务中更有效。
  • Bright Data 如何为 AstrBot 配备企业级网页搜索、抓取、发现和浏览器自动化工具。
  • 如何将 Bright Data Web MCP 与 AstrBot 集成。
  • 如何使用 Bright Data 技能 通过 Bright Data 产品专业知识增强 AstrBot。
  • 将 AstrBot 与 Web MCP 和 Bright Data skills 结合后的结果。

让我们开始吧!

什么是 AstrBot?

AstrBot

AstrBot 是一个开源、跨平台的 AI 智能体框架。它将由 LLM 驱动的助手直接带入 Telegram、Slack、Discord、WeChat 等流行聊天应用中。

它通过支持智能体工作流、工具调用、MCP、技能 和知识库,超越了传统聊天机器人。它还提供用于自动化、客户支持、企业知识管理和个人 AI 助手的插件扩展。

AstrBot 已获得 36.5k+ GitHub stars,拥有 1,000+ 社区插件和 200k+ 每周活跃用户。

主要功能

AstrBot 支持的主要能力:

  • 多平台支持:通过 Telegram、Slack、Discord、QQ、WeChat、Lark、DingTalk 以及许多其他消息平台与你的智能体聊天。
  • 原生 MCP 支持:通过 Model Context Protocol 集成外部工具和服务。
  • 技能 集成:使用可复用的 skills 扩展智能体,提供专门的能力和工作流。
  • 1,000+ 插件生态系统:通过丰富的社区维护插件市场添加新功能和集成。
  • 知识库:构建使用 PDF、DOCX 文件、Markdown 和其他文档回答问题的 AI 助手。
  • 多提供商 LLM 支持:可与 OpenAI、Anthropic、Google Gemini、Ollama 以及许多 OpenAI 兼容提供商配合使用。
  • 智能体沙箱:在隔离的运行时环境中安全执行代码和 shell 命令。
  • 强大的 WebUI:从集中式界面配置模型、插件、MCP 服务器、日志和调试。
  • 灵活部署:使用 uv、Docker、桌面应用、启动器或云环境进行部署。
  • 工作流自动化:调度任务、编排工具,并为真实世界工作流构建自主 AI 智能体。

在官方文档中了解更多。

为什么 AstrBot 需要访问网络

毫无疑问,AstrBot 是一个功能先进且扎实的 AI 框架。然而,与所有由 LLM 驱动的应用一样,它继承了这些基本限制:

  • 过时的知识:LLM 是在静态数据集上训练的,这些数据集会停留在某个特定时间点。
  • 对网络的访问有限:仅靠它们自身,无法可靠地与网页交互。

AstrBot 通过内置网页搜索工具帮助克服了部分挑战。不过,在大规模使用时,或在访问受反机器人技术保护的网站时,例如 CAPTCHA、速率限制和指纹识别,该工具仍可能遇到困难。

这正是 Bright Data 发挥作用的地方。通过将 AstrBot 连接到 Bright Data 解决方案,智能体可以获得用于实时网页搜索、数据提取、网站发现、浏览器自动化和数据集检索的企业级工具。

Bright Data 的与众不同之处在于其全球网页数据基础设施,由超过 4 亿个住宅 IP 提供支持。这种架构提供了生产工作负载所需的可扩展性和可靠性,支持无限并发、99.99% SLA 保障的正常运行时间,并实现 99.95% 的请求成功率。

Bright Data 如何通过网页搜索、抓取、发现和交互支持 AstrBot

Bright Data 可以通过两种集成连接到 AstrBot:

  • Bright Data Web MCP:一个 MCP 服务器,公开 70+ 个用于网页搜索、抓取、结构化数据提取和浏览器自动化的工具。
  • Bright Data 技能:一组 Agent skills,为 AstrBot 提供有关 Bright Data 产品、推荐工作流和最佳实践的专业知识。这些 技能 大多数依赖 Bright Data CLI。

注意:这两种方法是互补的。例如,某个特定的 Bright Data skill 可以帮助 AstrBot 理解何时以及如何有效使用 Web MCP 工具。

Web MCP 和 Bright Data 技能 结合起来,将 AstrBot 转变为能力更强的 AI 智能体。借助它们,它可以执行实时网页研究、浏览器自动化和结构化数据提取。

Bright Data Web MCP

Bright Data Web MCP 为 AstrBot 配备了一大套由 Bright Data API 驱动的工具。

在 Rapid mode(每月提供 5,000 次免费请求的免费层级)中,AstrBot 可以使用网页研究和数据提取的核心工具。这些包括:

工具 描述
search_engine(以及用于并行搜索的 search_engine_batch) 从 Google、Bing、Yandex 等检索结构化搜索结果。
scrape_as_markdown(以及用于并行抓取的 scrape_batch) 从网页中提取干净的 Markdown,同时自动处理反机器人保护。
discover 通过相关性排序和基于意图的过滤执行 AI 驱动的网页发现。

启用 Pro mode 后,AstrBot 可以访问用于从 LinkedIn、Amazon、Instagram、Walmart、YouTube、Google Maps、Zillow、TikTok 以及其他 40 多个平台提取结构化数据的工具。它还解锁了多个由 Bright Data 的 Browser API 支持的浏览器自动化工具。

Bright Data 技能

Bright Data skills 通过专业知识和工作流扩展 AstrBot。它们帮助智能体选择合适的 Bright Data 服务并遵循推荐的最佳实践。

一些可用的 技能 包括:

Skill 描述
agent-onboarding 指导新智能体完成 Bright Data 设置,并推荐 MCP、CLI、API 和身份验证工作流。
search 执行实时 Google 搜索并返回结构化搜索结果。
scrape 说明如何通过自动反机器人处理提取干净的网页内容。
scraper-builder 通过分析网站并生成提取逻辑,帮助构建生产就绪的爬虫工具。
scraper-studio 通过 Bright Data CLI 创建并运行 AI 生成的抓取工具。
brightdata-cli 教智能体如何使用 Bright Data CLI 进行抓取、搜索、数据集、代理和账户管理。
bright-data-mcp 为编排 70+ 个 Web MCP 工具提供指导。
brightdata-proxy 为 Python、Node.js、Playwright、Puppeteer、Selenium 和其他环境生成代理集成代码。
seo-audit 使用实时网站数据和搜索信号执行 SEO 分析。
competitive-intel 支持竞争对手监控、价格分析、评论跟踪和市场研究。
price-comparison 比较主要在线零售商的产品价格和可用性。
live-research 通过结合网页发现、提取和 AI 摘要来构建研究报告。
brand-listening 分析多个来源中的品牌提及、情绪和在线讨论。
rag-pipeline 帮助使用实时网页数据构建检索增强生成(RAG)管道。
bright-data-best-practices 为 Bright Data API 和网页数据工作流推荐最佳实践。

AstrBot 设置:分步指南

在本节中,你将看到如何设置 AstrBot 并将其连接到 Telegram。

注意:你可以轻松地将以下说明适配到任何其他该库支持的消息平台。

先决条件

确保你拥有:

步骤 #1:安装并运行 AstrBot

首先,通过运行以下命令安装 AstrBot:

uv tool install astrbot, python 3.12

接下来,导航到你的项目文件夹并初始化 AstrBot 设置:

astrbot init

你将收到一个提示,询问是否要在当前目录中安装 AstrBot。输入 “Y” 继续:

AstrBot 初始化脚本

设置完成后,使用以下命令启动 AstrBot:

astrbot run

你应该会看到类似以下的输出:

注意首次登录的凭据

AstrBot WebUI 现在将在 http://localhost:6185 可用。在浏览器中打开此 URL,并使用终端日志中提供的凭据登录:

AstrBot WebUI 登录

登录后,设置一个新密码以访问 AstrBot WebUI 中的控制面板。做得好!

步骤 #2:添加 LLM 集成

在 AstrBot WebUI “Welcome” 页面上,点击 “Configure AI Model” 部分中的 “Configure” 按钮开始:

点击 “Configure AI Model” 部分中的 “Configure” 按钮

这里,我们将把 AstrBot 连接到 OpenAI(但对于任何其他受支持的 LLM 提供商,流程类似)。选择 Add 并选择 “OpenAI Compatible” 选项。“openai” 配置模态窗口将打开。将你的 OpenAI API key 粘贴到对应字段中:

添加 OpenAI API key

点击 “Save and Fetch Models” 以动态检索可用的 OpenAI 模型。然后,选择你想使用的模型。在此示例中,我们将依赖 OpenAI GPT-5.4 Mini:

选择 OpenAI GPT-5.4 Mini 模型

最后,按 “Save” 应用配置并返回 “Welcome” 页面。你的 AstrBot 智能体现在由 OpenAI LLM 驱动。太棒了!

步骤 #3:配置 Telegram 连接

在 AstrBot WebUI “Welcome” 页面上,点击 “Configure Platform Bot” 下的 “Configure” 按钮。在 “Add Platform Adapter” 模型中,选择 “Telegram”,并将你的 Telegram bot token 粘贴到对应字段中:

在 AstrBot 中配置你的 Telegram bot

按 “Save”,然后打开你的 Telegram bot(在此示例中命名为 “AstrBot Agent”)。你应该会收到一条包含以下文本的消息:

Hello, I'm AstrBot!
注意 “Hello, I’m AstrBot!” 消息

要验证 LLM 集成是否正常工作,请发送一条测试消息,例如:

Hey, how's it going?

你应该会收到类似这样的响应:

注意由 GPT-5.4 Mini 生成并通过 AstrBot 发送的响应

这是由 GPT-5.4 Mini 生成并通过 AstrBot 发送的。

设置完成!该框架现在已完全配置,你可以通过 Telegram 与其交互。

将 AstrBot 连接到 Bright Data Web MCP

在本章中,你将学习如何在 AstrBot 中设置 Bright Data Web MCP。

先决条件

为了更顺利地完成本节,请确认你具备:

此外,你必须拥有一个配置了 API key 的 Bright Data 账户。阅读官方指南以生成你的 Bright Data API key。

步骤 #1:熟悉 Bright Data Web MCP

开始之前,请记住 AstrBot 建议将其连接到远程 MCP 服务器。因此,我们不会使用 @brightdata/mcp 包设置本地 Bright Data Web MCP 服务器,而是将集成远程 Web MCP 服务器。

注意:远程 Bright Data Web MCP 面向企业级部署而构建。它支持无限可扩展性和并发连接,就像 Bright Data 的所有其他服务一样。

首先,熟悉标准 Web MCP 连接 URL:

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

将 <YOUR_BRIGHT_DATA_API_KEY> 替换为你的 Bright Data API key。token 参数会验证你的请求并将其与你的 Bright Data 账户关联。

&pro=1 参数是可选的:

  • 带 &pro=1:访问包含 70+ 工具和高级能力的完整目录。适用标准 Bright Data 使用费用。
  • 不带 &pro=1:仅获取 Rapid mode 中可用的免费工具(每月最多 5,000 次请求)。

现在,假设你需要对公开的工具进行更细粒度的控制。例如,你想配置仅访问特定工具或工具组。在这种情况下,你可以从 Bright Data 控制面板生成自定义 Web MCP 连接 URL。

登录你的 Bright Data 账户,并导航到 “AI Gateways > MCP” 页面。按照设置向导配置你的 MCP 服务器并生成自定义连接 URL:

注意已配置的 Web MCP 连接 URL

复制生成的 “Streamable HTTP” 连接 URL,或使用上面显示的格式构造一个。你将在下一步中使用此 URL 将 AstrBot 连接到 Bright Data Web MCP。很酷!

步骤 #2:在 AstrBot 中添加 Bright Data Web MCP 连接

AstrBot 允许你直接从其 WebUI 配置 MCP 连接。

要添加新的 MCP 服务器,打开左侧的 “Extensions” 下拉菜单并选择 “MCP Servers” 选项。在 “MCP” 页面上,点击右下角的 “+” 按钮:

在 “MCP” 页面上按 “+” 按钮

给你的 MCP 服务器起一个名称(例如,“Bright Data Web MCP”),并粘贴以下配置:

{
  "transport": "streamable_http",
  "url": "<YOUR_WEB_MCP_CONNECTION_URL>"
}

将 <YOUR_WEB_MCP_CONNECTION_URL> 替换为之前检索到的 Bright Data Web MCP 连接 URL。

配置 Bright Data Web MCP 连接

按 “Test Connection” 验证 MCP 服务器是否配置正确。如果连接成功,AstrBot 将显示一条确认消息,随后显示可用工具列表:

连接成功(注意工具列表)

使用 Pro mode(&pro=1)时,你将看到全部 70+ 个 Bright Data Web MCP 工具。

点击 “Save” 完成集成。./data/mcp_server.json AstrBot 配置文件将包含:

{
  "mcpServers": {
    "Bright Data Web MCP": {
      "active": true,
      "transport": "streamable_http",
      "url": "<YOUR_WEB_MCP_CONNECTION_URL>"
    }
  }
}

或者,你可以通过手动编辑此配置文件来实现相同结果。

保存后,“MCP” 页面将显示新的 “Bright Data Web MCP” 条目,该条目默认应处于启用状态:

注意 Bright Data Web MCP 条目

太棒了!AstrBot 现在已连接到 Bright Data Web MCP,并且可以调用其网页交互工具。

在本指南稍后部分,你将看到一个同时使用 Web MCP 和 Bright Data 技能 的 AstrBot 设置。

使用官方 skills 向 AstrBot 添加有关 Bright Data 的知识

下面,你将被引导通过使用 Vercel 的 技能 CLI 工具将 Bright Data skills 添加到 AstrBot 的过程。

注意:如果你不想使用 skills,可以直接从官方仓库下载 技能。导航到 skills/ 文件夹,使用其内容创建一个 ZIP 存档,并在 AstrBot 中从 “Extensions > 技能” 页面手动上传它。

先决条件

在完成本节之前,请检查你是否具备:

也建议对 Agent 技能 标准 skills CLI 工具有一定熟悉,但不是必需的。

步骤 #1:安装 Bright Data 技能

要使用 skills CLI 工具将 Bright Data 技能 添加到 AstrBot,请运行:

npx skills add brightdata/skills -a astrbot

此命令会安装 技能 npm 包并启动设置过程。这将:

  1. 从 Agent 技能 Directory 下载 Bright Data skills。
  2. 将它们配置为全局使用或在你的本地项目中使用。

然后系统会提示你选择要安装哪些 技能:

选择所有 Bright Data skills

要安装所有可用的 技能,请使用空格键逐个选择,然后按 Enter 继续。

接下来,选择安装范围。由于 Web MCP 集成是在本地配置的,你也应在本地安装 Bright Data skills。因此,选择 “Project” 选项并按 Enter:

选择安装范围

再次按 Enter 确认安装。完成后,你将看到一条确认消息:

最终确认视图

Bright Data 技能 现在可在 AstrBot ./data/skills 目录中使用。太好了!

步骤 #2:确认 技能 可用

返回 AstrBot WebUI 并打开 “Extensions > skills” 页面:

注意 Bright Data 技能

你将看到一个列表,其中包含你刚刚安装的所有 Bright Data 技能。

注意:如果 skills 没有出现,请尝试刷新页面。

可选地,如果你尚未配置 Bright Data CLI,请运行 onboarding skill。在 Telegram 中写入:

/agent-onboarding

这会加载专门的 Bright Data onboarding skill,它会引导你完成其他 Bright Data 技能 所需的设置过程。要运行它,你还必须授予 AstrBot 执行 shell 命令的权限。

任务完成!在下一章中,你将学习如何在 AstrBot 中一起使用 Bright Data Web MCP 和 技能。

AstrBot + Bright Data Web MCP 和 skills:完整示例

你的 AstrBot 智能体现在拥有与网络交互所需的企业级工具和知识。这使它能够处理需要实时网页数据、浏览器自动化和结构化数据提取的广泛真实世界用例。

例如,假设你想将 AstrBot 用作购物助手。现代电子商务网站通常受到先进反机器人技术保护,使 AI 智能体难以与它们交互。更多信息,请参阅我们的电子商务抓取指南。

通过集成 Bright Data,AstrBot 可以在搜索网络、与网页交互以及提取完成你的请求所需的信息时绕过这些限制。

现在,想象你想通过 Telegram 使用 AstrBot 来帮助你在 Zara 网站上找到一个产品。请看下面的步骤!

步骤 #1:启动提示词

从这样的提示词开始:

Search Google for the Zara men's polo shirts sale page. Visit the page in a browser and return a full-page screenshot.

你应该会收到类似以下的响应:

注意 AstrBot 通过调用 Bright Data 工具产生的准确响应

注意智能体是如何完成任务的。在幕后,它:

  • 调用了 search_engine 工具(由 Bright Data 的搜索引擎 API 支持)在 Google 中搜索 “Zara men’s polo shirts sale page” 查询。
  • 解析返回的 JSON 格式 SERP 以识别正确页面。
  • 使用 scraping_browser_navigate 工具(由 Bright Data 的 Browser API 驱动)在云浏览器实例中打开页面。
  • 使用 scraping_browser_screenshot 工具捕获整页截图。
  • 返回截图和页面 URL。

如果你打开 AstrBot WebUI 并导航到 “Platforms > Platform Logs”,你可以检查智能体使用的每个 Web MCP 工具和 Bright Data skill:

注意 search_engine 工具返回的结构化 SERP

假设你打开截图,喜欢第三个产品,并希望 AstrBot 检索关于它的所有信息。你可以发送这样的提示词:

I like the third product, the Zip Polo Sweatshirt. Get the URL of its product page, then scrape it to extract the main product information. Return the results in a structured text message.

响应应该类似这样:

注意 AstrBot 返回的信息有多详细

在底层,AstrBot 调用多个 Bright Data 工具来识别产品页面并提取其信息。根据工作流,它可以使用 scrape_as_markdown 或专用工具(例如 web_data_zara_products,它基于 Bright Data 的 Zara Web Data API)检索数据。

步骤 #2:分析输出

注意,上一条消息返回的信息与 Zara 官方产品页面上可用的信息一致:

目标产品页面

产品页面可能需要多次手动交互才能显示其全部信息(例如,展开 “PRODUCT MEASUREMENTS” 部分)。尽管如此,得益于 Bright Data 的 Web MCP 公开的专用工具,AstrBot 仍能够返回完整的产品详细信息。

从这里开始,你可以自然地继续对话。例如,你可以询问 AstrBot 该产品是否值得购买,将其与类似替代品进行比较,或推荐同一价格范围内的其他产品。

Et voilà!这个简单示例突显了 AstrBot 在与 Bright Data 集成后变得多么强大。没有 Web MCP 和 Bright Data 技能,它将无法可靠地完成依赖实时网页搜索、网站发现、数据提取和自动化浏览器交互的工作流。

结论

在这篇博客文章中,你了解了 AstrBot 是什么以及它带来了什么。尤其是,你看到了如何通过 Web MCP 和 Bright Data skills 集成 Bright Data 来扩展其功能。

借助 Bright Data,AstrBot 可以利用用于实时网页研究、爬虫和来源发现的工具。这使它能够基于准确、上下文化、可验证的信息生成更有依据的响应。它还可以使用云浏览器交互工具,让你能够将复杂的网页工作流直接委托给智能体。

对于更高级的场景,请探索 Bright Data 生态系统提供的全套 AI 就绪网页数据解决方案。

立即免费注册 Bright Data,开始探索我们的网页数据解决方案!

支持支付宝等多种支付方式

Antonello Zanini

技术写作

5.5 years experience

Antonello是一名软件工程师,但他更喜欢称自己为技术传教士。通过写作传播知识是他的使命。

Expertise
Web 开发 网页抓取 AI 集成