使用 Nexla 和 Bright Data 构建自动化网页数据管道

在本文中，你将看到：

Nexla Express 是什么以及它提供什么。
为什么连接 Bright Data 的 Web MCP 会让它更强大。
如何将 Bright Data 的 Web MCP 集成到 Express 中，以构建网页数据管道。

让我们开始吧！

什么是 Nexla Express？

Nexla Express，或简称 Express，是一个企业级智能体数据集成平台。它让你通过用简单英语描述数据管道来构建它们，而不是编写代码或管理基础设施。

Express 连接到 API、数据库和文件，然后自动处理摄取、转换和部署。它消除了对 ETL 脚本、模式映射和基础设施管理的需求。

常见用例包括构建分析管道、在系统之间同步数据，以及为报告准备数据集。你可以使用它更快地交付，减少工程开销，并专注于产品开发、洞察和业务决策，而不是维护数据管道。

为什么使用 Web MCP 能力扩展 Express？

许多业务流程依赖于内部数据库或数据仓库系统中不存在的信息。示例包括最新新闻、市场信号和竞争对手定价数据。这些数据来自公共网络，并在分析和决策中发挥关键作用。

这带来了两个主要挑战：

对实时外部数据的访问有限：传统数据管道主要处理内部来源，并且通常缺乏对新鲜网页信息的直接访问。
难以大规模收集网页数据：现代网站使用反机器人保护、动态内容和复杂的浏览器交互，使可靠的网页数据收集具有挑战性。

这些限制可以通过使用外部能力扩展 Express 来克服。这就是该平台支持 MCP 集成的原因。

例如，通过集成 Bright Data Web MCP，Express 获得了实时网页搜索、网站发现、网页抓取和浏览器自动化能力的访问权限。这允许管道将企业数据与来自网络的实时信息结合起来。

Web MCP 暴露了 70 多个用于网页数据收集、发现和自动化的工具。连接到 Nexla Express 后，这些工具会在对话中可用，并可被纳入生成的管道中。

所有这些工具都运行在 Bright Data 的全球网络之上，该网络拥有超过 4 亿住宅 IP，覆盖 195 个国家/地区。该基础设施旨在处理企业级工作负载，同时实现 99.95% 的成功率、99.99% 的正常运行时间和无限可扩展性。

如何将 Bright Data Web MCP 连接到 Express 以构建网页数据管道

在本节中，你将看到 Bright Data 的 Web MCP 如何赋予 Express 构建企业就绪、可扩展网页数据管道的能力。

请按照以下说明操作！

前提条件

在进入下一步之前，请确保你拥有：

一个 Nexla Express 账户（免费计划就足够）。
一个已配置 API 密钥的 Bright Data 账户。按照官方指南生成你的 Bright Data API 密钥。

虽然不是严格要求，但我们还会连接一个 Snowflake 数据库，以使示例更加真实。请注意，你可以使用任何其他 Express 支持的数据源。

具体来说，我们将使用“来自 Wikipedia 的 AI 训练数据集”数据集，该数据集由 Bright Data 在 Snowflake 上免费提供。我们会将其视为内部知识库，作为网页数据管道中的主要来源。

Snowflake 上的“来自 Wikipedia 的 AI 训练数据集”数据集

熟悉 MCP 的工作方式以及 Web MCP 服务器暴露的工具也会很有帮助。

步骤 #1：开始使用 Web MCP

在创建你的 Airia 智能体之前，获取 Airia 将用来访问远程 Web MCP 服务器的连接 URL。

注意：Bright Data Web MCP 远程服务器专为企业场景设计。它支持无限可扩展性和并发连接，就像所有其他 Bright Data 服务一样。

首先，熟悉标准 Web MCP 远程连接 URL 格式：

https://mcp.brightdata.com/mcp?token=<YOUR_BRIGHT_DATA_API_KEY>&pro=1

将 <YOUR_BRIGHT_DATA_API_KEY> 替换为你实际的 Bright Data API 密钥。token 参数会对请求进行身份验证，并将它们链接到你的 Bright Data 账户。URL 中的 &pro=1 参数是可选的：

不使用 &pro=1：你只能访问 Rapid 模式中的免费工具（每月最多 5,000 次请求）。
使用 &pro=1：你可以访问完整的 70+ 工具目录和高级能力。标准 Bright Data 使用费用适用。

假设你想要更多控制，例如仅启用特定工具或工具组。在这种情况下，请直接从 Bright Data 控制面板生成自定义 MCP 连接 URL。

登录你的 Bright Data 账户并进入“AI 网关 > MCP”页面。按照设置向导配置你的 MCP 服务器并生成自定义 Web MCP 连接 URL：

复制生成的“可流式传输 HTTP”连接 URL，或使用上述格式构建它。你将在下一步中使用它将 Bright Data Web MCP 连接到你的 Express 管道。做得好！

步骤 #2：在 Nexla Express 中添加 Web MCP 连接

接下来，通过将你的 Web MCP 连接 URL 粘贴到“服务器 URL”字段中，填写“添加 MCP 服务器”表单：

点击“连接”，Express 将建立与 Bright Data Web MCP 服务器的连接。太好了！

步骤 #3：验证集成是否有效

你现在应该会看到 Nexla Express 正在连接到 Web MCP 服务器，并获得对 70+ 工具的访问权限（如果你省略了 pro=1 参数，则在 Rapid 模式下为有限子集）：

为确保这些工具实际可供 Nexla Express 对话式智能体使用，请点击左侧菜单中的“新聊天”条目：

然后，点击“添加 MCP”图标并选择“mcp.brightdata.com”选项来连接 MCP：

接下来，运行如下提示词：

Which Bright Data Web MCP tools do you have access to?

响应将列出所有可用工具，以及每个工具功能的描述：

这确认 Express 可以成功访问远程 MCP 服务器暴露的 Bright Data Web MCP 工具。太棒了！

步骤 #4：构建网页数据管道

在连接到 Web MCP 的 Express 聊天中，按如下方式编写提示词：

Connect to my Snowflake instance and retrieve the full record from the Wikipedia table in the AI_TRAINING_DATASET_FROM_WIKIPEDIA database where the "Title" field equals "FIFA World Cup".
Given the retrieved record, scrape the Wikipedia article URL to fetch the latest version of the article in Markdown format.
Then, compare the freshly retrieved content with the version stored in Snowflake and generate a report that:
- Summarizes the key differences between the stored and current versions.
- Highlights any added, removed, or significantly modified sections.
- Identifies major content updates, factual changes, or structural changes.
Present the results in a clear, structured report.

这是一个很好的示例，因为它将从企业数据仓库/数据库检索数据与实时网页抓取结合起来。在真实场景中，请根据你的具体业务目标调整提示词。

预期行为是一个端到端管道，用于提取、丰富和差异检查 Wikipedia 内容。它连接到 Snowflake 以检索静态数据，并使用 Bright Data Web MCP 工具抓取最新的 Wikipedia 数据。

运行提示词，Nexla Express 将生成一个表单，你可以在其中输入所需的 Snowflake 连接详细信息。填写表单并点击“连接”：

然后 Nexla Express 将设置一个活动数据源，使其能够访问你的 Snowflake 数据。

它将从数据库中获取请求的记录，包括其所有列：

接下来，它将读取页面 URL（来自 url 列），并使用 Bright Data scrape_as_markdown 工具进行抓取（该工具依赖于 Bright Data 的网络解锁器 API）。分析页面内容后，它会将其与 Snowflake 中存储的数据进行比较，并生成一份丰富的对比报告：