AI

使用 Bright Data 技能通过网页数据访问增强 AI 编码代理

使用 Bright Data 技能增强您的 AI 编码代理,以访问网页数据。了解安装方法和实用提示词示例,以获得更好的结果。
4 分钟阅读
用于增强 AI 编码代理的 Bright Data 技能

在本文中,您将了解:

  • Bright Data 技能是什么。
  • 它们为何有用,以及它们如何支持 AI 编码代理和助手。
  • 它们为网页搜索、抓取等提供哪些具体技能。
  • 如何通过 skills、Bright Data CLI 或手动方式在您的 AI 代理设置中安装它们。
  • 如何通过实用提示词示例充分利用它们。

让我们开始吧!

什么是 Bright Data 技能?

Bright Data 技能允许您的 AI 编码代理了解 Bright Data 的产品和服务。

这些技能遵循由 Anthropic 定义的 Agent 技能 标准规范,并受到 40 多种 AI 编码解决方案的支持。本质上,技能是包含指令、脚本和资源的结构化文件夹,代理可以发现并使用它们来更准确、高效地执行任务。

详细来说,如官方 GitHub 仓库所示,Bright Data 技能具有以下文件夹结构:

skills/
├── scrape/
│   ├── SKILL.md              # Instructions + metadata loaded by the agent
│   └── scripts/
│       └── search.sh         # Executable script that the agent can run
│
├── # other skills... 
│
├── bright-data-mcp/
│   ├── SKILL.md
│   └── references/           # MCP tool reference docs
└── bright-data-best-practices/
    ├── SKILL.md              # API selection guide + auth patterns + code examples
    └── references/
        ├── web-unlocker.md   # Full Web Unlocker API reference
        ├── serp-api.md       # Full SERP API reference
        ├── scrapers.md       # Full Web Scraping APIs reference
        └── browser-api.md    # Browser API reference

如您所见,技能为您的代理提供最佳实践、参数知识和可执行 Shell 脚本,以连接到 Bright Data 的解决方案。

从高层次来看,Bright Data 技能使您的编码代理能够通过网页抓取访问网页数据,从热门域名检索数据源,执行搜索,与网页交互等。

编码代理中对网页访问的需求

无论您的 AI 编码代理背后的 LLM 多么强大,它仍然面临所有语言模型共有的一个根本限制:知识过时。LLM 只能生成基于其训练数据的响应,而这些数据代表的是某个固定时间点的快照。

鉴于技术领域发展如此迅速,这会成为一个重大问题。LLM 经常会建议过时的编码实践,依赖已弃用的方法,或者完全错过新发布的功能。

为克服这一限制,请为您的 AI 编码代理扩展实时网页访问能力。这正是 Bright Data 技能所提供的功能。集成后,您的代理可以:

  • 为搜索、抓取或结构化数据提取识别正确的 API。
  • 在连接 Bright Data API 时正确进行身份验证并构建请求。
  • 有效处理分页、错误和边缘情况。
  • 执行真实的 Shell 脚本来执行网页搜索和抓取等操作。

借助它们,代理能够自主地:

  • 从正确的在线来源发现最新信息,例如文档页面、Stack Overflow 和论坛。
  • 检索真实网页数据来丰富您的脚本(例如,在填充数据库或模拟响应时)。
  • 建议相关链接,用于进一步阅读或支持您的 README.md 文件。
  • 处理许多其他真实世界用例。

Bright Data 的特别之处在于,其产品建立在由超过 400 个住宅代理 IP 支持的强大网络基础设施之上。这在实现 99.99% 正常运行时间和 99.95% 成功率的同时,实现了无限可扩展性。

请记住,Bright Data 技能是开放 Agent 技能 生态系统的一部分,并受到 40 多种 AI 编码助手的支持。

Bright Data 技能:完整列表

在下表中探索所有 Bright Data 技能:

技能 描述 Bright Data 产品
search 搜索 Google,并获取包含标题、链接和描述的结构化 JSON 结果。支持使用 Bright Data 搜索引擎 API 进行分页。 搜索引擎 API
scrape 使用网络解锁器 API,将任意网页抓取为干净的 Markdown,并自动绕过机器人检测、进行验证码破解和 JavaScript 渲染。 网络解锁器 API
data-feeds 从 40 多个网站提取结构化数据,包括 Amazon、LinkedIn、Instagram、TikTok、YouTube、eBay 和 Walmart,并自动轮询。 爬虫 API
bright-data-mcp 编排 60 多个 Bright Data MCP 工具,用于搜索、抓取、结构化提取和浏览器自动化。 Web MCP
scraper-builder 指导代理构建生产就绪的爬虫工具,涵盖站点分析、API 选择、选择器提取、分页和完整实现。 Web 爬虫工具 API/Python SDK
bright-data-best-practices 网络解锁器、搜索引擎 API、爬虫工具 API 和 Browser API 的内置参考。Claude 在生成 Bright Data 代码时会自动参考它。 ,
python-sdk-best-practices <a href="https://github.com/bright-cn/sdk-python" target="_blank" rel="nofollow noopener noreferrer">brightdata-sdk</a> Python 包的指南,包括异步/同步客户端、抓取工具、SERP、数据集、Browser API、错误处理和常见编码模式。 Python SDK
brightdata-cli 使用 Bright Data CLI 直接从终端抓取、搜索、提取数据、管理代理和监控账户使用情况的说明。 Bright Data CLI
competitive-intel 提供实时竞争情报,包括竞争对手快照、价格比较、评论挖掘、招聘信号、内容、SEO 洞察和市场映射。 Bright Data CLI
design-mirror 复制设计系统模式、令牌和组件,以帮助构建一致、高质量的用户界面。 网络解锁器 API
brd-browser-debug 通过 Browser Sessions API 调试 Bright Data 抓取浏览器会话,包括故障分诊、按会话带宽跟踪、CAPTCHA 报告和模式检测。 浏览器 API

重要提示:要了解有关每项技能的更多信息,请查看官方仓库。也请考虑给项目点星以支持项目并保持更新!

如何将 Bright Data 技能添加到编码代理和助手

每个编码代理加载技能的方式可能不同,但有一些方法可以简化安装过程。添加 Bright Data 技能的三种主要方法是:

  1. 通过 Vercel skills 工具(推荐):技能 是由 Vercel 开发的 CLI,用于安装和管理技能。它提供引导式设置,并支持 40 多个 AI 代理框架。
  2. 通过 Bright Data CLI:包括专用命令,用于简化受支持 AI 编码工具中的技能安装和配置。
  3. 通过手动配置:将 Bright Data 技能文件夹复制到您的 AI 编码代理所需的正确目录中。

前两种方法是引导式和自动化的,因此更易使用,但控制较少。手动方法需要更多工作,但可让您完全控制设置。

在接下来的部分中,您将看到如何在 Claude Code 中使用每种方法!(注意:相同说明也适用于任何其他支持技能的 AI 编码代理。)

常见先决条件

无论您选择哪种方法将 Bright Data 技能添加到您的 AI 编码代理,都有一些共同步骤需要遵循。让我们逐一了解!

要求

要使 Bright Data 技能在您选择的 AI 代理中工作,您必须拥有:

  • 能够运行 .sh 脚本的基于 Unix 的操作系统(Linux、macOS 或 WSL)。
  • 一个 Bright Data 账户,并设置了所需区域和 API 密钥。(下一步将引导您完成此操作。)
  • 可访问 40 多个支持 Agent 技能 的 AI 代理之一。
  • 本地已安装 jq 包。

要在基于 Debian 的系统上安装 jq(一种用于处理 JSON、类似于 sed 的工具),请运行:

sudo apt-get install curl jq

或者,在 macOS 上等效地:

brew install curl jq

设置您的 Bright Data 账户

Bright Data 技能使用的 Shell 脚本需要这两个环境变量:

简单来说,要开始使用,您需要一个 Bright Data 账户、一个网络解锁器 API 区域和一个 API 密钥。本节将指导您完成所有设置。

如需快速设置,请参考文档中的“创建您的第一个 Unlocker API”指南。或者,按照以下说明操作。

如果您没有 Bright Data 账户,请创建一个。否则,直接登录。进入控制面板,导航到“代理和抓取”页面,并查看“我的区域”表:

注意 “web_unlocker” 网络解锁器 API 区域

如果网络解锁器 API 区域(例如本例中的 web_unlocker)已经存在,您就可以继续创建 API 密钥。

如果它不存在,请创建一个。滚动到“Unblocker API”部分,点击“Create 区域”按钮:

按下“Create 区域”按钮

为您的区域选择一个清晰的名称,并完成向导,直到区域变为活动状态。

最后,按照官方指南生成您的 Bright Data API 密钥。

获得区域名称和 API 密钥后,在基于 Unix 的系统中定义所需的环境变量:

export BRIGHTDATA_API_KEY="<YOUR_BRIGHT_DATA_API_KEY>"
export BRIGHTDATA_UNLOCKER_ZONE="<YOUR_BRIGHT_DATA_WEB_UNLOCKER_API_ZONE_NAME>"

将占位符替换为您刚刚检索或配置的值,然后就可以开始了!

方法 #1:通过 Vercel skills 工具

将 Bright Data 技能添加到您的 AI 编码代理(40 多个受支持代理之一)的推荐方法是通过 Vercel 技能 包。看看如何利用它!

先决条件

要遵循本节,请确保您已经:

步骤 #1:安装技能

移动到您的项目目录。启动以下命令,开始将 Bright Data 技能添加到本地 AI 编码代理的向导:

npx skills add brightdata/skills

这将运行 技能 npm 包,如有必要会进行安装,并从 Agent 技能 Directory 检索指定技能。

注意:brightdata/技能 是 Agent skills Directory 上 Bright Data 技能的名称。

系统会要求您选择要安装的具体技能:

选择要安装的技能

按空格键逐一切换所有技能,然后按 Enter:

切换所有 Bright Data 技能

接下来,系统会提示您选择要安装这些技能的 AI 代理:

选择要安装技能的代理

默认情况下,会选择 Amp、Antigravity、Cline、Codex 等代理。由于您想安装到 Claude Code,请使用空格键切换它,然后按 Enter。

注意:请记住,您可以使用以下命令直接在 Claude Code 中安装技能:

npx skills list -a claude-code

skills 会询问是在您的项目中本地安装技能,还是全局安装:

选择技能的安装范围

选择适合您用例的选项。

对于安装方法,推荐方法是通过符号链接:

选择“Symlink”选项

此选项会将技能添加到一个通用文件夹,并将它们链接到您的项目,使原始文件夹保持为唯一真实来源。

最后,您将看到“Installation Summary”和“Security Risk Assessment”部分。查看它们并输入“Yes”以继续。然后您应该会收到以下确认:

最终成功消息

恭喜!Bright Data 技能现在已添加到所选 AI 编码代理和助手中。

步骤 #2:验证技能安装

要检查技能是否已成功添加到您的 Claude Code 本地设置,请运行:

npx skills list -a claude-code

您应该会看到类似这样的列表:

当前项目中可用的技能

请注意,其中包含之前选择的所有 Bright Data 技能。

或者,打开 Claude Code 并输入命令:

/skills

结果将再次显示您之前选择的 Bright Data 技能列表:

注意 Bright Data 技能

太棒了!Bright Data 技能现在可在 Claude Code(或您首选的 AI 编码代理)中使用。

下一步:更新技能

Bright Data 技能未来很可能会收到更新。要检查更新,请运行:

npx skills check

如果有可用更新(即,自您上次通过 npx skills add brightdata/skills 克隆 Bright Data 技能仓库以来,该仓库已发生变化),请使用以下命令检索更新:

npx skills update

很好!您的 Bright Data 技能现在将与最新版本保持同步。

方法 #2:通过 Bright Data CLI

Bright Data CLI 是一款一体化终端工具,可简化访问完整 Bright Data 功能面。在它的众多命令中,它还包含一个用于技能安装的命令。了解如何使用它!

先决条件

继续之前,请确保您满足以下要求:

安装技能

要通过 Bright Data CLI 交互式选择和安装技能,请执行:

brightdata skill add

这会启动一个交互式选择器,您可以在其中选择要安装的技能:

选择要安装的技能

通过使用空格键切换来选择所有技能:

选择所有 Bright Data 技能

接下来,选择您想要安装这些技能的 AI 代理。在本例中,选择 Claude Code:

选择“Claude Code”选项

随后,被切换选中的技能将逐一被检索并安装到所选编码代理中:

太棒了!您的本地 Claude Code 设置现在包含 Bright Data 技能。

方法 #3:通过手动配置

技能只是文件夹。因此,对于配置,您可以手动将它们复制并粘贴到您的 AI 编码代理所需的目录中。

首先克隆 Bright Data 技能的 GitHub 仓库:

git clone https://github.com/bright-cn/skills

skills/ 文件夹现在将包含:

skills/
├── .claude-plugin/
├── skills/
│   ├── bright-data-best-practices/
│   ├── bright-data-mcp/
│   ├── brightdata-cli/
│   ├── data-feeds/
│   ├── design-mirror/
│   ├── python-sdk-best-practices/
│   ├── scrape/
│   ├── scraper-builder/
│   └── search/
├── .gitignore
├── LICENSE
└── README.md

接下来,将技能文件夹(例如 bright-data-best-practices/、bright-data-mcp/ 等)从 skills/skills/ 复制到您的 AI 代理配置所需的目录中。

例如,要将它们复制到 Claude Code 项目,请运行:

cp -r skills/skills/* <PATH_TO_YOUR_PROJECT>/.claude/skills/

如果您使用的是不同的 AI 编码代理,请参考其官方文档,以找到应放置 Bright Data 技能的正确文件夹。任务完成!

Bright Data 技能实战

现在是时候观察您的 AI 编码代理通过与 Bright Data 技能集成所获得的能力了。在众多受支持用例中,我们将重点关注主要用例,并展示您可以在项目中运行的真实提示词。

网页搜索

得益于 search 技能,AI 代理现在可以实时搜索网页并检索结构化结果。

注意 “search” 技能的加载和使用

示例提示词:

  • "查找关于使用 Matplotlib 进行数据可视化的最新 Python 教程,并使用它们改进 data-analysis.ipynb 笔记本中的图表"。
  • "搜索有关 Python 中 API 身份验证最佳实践的近期文章,并总结当前身份验证层的关键步骤"。
  • "查找用于构建交互式控制面板的最新 JavaScript 框架,并提供可集成到项目中的示例代码片段"。

网页抓取

您的编码助手现在可以通过 scrape 技能抓取任意网页并获取干净的 Markdown 内容。

示例提示词:

  • "抓取此电子商务页面 'https://www.gucci.com/us/en/ca/women/handbags-c-women-handbags' 中的产品列表,并生成一个 SQL 查询,用提取的数据填充 'products' 表"。
  • "从此官方 Python 论坛页面 'https://python-forum.io/forum-44.html' 抓取近期帖子,并总结关键讨论"。

网页数据源

AI 代理可以使用 data-feeds 技能从 40 多个域名获取结构化 JSON 数据。这非常适合填充数据库、定义模拟响应,或支持数据分析管道。

示例提示词:

  • "从此 Amazon 产品页面 'https://www.amazon.com/Apple-Bluetooth-Headphones-Personalized-Effortless/dp/B0DGHMNQ5Z/' 获取数据,并用它来模拟 /api/v1/products/B0DGHMNQ5Z 端点的响应"。
  • "从此 YouTube 视频 '<YOUTUBE_VIDEO_URL>' 拉取视频统计信息和评论,并使用它们计算互动指标和执行情感分析"。

设计镜像

AI 代理可以通过 design-mirror 技能从源材料复制设计系统模式、令牌和 UI 组件,以保持一致的 UI 质量。

示例提示词:

  • "将此网站 '<WEBSITE_URL>' 的调色板、排版和按钮样式镜像到一个可复用的 CSS/React 组件库中"。
  • 从给定的 Figma 项目 '<PUBLIC_FIGMA_PROJECT_URL>' 提取设计令牌,并生成一个 JSON 配置,以便在我的 Web 应用中复用"。

构建网页爬虫工具

AI 代理可以使用 scraper-builder 技能生成生产就绪的爬虫工具。

示例提示词:

  • "为此电子商务网站 '<WEBSITE_URL>' 构建一个爬虫工具,从所有产品中提取产品名称、价格和库存可用性"。
  • "生成一个脚本,抓取此博客 '<BLOG_URL>' 中的所有文章,并提取标题、作者、内容和日期"。

高级用例

AI 代理可以组合多种技能(例如 search + scrape)来处理复杂的多步骤提示词。

示例提示词:

  • "搜索关于 AI 模型安全的近期文章,抓取它们的摘要,并提出改进当前项目的最佳实践"。
  • "从 Amazon 和 eBay 收集产品列表,合并数据,并突出显示用于竞争分析的价格差异"。
  • "在 GitHub 上查找趋势 Python 包,检索它们的 README 文件,并总结使用模式"。

结论

在这篇博客文章中,您了解了 Bright Data 技能带来了什么、为什么它们重要,以及如何安装它们。借助您在这里看到的内容,您现在知道如何使用面向企业就绪网页数据访问的工具扩展您的 AI 编码代理和助手。这些工具将帮助它们克服静态 LLM 知识的限制。

Bright Data 技能使您能够将您的代理连接到完整的 Bright Data 产品和服务,以支持 AI 驱动的用例。在官方仓库上点星,以便在发布新更新时收到通知!

立即免费创建 Bright Data 账户,并开始与我们面向 AI 就绪的网页数据访问解决方案集成!

FAQ

Bright Data 技能支持哪些编码代理和助手?

Bright Data 技能可与任何支持 Anthropic 的 Agent 技能 标准的 AI 代理技术一起使用。这些包括 Amp、Kimi Code CLI、Replit、Universal、Antigravity、Augment、IBM Bob、Claude Code、OpenClaw、Cline、Warp、CodeBuddy、Codex、Command Code、Continue、Cortex Code、Crush、Cursor、Deep Agents、Droid、Firebender、Gemini CLI、GitHub Copilot、Goose、Junie、iFlow CLI、Kilo Code、Kiro CLI、Kode、MCPJam、Mistral Vibe、Mux、OpenCode、OpenHands、Pi、Qoder、Qwen Code、Roo Code、Trae、Trae CN、Windsurf、Zencoder、Neovate、Pochi 和 AdaL。

我可以在同一个代理中将技能与 MCP 结合使用吗?

当然!AI 代理可以连接到 Bright Data Web MCP 服务器,同时也通过 Bright Data 技能进行扩展。请参阅如何在 Claude Desktop 中配置此设置,以同时使用这两种能力。请记住,Bright Data 技能包含一个特定的 bright-data-mcp 技能,用于编排 Web MCP 工具,以便通过它们获得更好的结果。

是否可以在 AI 编码代理之外使用 Bright Data 技能?

可以!某些技能(例如 scrape、search 和 data-feeds)附带专用 Shell 脚本,您可以直接调用。克隆 GitHub 仓库,导航到克隆的文件夹(cd skills/),并确保满足所有先决条件。然后在您的终端中测试这些脚本。

例如,您可以直接运行 search 技能:

bash skills/search/scripts/search.sh "best chatgpt scrapers"

结果将是通过搜索引擎 API 从 Google 抓取的结构化 SERP 数据:

直接调用该技能产生的输出

在官方文档中探索更多示例。

支持支付宝等多种支付方式

Antonello Zanini

技术写作

5.5 years experience

Antonello是一名软件工程师,但他更喜欢称自己为技术传教士。通过写作传播知识是他的使命。

Expertise
Web 开发 网页抓取 AI 集成