AI

使用 Bright Data 技能通过网页数据访问增强 AI 编码代理

使用 Bright Data 技能增强您的 AI 编码代理,以访问网页数据。了解安装方法和实用提示词示例,以获得更好的结果。
4 分钟阅读
用于增强 AI 编码代理的 Bright Data 技能

在本文中,您将了解:

  • Bright Data 技能是什么。
  • 它们为何有用,以及它们如何支持 AI 编码代理和助手。
  • 它们为网页搜索、抓取等提供哪些具体技能。
  • 如何通过 skills、Bright Data CLI 或手动方式在您的 AI 代理设置中安装它们。
  • 如何通过实用提示词示例充分利用它们。

让我们开始吧!

什么是 Bright Data 技能?

Bright Data 技能允许您的 AI 编码代理了解 Bright Data 的产品和服务

这些技能遵循由 Anthropic 定义的 Agent 技能 标准规范,并受到 40 多种 AI 编码解决方案的支持。本质上,技能是包含指令、脚本和资源的结构化文件夹,代理可以发现并使用它们来更准确、高效地执行任务。

详细来说,如官方 GitHub 仓库所示,Bright Data 技能具有以下文件夹结构:

skills/
├── scrape/
│   ├── SKILL.md              # Instructions + metadata loaded by the agent
│   └── scripts/
│       └── search.sh         # Executable script that the agent can run
│
├── # other skills... 
│
├── bright-data-mcp/
│   ├── SKILL.md
│   └── references/           # MCP tool reference docs
└── bright-data-best-practices/
    ├── SKILL.md              # API selection guide + auth patterns + code examples
    └── references/
        ├── web-unlocker.md   # Full Web Unlocker API reference
        ├── serp-api.md       # Full SERP API reference
        ├── scrapers.md       # Full Web Scraping APIs reference
        └── browser-api.md    # Browser API reference

如您所见,技能为您的代理提供最佳实践、参数知识和可执行 Shell 脚本,以连接到 Bright Data 的解决方案。

从高层次来看,Bright Data 技能使您的编码代理能够通过网页抓取访问网页数据,从热门域名检索数据源,执行搜索,与网页交互等。

编码代理中对网页访问的需求

无论您的 AI 编码代理背后的 LLM 多么强大,它仍然面临所有语言模型共有的一个根本限制:知识过时。LLM 只能生成基于其训练数据的响应,而这些数据代表的是某个固定时间点的快照。

鉴于技术领域发展如此迅速,这会成为一个重大问题。LLM 经常会建议过时的编码实践,依赖已弃用的方法,或者完全错过新发布的功能。

为克服这一限制,请为您的 AI 编码代理扩展实时网页访问能力。这正是 Bright Data 技能所提供的功能。集成后,您的代理可以:

  • 为搜索、抓取或结构化数据提取识别正确的 API。
  • 在连接 Bright Data API 时正确进行身份验证并构建请求。
  • 有效处理分页、错误和边缘情况。
  • 执行真实的 Shell 脚本来执行网页搜索和抓取等操作。

借助它们,代理能够自主地:

  • 从正确的在线来源发现最新信息,例如文档页面、Stack Overflow 和论坛。
  • 检索真实网页数据来丰富您的脚本(例如,在填充数据库或模拟响应时)。
  • 建议相关链接,用于进一步阅读或支持您的 README.md 文件。
  • 处理许多其他真实世界用例

Bright Data 的特别之处在于,其产品建立在由超过 400 个住宅代理 IP 支持的强大网络基础设施之上。这在实现 99.99% 正常运行时间和 99.95% 成功率的同时,实现了无限可扩展性。

请记住,Bright Data 技能是开放 Agent 技能 生态系统的一部分,并受到 40 多种 AI 编码助手的支持。

Bright Data 技能:完整列表

在下表中探索所有 Bright Data 技能

技能 描述 Bright Data 产品
search 搜索 Google,并获取包含标题、链接和描述的结构化 JSON 结果。支持使用 Bright Data 搜索引擎 API 进行分页。 搜索引擎 API
scrape 使用网络解锁器 API,将任意网页抓取为干净的 Markdown,并自动绕过机器人检测、进行验证码破解和 JavaScript 渲染。 网络解锁器 API
data-feeds 从 40 多个网站提取结构化数据,包括 Amazon、LinkedIn、Instagram、TikTok、YouTube、eBay 和 Walmart,并自动轮询。 爬虫 API
bright-data-mcp 编排 60 多个 Bright Data MCP 工具,用于搜索、抓取、结构化提取和浏览器自动化。 Web MCP
scraper-builder 指导代理构建生产就绪的爬虫工具,涵盖站点分析、API 选择、选择器提取、分页和完整实现。 Web 爬虫工具 API/Python SDK
bright-data-best-practices 网络解锁器、搜索引擎 API、爬虫工具 API 和 Browser API 的内置参考。Claude 在生成 Bright Data 代码时会自动参考它。 ,
python-sdk-best-practices <a href="https://github.com/bright-cn/sdk-python" target="_blank" rel="nofollow noopener noreferrer">brightdata-sdk</a> Python 包的指南,包括异步/同步客户端、抓取工具、SERP、数据集、Browser API、错误处理和常见编码模式。 Python SDK
brightdata-cli 使用 Bright Data CLI 直接从终端抓取、搜索、提取数据、管理代理和监控账户使用情况的说明。 Bright Data CLI
competitive-intel 提供实时竞争情报,包括竞争对手快照、价格比较、评论挖掘、招聘信号、内容、SEO 洞察和市场映射。 Bright Data CLI
design-mirror 复制设计系统模式、令牌和组件,以帮助构建一致、高质量的用户界面。 网络解锁器 API
brd-browser-debug 通过 Browser Sessions API 调试 Bright Data 抓取浏览器会话,包括故障分诊、按会话带宽跟踪、CAPTCHA 报告和模式检测。 浏览器 API

重要提示:要了解有关每项技能的更多信息,请查看官方仓库。也请考虑给项目点星以支持项目并保持更新!

如何将 Bright Data 技能添加到编码代理和助手

每个编码代理加载技能的方式可能不同,但有一些方法可以简化安装过程。添加 Bright Data 技能的三种主要方法是:

  1. 通过 Vercel skills 工具(推荐)技能 是由 Vercel 开发的 CLI,用于安装和管理技能。它提供引导式设置,并支持 40 多个 AI 代理框架。
  2. 通过 Bright Data CLI:包括专用命令,用于简化受支持 AI 编码工具中的技能安装和配置。
  3. 通过手动配置:将 Bright Data 技能文件夹复制到您的 AI 编码代理所需的正确目录中。

前两种方法是引导式和自动化的,因此更易使用,但控制较少。手动方法需要更多工作,但可让您完全控制设置。

在接下来的部分中,您将看到如何在 Claude Code 中使用每种方法!(注意:相同说明也适用于任何其他支持技能的 AI 编码代理。)

常见先决条件

无论您选择哪种方法将 Bright Data 技能添加到您的 AI 编码代理,都有一些共同步骤需要遵循。让我们逐一了解!

要求

要使 Bright Data 技能在您选择的 AI 代理中工作,您必须拥有:

  • 能够运行 .sh 脚本的基于 Unix 的操作系统(Linux、macOS 或 WSL)。
  • 一个 Bright Data 账户,并设置了所需区域和 API 密钥。(下一步将引导您完成此操作。)
  • 可访问 40 多个支持 Agent 技能 的 AI 代理之一。
  • 本地已安装 jq 包。

要在基于 Debian 的系统上安装 jq(一种用于处理 JSON、类似于 sed 的工具),请运行:

sudo apt-get install curl jq

或者,在 macOS 上等效地:

brew install curl jq

设置您的 Bright Data 账户

Bright Data 技能使用的 Shell 脚本需要这两个环境变量

简单来说,要开始使用,您需要一个 Bright Data 账户、一个网络解锁器 API 区域和一个 API 密钥。本节将指导您完成所有设置。

如需快速设置,请参考文档中的“创建您的第一个 Unlocker API”指南。或者,按照以下说明操作。

如果您没有 Bright Data 账户,请创建一个。否则,直接登录。进入控制面板,导航到“代理和抓取”页面,并查看“我的区域”表:

注意 “web_unlocker” 网络解锁器 API 区域

如果网络解锁器 API 区域(例如本例中的 web_unlocker)已经存在,您就可以继续创建 API 密钥。

如果它不存在,请创建一个。滚动到“Unblocker API”部分,点击“Create 区域”按钮:

按下“Create 区域”按钮

为您的区域选择一个清晰的名称,并完成向导,直到区域变为活动状态。

最后,按照官方指南生成您的 Bright Data API 密钥

获得区域名称和 API 密钥后,在基于 Unix 的系统中定义所需的环境变量:

export BRIGHTDATA_API_KEY="<YOUR_BRIGHT_DATA_API_KEY>"
export BRIGHTDATA_UNLOCKER_ZONE="<YOUR_BRIGHT_DATA_WEB_UNLOCKER_API_ZONE_NAME>"

将占位符替换为您刚刚检索或配置的值,然后就可以开始了!

方法 #1:通过 Vercel skills 工具

将 Bright Data 技能添加到您的 AI 编码代理(40 多个受支持代理之一)的推荐方法是通过 Vercel 技能 包。看看如何利用它!

先决条件

要遵循本节,请确保您已经:

步骤 #1:安装技能

移动到您的项目目录。启动以下命令,开始将 Bright Data 技能添加到本地 AI 编码代理的向导:

npx skills add brightdata/skills

这将运行 技能 npm 包,如有必要会进行安装,并从 Agent 技能 Directory 检索指定技能。

注意brightdata/技能 是 Agent skills Directory 上 Bright Data 技能的名称。

系统会要求您选择要安装的具体技能:

选择要安装的技能

按空格键逐一切换所有技能,然后按 Enter:

切换所有 Bright Data 技能

接下来,系统会提示您选择要安装这些技能的 AI 代理:

选择要安装技能的代理

默认情况下,会选择 Amp、Antigravity、Cline、Codex 等代理。由于您想安装到 Claude Code,请使用空格键切换它,然后按 Enter。

注意:请记住,您可以使用以下命令直接在 Claude Code 中安装技能:

npx skills list -a claude-code

skills 会询问是在您的项目中本地安装技能,还是全局安装:

选择技能的安装范围

选择适合您用例的选项。

对于安装方法,推荐方法是通过符号链接:

选择“Symlink”选项

此选项会将技能添加到一个通用文件夹,并将它们链接到您的项目,使原始文件夹保持为唯一真实来源。

最后,您将看到“Installation Summary”和“Security Risk Assessment”部分。查看它们并输入“Yes”以继续。然后您应该会收到以下确认:

最终成功消息

恭喜!Bright Data 技能现在已添加到所选 AI 编码代理和助手中。

步骤 #2:验证技能安装

要检查技能是否已成功添加到您的 Claude Code 本地设置,请运行:

npx skills list -a claude-code

您应该会看到类似这样的列表:

当前项目中可用的技能

请注意,其中包含之前选择的所有 Bright Data 技能。

或者,打开 Claude Code 并输入命令:

/skills

结果将再次显示您之前选择的 Bright Data 技能列表:

注意 Bright Data 技能

太棒了!Bright Data 技能现在可在 Claude Code(或您首选的 AI 编码代理)中使用。

下一步:更新技能

Bright Data 技能未来很可能会收到更新。要检查更新,请运行:

npx skills check

如果有可用更新(即,自您上次通过 npx skills add brightdata/skills 克隆 Bright Data 技能仓库以来,该仓库已发生变化),请使用以下命令检索更新:

npx skills update

很好!您的 Bright Data 技能现在将与最新版本保持同步。

方法 #2:通过 Bright Data CLI

Bright Data CLI 是一款一体化终端工具,可简化访问完整 Bright Data 功能面。在它的众多命令中,它还包含一个用于技能安装的命令。了解如何使用它!

先决条件

继续之前,请确保您满足以下要求:

安装技能

要通过 Bright Data CLI 交互式选择和安装技能,请执行:

brightdata skill add

这会启动一个交互式选择器,您可以在其中选择要安装的技能:

选择要安装的技能

通过使用空格键切换来选择所有技能:

选择所有 Bright Data 技能

接下来,选择您想要安装这些技能的 AI 代理。在本例中,选择 Claude Code:

选择“Claude Code”选项

随后,被切换选中的技能将逐一被检索并安装到所选编码代理中:

太棒了!您的本地 Claude Code 设置现在包含 Bright Data 技能。

方法 #3:通过手动配置

技能只是文件夹。因此,对于配置,您可以手动将它们复制并粘贴到您的 AI 编码代理所需的目录中。

首先克隆 Bright Data 技能的 GitHub 仓库:

git clone https://github.com/bright-cn/skills

skills/ 文件夹现在将包含:

skills/
├── .claude-plugin/
├── skills/
│   ├── bright-data-best-practices/
│   ├── bright-data-mcp/
│   ├── brightdata-cli/
│   ├── data-feeds/
│   ├── design-mirror/
│   ├── python-sdk-best-practices/
│   ├── scrape/
│   ├── scraper-builder/
│   └── search/
├── .gitignore
├── LICENSE
└── README.md

接下来,将技能文件夹(例如 bright-data-best-practices/bright-data-mcp/ 等)从 skills/skills/ 复制到您的 AI 代理配置所需的目录中。

例如,要将它们复制到 Claude Code 项目,请运行:

cp -r skills/skills/* <PATH_TO_YOUR_PROJECT>/.claude/skills/

如果您使用的是不同的 AI 编码代理,请参考其官方文档,以找到应放置 Bright Data 技能的正确文件夹。任务完成!

Bright Data 技能实战

现在是时候观察您的 AI 编码代理通过与 Bright Data 技能集成所获得的能力了。在众多受支持用例中,我们将重点关注主要用例,并展示您可以在项目中运行的真实提示词。

网页搜索

得益于 search 技能,AI 代理现在可以实时搜索网页并检索结构化结果。

注意 “search” 技能的加载和使用

示例提示词

  • "查找关于使用 Matplotlib 进行数据可视化的最新 Python 教程,并使用它们改进 data-analysis.ipynb 笔记本中的图表"
  • "搜索有关 Python 中 API 身份验证最佳实践的近期文章,并总结当前身份验证层的关键步骤"
  • "查找用于构建交互式控制面板的最新 JavaScript 框架,并提供可集成到项目中的示例代码片段"

网页抓取

您的编码助手现在可以通过 scrape 技能抓取任意网页并获取干净的 Markdown 内容。

示例提示词

  • "抓取此电子商务页面 'https://www.gucci.com/us/en/ca/women/handbags-c-women-handbags' 中的产品列表,并生成一个 SQL 查询,用提取的数据填充 'products' 表"
  • "从此官方 Python 论坛页面 'https://python-forum.io/forum-44.html' 抓取近期帖子,并总结关键讨论"

网页数据源

AI 代理可以使用 data-feeds 技能从 40 多个域名获取结构化 JSON 数据。这非常适合填充数据库、定义模拟响应,或支持数据分析管道

示例提示词

  • "从此 Amazon 产品页面 'https://www.amazon.com/Apple-Bluetooth-Headphones-Personalized-Effortless/dp/B0DGHMNQ5Z/' 获取数据,并用它来模拟 /api/v1/products/B0DGHMNQ5Z 端点的响应"
  • "从此 YouTube 视频 '<YOUTUBE_VIDEO_URL>' 拉取视频统计信息和评论,并使用它们计算互动指标和执行情感分析"

设计镜像

AI 代理可以通过 design-mirror 技能从源材料复制设计系统模式、令牌和 UI 组件,以保持一致的 UI 质量。

示例提示词

  • "将此网站 '<WEBSITE_URL>' 的调色板、排版和按钮样式镜像到一个可复用的 CSS/React 组件库中"
  • 从给定的 Figma 项目 '<PUBLIC_FIGMA_PROJECT_URL>' 提取设计令牌,并生成一个 JSON 配置,以便在我的 Web 应用中复用"

构建网页爬虫工具

AI 代理可以使用 scraper-builder 技能生成生产就绪的爬虫工具

示例提示词

  • "为此电子商务网站 '<WEBSITE_URL>' 构建一个爬虫工具,从所有产品中提取产品名称、价格和库存可用性"
  • "生成一个脚本,抓取此博客 '<BLOG_URL>' 中的所有文章,并提取标题、作者、内容和日期"

高级用例

AI 代理可以组合多种技能(例如 search + scrape)来处理复杂的多步骤提示词。

示例提示词

  • "搜索关于 AI 模型安全的近期文章,抓取它们的摘要,并提出改进当前项目的最佳实践"
  • "从 Amazon 和 eBay 收集产品列表,合并数据,并突出显示用于竞争分析的价格差异"
  • "在 GitHub 上查找趋势 Python 包,检索它们的 README 文件,并总结使用模式"

结论

在这篇博客文章中,您了解了 Bright Data 技能带来了什么、为什么它们重要,以及如何安装它们。借助您在这里看到的内容,您现在知道如何使用面向企业就绪网页数据访问的工具扩展您的 AI 编码代理和助手。这些工具将帮助它们克服静态 LLM 知识的限制。

Bright Data 技能使您能够将您的代理连接到完整的 Bright Data 产品和服务,以支持 AI 驱动的用例。在官方仓库上点星,以便在发布新更新时收到通知!

立即免费创建 Bright Data 账户,并开始与我们面向 AI 就绪的网页数据访问解决方案集成!

FAQ

Bright Data 技能支持哪些编码代理和助手?

Bright Data 技能可与任何支持 Anthropic 的 Agent 技能 标准的 AI 代理技术一起使用。这些包括 Amp、Kimi Code CLI、Replit、Universal、Antigravity、Augment、IBM Bob、Claude Code、OpenClaw、Cline、Warp、CodeBuddy、Codex、Command Code、Continue、Cortex Code、Crush、Cursor、Deep Agents、Droid、Firebender、Gemini CLI、GitHub Copilot、Goose、Junie、iFlow CLI、Kilo Code、Kiro CLI、Kode、MCPJam、Mistral Vibe、Mux、OpenCode、OpenHands、Pi、Qoder、Qwen Code、Roo Code、Trae、Trae CN、Windsurf、Zencoder、Neovate、Pochi 和 AdaL。

我可以在同一个代理中将技能与 MCP 结合使用吗?

当然!AI 代理可以连接到 Bright Data Web MCP 服务器,同时也通过 Bright Data 技能进行扩展。请参阅如何在 Claude Desktop 中配置此设置,以同时使用这两种能力。请记住,Bright Data 技能包含一个特定的 bright-data-mcp 技能,用于编排 Web MCP 工具,以便通过它们获得更好的结果。

是否可以在 AI 编码代理之外使用 Bright Data 技能?

可以!某些技能(例如 scrapesearchdata-feeds)附带专用 Shell 脚本,您可以直接调用。克隆 GitHub 仓库,导航到克隆的文件夹(cd skills/),并确保满足所有先决条件。然后在您的终端中测试这些脚本。

例如,您可以直接运行 search 技能:

bash skills/search/scripts/search.sh "best chatgpt scrapers"

结果将是通过搜索引擎 API 从 Google 抓取的结构化 SERP 数据:

直接调用该技能产生的输出

官方文档中探索更多示例。

支持支付宝等多种支付方式

Antonello Zanini

技术写作

5.5 years experience

Antonello是一名软件工程师,但他更喜欢称自己为技术传教士。通过写作传播知识是他的使命。

Expertise
Web 开发 网页抓取 AI 集成