用于 AI 和 ML 模型训练的合成数据与真实网络数据

在本文中，你将了解：

• 合成数据是否真正是 AI 和 ML 训练的未来。
• 什么是真实世界的网络数据、它的主要类型，以及如何大规模收集它。
• 什么是合成数据、它如何分类，以及如何成功生成。
• 合成数据与真实数据在成本、隐私、鲁棒性和分布质量方面的影响。
• 数据选择如何影响 AI 训练流水线和模型性能。
• 为什么结合两种数据类型的混合方法通常是最有效的策略。
• 每种方法的优缺点。

让我们深入了解。

合成数据是 AI/ML 的未来，还是网络数据仍然重要？

AI 扩展定律表明，随着模型使用更多参数、更多计算资源，以及至关重要的更多数据进行训练，性能往往会提升。换句话说，更大的模型需要指数级更大的数据集来维持性能提升。

从历史上看，真实网络数据一直是现代 AI 训练的基础，但高质量网络数据是有限的。众所周知，Elon Musk 曾表示AI 公司已经耗尽了训练数据，并且已经“用尽”了可用于模型训练的人类知识总和。

除此之外，网络数据正变得越来越重复，收集、清洗和进行法律审查的成本也越来越高。这也突显了选择网络数据集提供商的重要性，这些提供商能够交付针对 AI 优化、定期更新且符合隐私要求的数据集。

这些压力正在加速人们对替代数据源的兴趣，尤其是合成数据。据 Gartner 称，到 2030 年，预计合成数据将在 AI 模型训练中超过真实世界数据。该公司将这一转变归因于更严格的隐私要求、真实世界数据稀缺，以及组织寻求更低成本、可降低法律和合规风险的替代方案。

与此同时，这一预测应被视为一种估计，而不是必然结果。互联网仍在产生海量内容，每天大约会创建 402 百万 TB 的网络数据！

为了更直观地理解，GPT-3 在过滤前使用了大约 45 TB 的原始文本进行训练。这一对比表明，网络规模的人类生成数据仍然庞大，并且与 AI 训练高度相关。

因此，AI 训练的未来不太可能完全依赖合成数据。相反，许多机器学习专家预计会采用混合方法，这是我们将在本文后面探讨的主题。

合成数据与真实网络数据：比较两种数据范式

在接下来的章节中，你将了解什么是合成数据和真实网络数据、它们能提供什么，以及它们在 AI 模型训练的多个方面如何比较。我们将从真实网络数据开始，因为它更容易理解，然后再转向合成数据。

如需快速了解高层次对比，请查看下面的合成数据与真实网络数据表：

现在，是时候深入了解塑造现代 AI 训练的两种核心数据范式了！

探索真实网络数据的世界

在这里，我们将介绍你需要了解的关于 AI 模型训练中真实网络数据的一切。

什么是网络数据？

网络数据是从网页和其他公共网络来源收集的信息，主要通过网页抓取获得。它包括文本、图像、代码、元数据和文档（例如 PDF）等非结构化内容，以及 JSON 和 XML 等半结构化数据。

网络数据的类型

网络数据可能有许多类别。不过，在较高层次上，尤其是在 AI 背景下，将其区分为两种主要类型很有用：

• 历史网络数据：通常通过网页抓取流水线收集，然后清洗、丰富、去重，并聚合为 CSV、JSON 和 Parquet 等格式的结构化数据集。这些数据集用于模型预训练和微调。
• 实时网络数据：通过抓取或 API 从网页实时检索。它反映互联网上可用的最新信息。这使其特别适合用于为 AI 响应提供依据，以及用于 RAG 系统，在这些系统中，时效性和事实准确性至关重要。

这两种形式的网络数据共同在现代 AI 系统中发挥互补作用。

如何获取网络数据

要为 AI/ML 训练获取网络数据，你需要一个可扩展的网页抓取流水线。在内部构建它需要大量工程专业知识。

它涉及处理各种反抓取挑战，例如 IP 封锁、验证码破解和速率限制器。此外，它还需要强大的数据工程能力，用于清洗、去重和规范化。因此，公司更倾向于依赖专用的网络数据平台，例如 Bright Data。

Bright Data 提供用于网络数据收集和交付的端到端生态系统。使其脱颖而出的是其覆盖 195 个国家/地区的 400M+ 住宅代理网络，支持高度可扩展且并发的网络数据收集。这种企业级基础设施也符合 GDPR 和 CCPA，以及其他隐私和安全标准。

Bright Data 的网络数据产品包括：

• 网络数据市场：包含 350+ 个即用型数据集，覆盖超过 250 个域名（包括 Reddit、Amazon、LinkedIn、Yahoo Finance 以及许多其他域名）。这些数据集涵盖超过 17 PB 的网络数据，并针对 ML 训练和 AI 应用进行了优化。它们通过云交付和其他分发方式，以 JSON、CSV 和 Parquet 等多种格式交付。
• 网页抓取产品：一套基于 API 的实时网络数据提取解决方案：

– 网络解锁器 API：绕过封锁和 CAPTCHA，确保可访问任何网页上的数据。

– 搜索引擎 API：从 Google、Bing、Yandex 等提供结构化的实时搜索引擎结果。

– Discover API：从公共网络返回按排名排序的实时 URL 集合，可用于下游处理。

– Crawl API：执行可扩展的网站爬取和结构化数据提取。

– 爬虫 API：覆盖 120+ 个网站，可从热门域名直接提取结构化数据。

Bright Data 还提供用于交钥匙数据获取的托管服务。这些服务使组织能够专注于模型开发，而不是数据工程。

进入合成数据领域

在本章中，你将探索合成数据在 AI/ML 模型训练中的使用。

什么是合成数据？

合成数据是人工生成的信息，它复制真实世界数据的统计模式和特征。它不是从真实事件中收集，而是人工产生的。

合成数据的类型

合成数据可以分类为：

• 按组成和隐私级别：

– 完全合成：使用在真实数据上训练的机器学习模型完全从零生成。由于它不包含任何原始数据点，因此提供最高级别的隐私保护。

– 部分合成：获取现有真实数据集，并仅将敏感属性（如姓名、地址或社会安全号码）替换为人工值。这在匿名化 PII 的同时保留特定数据趋势。

– 混合：将真实的匿名化记录与人工生成的记录混合。这通常用于通过人工创建稀有事件来“上采样”或丰富数据集（例如，向银行数据集中添加合成欺诈记录）。

• 按数据结构：

– 结构化数据：以表格格式呈现的高度组织化、定量数据。

– 非结构化数据：定性或媒体密集型数据格式。它包括合成文本、人工生成的图像、视频和音频。

如何生成合成数据

从较高层次来看，合成数据可以使用三种主要方法生成：

• 完全由 AI 生成：使用 GAN（生成对抗网络）、VAE（变分自编码器）或 LLM 等模型创建。这些系统学习真实数据集的底层分布，然后生成与原始数据相似但不直接复制它的全新样本。
• 基于规则的生成：数据使用预定义的人工编写规则、约束或业务逻辑生成。这确保严格一致性、结构正确性和受控行为，使其适用于需要可预测输出的系统。
• 仿真或模拟数据：通过物理或行为仿真生成。这常用于自动驾驶或机器人等环境，在这些环境中，数字孪生和物理引擎创建逼真的“假设”场景。

合成数据与真实网络数据对 AI/ML 模型训练的影响

现在，让我们比较几个方面，以了解使用合成数据与真实网络数据进行 AI 训练的后果。

数据分布和真实性

网络数据非常接近自然数据分布。它捕捉人类语言和行为在真实世界中呈现的内在复杂性。这带来了重要好处，包括特征之间的自然相关性、真实的边缘案例、多样的语言风格，以及人类错误、歧义和不一致等真实噪声。

然而，真实世界的网络数据本质上也很混乱。它通常不平衡、重复、难以大规模整理，并且可能包含需要大量过滤的低质量或垃圾内容。

相比之下，合成数据代表一种受控分布。它是有意设计和生成的，允许实践者以精确方式塑造数据集属性。这使得平衡的类别分布、特定场景的目标覆盖、稀有事件生成以及结构化课程学习成为可能。

与此同时，合成数据也引入了重要风险，包括分布偏移、不真实的伪影、模式崩溃，以及当生成器受限过多时出现的过度正则化。

重要：在这方面，一个核心机器学习概念是合成到真实的差距，类似于机器人领域中的仿真到真实问题。大量使用合成数据训练的模型可能在真实输入上表现不佳，因为生成的分布并不完全匹配现实。

长尾覆盖

真实网络数据自然包含广泛的知识。这包括从人类活动中有机涌现的冷门事实、稀有事件和意外边缘案例。然而，这些长尾示例本质上是稀疏的。根据定义，稀有事件出现频率很低，这使得模型在训练期间很难从中学习到稳健模式。

另一方面，你可以使用合成数据显式生成稀有或代表性不足的场景。这样，你可以针对数据集中的特定缺口，并在真实数据不足的地方提高覆盖率。示例包括罕见的编码 bug 和低资源语言。

使用合成数据进行长尾覆盖的一个主要优势是能够过采样稀有事件。这可以帮助减少类别不平衡，并改善模型在不常见但重要案例上的性能。不过，如果稀有场景被人工过度表示，模型学习到的先验可能会变得扭曲。

例如，如果网络安全漏洞利用案例在合成数据中被大量过采样，模型可能会开始在真实世界环境中过度预测其发生可能性。因此，谨慎校准是基础，以确保合成长尾生成在不引入不真实分布的情况下提高覆盖率。

成本和隐私考量

如前所述，公司很少构建自己的网页抓取和数据集基础设施。相反，它们依赖 Bright Data 等第三方数据提供商，这些提供商抽象掉爬取、解锁、清洗和交付。这从根本上改变了数据获取的成本结构和隐私权衡。

下面是 Bright Data 网络数据收集定价模型的简化概览：

Bright Data 还提供数据标注服务，帮助组织进一步减少对内部数据工程的依赖。重要的是，其数据与隐私框架保持一致，这有助于降低法律和监管风险。

如果没有这样的网络数据提供商，你就必须在内部处理基础设施开发、持续维护，以及 PII、受版权保护材料和敏感行为数据的复杂治理。

对于合成数据，主要成本来自推理计算以及对教师模型或 API 的访问。从隐私角度看，人工生成的数据具有内在优势。由于它是生成的，而不是从真实个人那里收集的，因此合成数据自然消除了对个人身份信息的暴露。

现在，在合成数据和真实网络数据之间做出正确选择，取决于质量要求、规模、隐私约束和目标用例。根据这些因素，任一方法都可能比另一种更具成本效益或更昂贵。

数据质量因素

网络数据通常提供弱监督。模型从自然出现的信号中学习，例如下一个 token 预测、元数据和人类生成内容。问题在于，真实数据是嘈杂的，可能包含错误信息、矛盾、垃圾内容、有偏见的观点和不一致的格式。

相反，合成数据提供了对质量和监督的更大控制。它可以提供格式完美的标签、结构化输出、逐步推理和自动验证的示例。例如，合成数据集可以包含经过数学验证的答案，或通过单元测试验证的代码片段。这提高了一致性，并使目标训练更容易。

合成数据的主要风险在于，其质量从根本上受生成模型、算法或底层方法质量的限制。生成的幻觉或事实错误可能传播到最终数据集中，导致模型学习到自信但错误的模式。同样，生成系统中存在的隐藏偏差也可能被下游模型继承。从积极的一面看，合成数据支持更强的对齐和安全调优。

泛化和鲁棒性

机器学习中最重要的问题之一是模型对未见输入的泛化能力如何。换句话说，在分布偏移下，哪种数据源会带来更好的鲁棒性：真实世界网络数据还是合成数据？

网络数据往往能实现强鲁棒性，因为它反映了自然发生的人类行为、语言和噪声。这提高了在分布外输入上的性能，并增强了领域迁移，尤其是当模型部署在不可预测的环境中时。

相反，合成数据更适合目标优化。它让你能够精确设计用于特定技能、边缘案例或稀有场景的训练示例。

使用合成数据或真实网络数据训练 AI 时的关键考量

既然你已经了解合成数据和网络数据之间的差异，就可以看到在 AI 模型训练中使用每种方法的实际影响。

数据训练流水线

依赖网络数据时，流水线通常遵循以下步骤：

1. 爬取：使用大规模抓取系统或跨多个域名的自定义网页抓取机器人从网站收集原始数据。
2. 去重：移除重复或近重复内容，以减少冗余并提高数据集多样性和效率。
3. 语言检测：识别每个样本的语言，并根据目标语言要求过滤或分割数据集。
4. 质量评分：使用启发式方法或模型评估并排序内容，以过滤掉低质量或不相关的信息。
5. 毒性过滤：检测并移除有害、不安全或不适当的内容，以确保训练安全和合规。
6. PII 移除和去污染：移除个人身份信息，并消除来自敏感或不需要来源的污染。

对于合成数据流水线，步骤更侧重于生成：

1. 提示生成：设计定义合成数据创建的结构、任务或场景的提示或模板。
2. 模型采样：使用 LLM、GAN 或其他系统等生成模型生成候选输出。
3. 验证：使用自动检查、规则或外部工具验证输出，以确保正确性和一致性。
4. 过滤：移除不符合预定义标准的低质量、不一致或幻觉样本。
5. 奖励评分：分配质量或偏好分数，以排序并选择最佳合成示例。
6. 迭代改进： 通过重复的生成、过滤和重新采样周期提高数据质量，以增强鲁棒性。

如你所见，真实网络数据流水线专注于清洗嘈杂的真实世界输入。相反，合成流水线更多关注控制和验证生成输出。最后，一旦训练数据集生成完成，你就可以继续训练 AI 模型。

性能比较

最后一个问题是，合成数据能否优于真实世界网络数据。

最近一篇关于 需求工程 AI（AI4RE）的论文表明，当真实数据稀缺或难以访问时，LLM 生成的数据集可以成为强有力的替代方案。实证结果显示，仅使用合成数据训练的模型可以优于仅使用人类撰写数据集训练的模型。具体而言，与仅真实数据基线相比，观察到精确率最高提升 +37%，召回率最高提升 +30%。

也就是说，这并不是一个二元或绝对的结论。证据并不表明合成数据应该完全取代真实数据，而是表明最佳性能通常通过混合方法实现。了解更多！

合成数据 + 真实世界网络数据：为什么混合方法效果最佳

合成数据与真实世界网络数据之间的争论不再是二选一，而是如何将它们结合起来。

最新证据显示，与仅使用真实世界网络数据相比，结合合成数据和真实数据的混合配置可实现精确率最高 +85% 的提升，并使召回率翻倍。

与此同时，多项研究和行业报告强调，天真地混合合成样本和真实样本实际上可能会因分布不匹配、冗余或偏差放大而降低性能。这清楚表明，性能提升取决于谨慎的数据集设计，而不是简单的数据累积。

一个关键的开放问题是合成数据与真实数据之间的最佳比例。没有通用答案。一些实践者采用帕累托式 80/20 拆分（以真实数据为主，并用合成数据增强），而另一些人则根据任务复杂性、领域风险和数据可用性，偏好更平衡的混合比例，例如 60/40。

同样，合成数据在流水线中的位置也很重要。行业实践指导一种分阶段策略：以合成数据为主的预训练用于覆盖范围，随后用真实数据微调用于 grounding 和评估。

归根结底，混合流水线效果最佳，因为它们结合了互补优势。合成数据提供规模和边缘案例覆盖，而真实网络数据确保生产环境中的保真度、真实性和可靠评估。

真实网络数据与合成数据：优缺点

作为总结部分，请查看两种数据范式的优点和缺点。

真实网络数据

👍 优点：

• 捕捉真实的现实世界模式和噪声
• 是评估和验证的强基准
• 降低合成偏差或伪影的风险

👎 缺点：

• 收集和标注成本高且耗时
• 可能受到隐私和监管约束的限制
• 可能不平衡或不完整

合成数据

👍 优点：

• 高度可扩展且生成速度快
• 可以模拟稀有事件和边缘案例
• 支持保护隐私的训练流水线

👎 缺点：

• 存在相对于真实世界数据的领域差距风险
• 需要仔细验证和质量控制
• 与真实数据相比可能缺乏多样性，导致对合成伪影过拟合

真实网络数据 + 合成数据

👍 优点：

• 将规模（合成）与真实性（真实数据）结合起来
• 在实践中通常实现最佳性能
• 在边缘案例和正常案例中具有更强鲁棒性

👎 缺点：

• 需要谨慎平衡和调整比例
• 如果混合不当，存在性能下降风险
• 流水线设计和维护更复杂

结论

在这篇关于合成数据与真实网络数据的博客文章中，你了解了使用真实世界数据或人工生成数据进行 AI/ML 模型训练的影响。与这些情况中一贯的情况一样，没有单一赢家。正确的方法取决于你的具体预算、技术能力和性能目标。

无论采用何种设置，网络数据在 AI 模型训练中仍然发挥核心作用，无论是用于预训练还是最终微调。其广泛覆盖和真实世界 grounding 使其不可或缺。然而，一些公司更倾向于选择以合成数据为主的方法。主要原因是内部构建和维护网络数据检索流水线的复杂性。

这正是 Bright Data 可以提供帮助的地方。凭借企业级、高度可扩展且合规的基础设施，它提供：

• 网络数据集：350+ 个现成数据集，包含数十亿条记录，已收集、整理并针对 AI 训练用例进行了优化。
• 网页抓取产品：基于 API 的解决方案，可大规模从许多站点访问新鲜网络数据。

此外，Bright Data 还提供数据标注服务。它为 NLP、计算机视觉和语音识别用例提供可扩展、准确且可自定义的标注解决方案。

探索所有 Bright Data AI 解决方案！

免费创建 Bright Data 账户并探索我们的网络数据解决方案！