用于 AI 和 ML 模型训练的合成数据与真实网络数据对比

在本文中，你将了解：

• 合成数据是否真的是 AI 和 ML 训练的未来。
• 什么是现实世界网络数据、其主要类型，以及如何进行大规模采集。
• 什么是合成数据、如何对其分类，以及如何成功生成合成数据。
• 合成数据与真实数据在成本、隐私、稳健性和分布质量方面的影响。
• 数据选择如何影响 AI 训练流程和模型性能。
• 为什么结合两类数据的混合方法往往是最有效的策略。
• 每种方法的优缺点。

让我们深入了解。

合成数据是 AI/ML 的未来，还是网络数据依然重要？

AI 扩展定律表明，随着模型使用更多参数、更多算力，以及至关重要的更多数据进行训练，其性能通常会有所提升。换句话说，更大的模型需要呈指数级增长的数据集才能持续提升性能。

过去，真实网络数据一直是现代 AI 训练的基础，但高质量网络数据是有限的。众所周知，Elon Musk 曾表示AI 公司已经耗尽了训练数据并且已“用尽”可用于模型训练的人类知识总量。

此外，网络数据的重复程度越来越高，采集、清洗和法律审核的成本也越来越高。这也凸显了选择网络数据集提供商的重要性，这些提供商能够交付针对 AI 优化、定期更新且符合隐私要求的数据集。

这些压力正在加速业界对替代数据源的关注，尤其是合成数据。Gartner 预测，到 2030 年，合成数据在 AI 模型训练中的使用量有望超过现实世界数据。该公司认为，这一转变源于更严格的隐私要求、现实世界数据短缺，以及组织希望寻找能够降低法律与合规风险的低成本替代方案。

与此同时，这一预测应被视为一种估计，而非必然结果。互联网仍在持续生成海量内容每天约有 4.02 亿 TB 的网络数据被创建！

作为对比GPT-3 在过滤前使用了大约 45 TB 的原始文本进行训练。这一对比表明，网络规模的人类生成数据依然极其庞大，并且与 AI 训练高度相关。

因此，AI 训练的未来不太可能完全依赖合成数据。相反，许多机器学习专家预计混合方法将成为主流，我们将在本文后面探讨这一主题。

合成数据与真实网络数据：比较两种数据范式

在接下来的章节中，你将了解什么是合成数据和真实网络数据、它们各自能提供什么，以及它们在 AI 模型训练的多个方面有何差异。我们将先从更容易理解的真实网络数据开始，然后再介绍合成数据。

如需立即查看整体对比，请参考下面的合成数据与真实网络数据对比表：

现在，是时候深入了解塑造现代 AI 训练的两种核心数据范式了！

探索真实网络数据的世界

在这里，我们将介绍有关使用真实网络数据训练 AI 模型的一切重要知识。

什么是网络数据？

网络数据是从网页和其他公开网络来源采集的信息，主要通过网页抓取获得。它包括文本、图像、代码、元数据和文档（例如 PDF）等非结构化内容，以及 JSON 和 XML 等半结构化数据。

网络数据的类型

网络数据可以分为许多类别。不过，从宏观层面来看，尤其是在 AI 场景中，将其区分为以下两种主要类型会更有帮助：

• 历史网络数据：通常通过网页抓取流程采集，随后经过清洗、增强、去重，并汇总成 CSV、JSON 和 Parquet 等格式的结构化数据集。这些数据集用于模型预训练和微调。
• 实时网络数据：通过抓取或 API 从网页实时检索。它反映了互联网上最新的可用信息，因此特别适合为 AI 回答提供事实依据，也适用于RAG 系统因为在这些系统中，数据时效性和事实准确性至关重要。

这两种形式的网络数据在现代 AI 系统中发挥着互补作用。

如何获取网络数据

要获取用于 AI/ML 训练的网络数据，你需要一套可扩展的网页爬虫流程。自行构建这套流程需要深厚的工程专业能力。

这涉及应对各种反抓取挑战例如 IP 封锁、验证码破解和速率限制。此外，还需要强大的数据工程能力来完成清洗、去重和标准化。因此，企业更倾向于依赖专门的网络数据平台，例如 Bright Data。

Bright Data 提供从网络数据采集到交付的端到端生态系统。其突出优势是覆盖 195 个国家/地区、拥有超过 4 亿个 IP 的住宅代理网络可支持高度可扩展的并发网络数据采集。这套企业级基础设施还符合 GDPR、CCPA 以及其他隐私和安全标准。

Bright Data 提供的网络数据产品包括：

• 网络数据市场：包含 350 多个即用型数据集，覆盖 250 多个领域，包括 Reddit、Amazon、LinkedIn、Yahoo Finance 等众多平台。这些数据集涵盖超过 17 PB 的网络数据，并针对 ML 训练和 AI 应用进行了优化。数据可通过云端交付和其他分发方式，以 JSON、CSV 和 Parquet 等多种格式提供。
• 网页抓取产品：一套基于 API 的实时网络数据提取解决方案：

– 网络解锁器 API：绕过封锁和 CAPTCHA，确保可以访问任何网页上的数据。

– 搜索引擎 API：提供来自 Google、Bing、Yandex 等搜索引擎的结构化实时搜索结果。

– 抓取 API：执行可扩展的网站爬取和结构化数据提取。

– 爬虫 API：覆盖 120 多个网站，可直接从热门域名提取结构化数据。

Bright Data 还提供托管服务实现交钥匙式数据获取。这使组织能够专注于模型开发，而不是数据工程。

进入合成数据领域

在本章中，你将探索如何将合成数据用于 AI/ML 模型训练。

什么是合成数据？

合成数据是人工生成的信息，用于复制现实世界数据的统计模式和特征。它并非从真实事件中采集，而是通过人工方式生成。

合成数据的类型

合成数据可以按以下方式分类：

• 按组成和隐私级别分类：

– 完全合成：使用在真实数据上训练的机器学习模型完全从零开始生成。由于不包含任何原始数据点，因此能提供最高级别的隐私保护。

– 部分合成：基于现有真实数据集，仅将敏感属性（例如姓名、地址或社会保障号码）替换为人工值。这既能保留特定的数据趋势，又能对 PII 进行匿名化处理。

– 混合：将真实的匿名化记录与人工生成的记录混合。这种方法通常用于对数据集进行“上采样”或扩充，即通过人工方式创建罕见事件（例如向银行数据集中添加合成欺诈记录）。

• 按数据结构分类：

– 结构化数据：以表格形式呈现、组织严密的定量数据。

– 非结构化数据：定性或以媒体为主的数据格式，包括合成文本、人工生成的图像、视频和音频。

如何生成合成数据

从宏观层面看，合成数据主要可通过以下三种方式生成：

• 完全由 AI 生成：使用 GAN（生成对抗网络）、VAE（变分自编码器）或 LLM 等模型创建。这些系统学习真实数据集的底层分布，然后生成与原始数据相似但不直接复制原始内容的全新样本。
• 基于规则生成：使用预定义的人工编写规则、约束条件或业务逻辑生成数据。这可以确保严格的一致性、结构正确性和可控行为，因此适用于要求输出可预测的系统。
• 仿真或模拟数据：通过物理或行为仿真生成。这种方式常用于自动驾驶或机器人等环境，其中数字孪生和物理引擎可以创建逼真的“假设”场景。

合成数据与真实网络数据对 AI/ML 模型训练的影响

现在，让我们比较多个方面，以了解使用合成数据与真实网络数据进行 AI 训练所产生的影响。

数据分布与真实性

网络数据非常接近自然数据分布。它捕捉了现实世界中人类语言和行为固有的复杂性。这带来了多项重要优势，包括特征之间的自然相关性、真实的边缘案例、多样化的语言风格，以及人类错误、歧义和不一致等真实噪声。

然而，现实世界网络数据本身也很混乱。它通常不均衡、重复，并且难以进行大规模整理，还可能包含低质量或垃圾内容，需要经过大量过滤。

相比之下，合成数据代表一种受控分布。它经过有意设计和生成，使从业者能够精确塑造数据集的属性。这有助于实现均衡的类别分布、对特定场景的针对性覆盖、罕见事件生成和结构化课程学习。

与此同时，合成数据也会带来重要风险，包括分布偏移、不真实的伪影、模式坍塌，以及生成器约束过强时出现的过度正则化。

重要提示：与此相关的一个核心机器学习概念是“合成到真实的差距”，它类似于机器人领域中的“仿真到真实”问题。大量使用合成数据训练的模型在处理真实输入时可能表现不佳，因为生成的数据分布无法与现实完全匹配。

长尾覆盖

真实网络数据天然包含广泛的知识，其中包括由人类活动自然产生的冷门事实、罕见事件和意外边缘案例。然而，这些长尾样本本身非常稀疏。根据定义，罕见事件出现频率较低，导致模型在训练期间难以从中学习到稳健的模式。

另一方面，你可以使用合成数据显式生成罕见或代表性不足的场景。这样，你就可以针对数据集中的特定缺口，在真实数据不足之处改善覆盖范围。相关示例包括罕见的代码错误和低资源语言。

使用合成数据实现长尾覆盖的一项主要优势，是能够对罕见事件进行过采样。这有助于减少类别不均衡，并提升模型在低频但重要案例上的表现。不过，如果人为过度增加罕见场景的占比，模型学习到的先验概率可能会失真。

例如，如果在合成数据中对网络安全漏洞利用案例进行大量过采样，模型可能会开始高估这些案例在现实场景中的发生概率。因此，必须谨慎校准，以确保合成长尾数据生成能够提升覆盖范围，同时不会引入不真实的分布。

成本与隐私考量

如前所述，企业很少自行构建网页抓取和数据集基础设施。相反，它们依赖 Bright Data 等第三方数据提供商，由这些提供商处理爬取、解除封锁、清洗和交付工作。这从根本上改变了数据获取的成本结构和隐私权衡。

下面简要介绍 Bright Data 用于网络数据采集的定价模式：

Bright Data 还提供数据标注服务帮助组织进一步减少对内部数据工程的依赖。重要的是，其数据符合隐私框架，有助于降低法律和监管风险。

如果没有此类网络数据提供商，你就必须在内部处理基础设施开发、持续维护，以及围绕 PII、受版权保护材料和敏感行为数据的复杂治理工作。

对于合成数据，主要成本来自推理算力，以及对教师模型或 API 的访问。从隐私角度来看，人工生成的数据具有内在优势。由于它是生成的，而非从真实个人处采集，因此合成数据自然避免了个人身份信息泄露的风险。

究竟应该选择合成数据还是真实网络数据，取决于质量要求、规模、隐私限制和目标用例。根据这些因素，任一方法都可能比另一种更具成本效益，也可能成本更高。

数据质量因素

网络数据通常只能提供弱监督。模型从下一个 token 预测、元数据和人类生成内容等自然出现的信号中学习。问题在于，真实数据噪声较多，可能包含错误信息、相互矛盾的内容、垃圾信息、带偏见的观点和不一致的格式。

相比之下，合成数据可以更好地控制质量和监督。它可以提供格式完全正确的标签、结构化输出、分步推理和自动验证的示例。例如，合成数据集可以包含经过数学验证的答案，或通过单元测试验证的代码片段。这可以提升一致性，并让针对性训练更加容易。

合成数据的主要风险是，其质量从根本上受限于生成模型、算法或底层方法的质量。生成的幻觉或事实错误可能会传播至最终数据集，导致模型学习到看似可信却实际错误的模式。同样，生成系统中存在的隐藏偏差也可能被下游模型继承。积极的一面是，合成数据支持更强的对齐和安全调优。

泛化能力与稳健性

机器学习中最重要的问题之一，是模型在未见过的输入上能够实现多好的泛化。换句话说，在分布发生偏移时，哪种数据源能够带来更好的稳健性：现实世界网络数据还是合成数据？

网络数据通常能实现较强的稳健性，因为它反映了自然发生的人类行为、语言和噪声。这可以改善模型在分布外输入上的表现，并增强领域迁移能力，尤其是在模型部署于不可预测环境时。

相比之下，合成数据更适合针对性优化。它让你能够针对特定技能、边缘案例或罕见场景精确设计训练样本。

使用合成数据或真实网络数据训练 AI 时的关键考量

了解合成数据与网络数据之间的差异后，你就可以进一步了解在 AI 模型训练中使用每种方法的实际影响。

数据训练流程

使用网络数据时，流程通常包括以下步骤：

1. 爬取：使用大规模抓取系统或自定义网页爬虫从多个域名的网站采集原始数据。
2. 去重：移除重复或近似重复的内容，以减少冗余，并提升数据集的多样性和效率。
3. 语言检测：识别每个样本的语言，并根据目标语言要求过滤或细分数据集。
4. 质量评分：使用启发式方法或模型评估内容并进行排序，以过滤低质量或不相关的信息。
5. 有害内容过滤：检测并移除有害、不安全或不适当的内容，以确保训练安全性和合规性。
6. PII 移除与去污染：移除个人身份信息，并消除来自敏感或不需要来源的数据污染。

对于合成数据流程，其步骤更侧重于生成：

1. 提示词生成：设计提示词或模板，定义合成数据创建的结构、任务或场景。
2. 模型采样：使用 LLM、GAN 或其他系统等生成式模型生成候选输出。
3. 验证：使用自动化检查、规则或外部工具验证输出，以确保正确性和一致性。
4. 过滤：移除不符合预定义标准的低质量、不一致或包含幻觉的样本。
5. 奖励评分：分配质量或偏好分数，以便对最佳合成样本进行排序和选择。
6. 迭代优化：通过反复进行生成、过滤和重新采样来提升数据质量从而增强稳健性。

可以看出，真实网络数据流程侧重于清洗带有噪声的现实世界输入，而合成数据流程更注重控制和验证生成的输出。最后，在生成训练数据集之后，你就可以继续训练 AI 模型。

性能对比

最后一个问题是：合成数据能否胜过现实世界网络数据？

最近一篇关于需求工程 AI（AI4RE）的论文指出，当真实数据稀缺或难以获取时，LLM 生成的数据集可以成为强有力的替代方案。实证结果表明，仅使用合成数据训练的模型可能优于仅使用人工编写数据集训练的模型。具体而言，与仅使用真实数据的基准相比，精确率最高提升了 37%，召回率最高提升了 30%。

不过，这并不是一个非此即彼的绝对结论。现有证据并不表明合成数据应该完全取代真实数据，而是说明混合方法通常能实现最佳性能。继续了解详情！

合成数据 + 现实世界网络数据：为什么混合方法效果最佳

围绕合成数据与现实世界网络数据的讨论已不再是二选一，而是如何将二者结合。

近期证据表明，与仅使用现实世界网络数据相比，结合合成数据和真实数据的混合配置可使精确率最高提升 85%，召回率提升一倍。

与此同时，多项研究和行业报告指出，简单地混合合成样本与真实样本实际上可能会降低性能，原因包括分布不匹配、冗余或偏差放大。这清楚地表明，性能提升取决于精心设计数据集，而不是简单堆积数据。

一个关键的开放性问题是合成数据与真实数据之间的最佳比例。对此并不存在通用答案。一些从业者采用帕累托式的 80/20 比例（以真实数据为主，使用合成数据增强），另一些人则会根据任务复杂度、领域风险和数据可用性，选择 60/40 等更均衡的比例。

同样，合成数据在流程中的位置也很重要。行业实践通常采用分阶段策略：先使用大量合成数据进行预训练以扩大覆盖范围，再使用真实数据进行微调，以提供现实依据并完成评估。

归根结底，混合流程之所以效果最佳，是因为它结合了互补优势。合成数据提供规模和边缘案例覆盖能力，而真实网络数据则确保保真度、真实性，以及在生产环境中进行可靠评估的能力。

真实网络数据与合成数据：优缺点

下面总结这两种数据范式的优点和缺点。

真实网络数据

👍 优点：

• 捕捉真实的现实世界模式和噪声
• 为评估和验证提供可靠的基准
• 降低合成偏差或伪影的风险

👎 缺点：

• 采集和标注既昂贵又耗时
• 可能受到隐私和监管限制
• 可能不均衡或不完整

合成数据

👍 优点：

• 高度可扩展且生成速度快
• 可以模拟罕见事件和边缘案例
• 支持隐私保护型训练流程

👎 缺点：

• 与现实世界数据之间可能存在领域差距
• 需要谨慎验证和质量控制
• 与真实数据相比可能缺乏多样性，导致模型对合成伪影过拟合

真实网络数据 + 合成数据

👍 优点：

• 将规模优势（合成数据）与真实性（真实数据）相结合
• 在实践中通常能实现最佳性能
• 在边缘案例和常规案例中均具有更强的稳健性

👎 缺点：

• 需要谨慎平衡和调整比例
• 混合方式不当可能导致性能下降
• 流程设计和维护更加复杂

总结

在这篇比较合成数据与真实网络数据的博文中，你了解了使用现实世界数据或人工生成数据训练 AI/ML 模型所产生的影响。与此类情况一贯相同，两者之间并不存在唯一的赢家。正确的方法取决于你的具体预算、技术能力和性能目标。

无论采用哪种设置，网络数据在 AI 模型训练中依然发挥着核心作用，无论是预训练还是最终微调。其广泛的覆盖范围和现实世界依据使其不可或缺。不过，一些公司更倾向于采用以合成数据为主的方法，主要原因是自行构建和维护网络数据检索流程非常复杂。

Bright Data 可以在这方面为你提供帮助。凭借企业级、高度可扩展且合规的基础设施，它可以提供：

• 网络数据集：350 多个包含数十亿条记录的即用型数据集，已完成采集和整理，并针对 AI 训练用例进行优化。
• 网页爬虫产品：基于 API 的解决方案，可大规模访问众多网站上的最新网络数据。

此外，Bright Data 还提供数据标注服务为 NLP、计算机视觉和语音识别用例提供可扩展、准确且可定制的标注解决方案。

探索所有适用于 AI 的 Bright Data 解决方案！

免费创建 Bright Data 账户，探索我们的网络数据解决方案！