VLA 与世界模型：网络规模数据策略为何至关重要

Web Data Loft VLA 之夜活动总结。

我们邀请了来自 Agility Robotics、Tesla、Prometheus 和 Distill Labs 的工程师齐聚旧金山 Bright Data Web Data Loft，共同探讨一个问题：

要从语言模型迈向能够在现实世界中工作的机器人，究竟需要什么？

答案比炒作所暗示的更为务实。瓶颈不仅在于模型架构，还在于训练语料库：你采集什么、如何混合、数据来自哪里，以及能否以任何人工团队都无法企及的规模进行筛选和整理。

参与讨论的嘉宾包括来自 Agility Robotics 的 Sri 和 Ahmed；以个人身份发言的机器人机器学习工程师 Ankur；来自 Prometheus、曾任职于 1X 和 Waymo 的 Daniel；以及 Distill Labs 联合创始人 Jacek。本次对话由 HackerSquad 和 Builders Collective 的 Adam 主持。

如果你正在构建视觉-语言-动作模型、世界模型或其背后的数据管道，以下五点至关重要。

1. VLA 是带有动作头的 VLM，其泛化能力来自网络规模的预训练

嘉宾们给出的基本定义很简单：VLA 始于一个视觉-语言模型，该模型使用互联网规模的文本和图像数据，在图像描述、分割和对象理解等任务上进行训练。之后，你再添加动作组件，并使用机器人数据进行微调。

这一区别非常重要。机器人数据教会模型如何执行，而网络规模的预训练则教会模型认识世界。

这就是为什么 VLA 有时能拿起一个从未被明确训练过要拿起的物体。其泛化能力并非仅来自少量遥操作机器人演示，而是来自机器人真正进入训练闭环之前广泛接触的视觉和语义信息。

如果你的预训练语料库范围狭窄，那么再多昂贵的遥操作数据，也无法完全弥补你所缺失的泛化能力。

“它使用互联网规模的文本和图像数据进行训练……然后，你用机器人数据微调 VLM，就能得到视觉-语言-动作模型。它的优势在于泛化能力更强：如果你训练它拿起某个物体，也可以让它拿起另一个物体，因为它见过类似的东西。”
— Ankur机器人机器学习工程师，以个人身份发言。观看 9:59 处的内容 →

2. 视觉、语言和动作正逐渐进入同一个 token 空间

现代 VLA 在一个重要方面越来越像 LLM：它们会预测下一个 token。

这个 token 可能是一个词、一个图像块，也可能是一条关节空间控制指令。正如 Distill Labs 联合创始人 Jacek 所解释的那样，它与软件智能体之间有着直接联系。LLM 调用 API 工具，VLA 则调用物理工具。智能体框架从“调用端点”变成了“拿起杯子”，但底层模式是相似的。

这带来了深远影响：任何能够 token 化的模态，都可以成为同一训练空间的一部分。网络视频、第一视角影像、人类演示、遥操作数据和基于当前策略采集的机器人数据，都可以为共享表征贡献信息。

此时，限制因素便从“模型能否使用这些数据？”转变为“我们能否以合适的规模获取正确的样本？”

“你可以把动作空间理解为 LLM 的函数调用……这样拆解后，它与人们为非物理世界构建的系统并没有什么不同：智能体会在提供工具的智能体框架中启动子智能体。现在，这个框架变得更加实体化了。这正是它的强大之处，因为你可以依靠网络训练数据获得一个相当不错的起点。”
— JacekDistill Labs 联合创始人。观看 15:14 处的内容 →

3. VLA 和世界模型需要不同的数据，混淆二者会付出高昂代价

当晚最鲜明的观点之一，是要区分 VLA 训练与世界模型训练。

按照 Ankur 的说法，VLA 在很大程度上是一个模仿学习问题。你需要干净、成功且高质量的轨迹，而糟糕的演示可能会损害模型表现。

世界模型则不同。它需要根据某个动作预测接下来会发生什么，这意味着它不仅要理解成功结果，还必须理解错误、边缘情况和失败。如果你希望用世界模型进行规划，或将其作为强化学习的学习型模拟器，它就必须能够表征所有可能的未来。

Prometheus 工程师 Daniel 曾在 1X 负责世界模型工作。他解释了这一任务为何如此困难。许多当前的世界模型偏向成功结果。当看到一段即将失败的轨迹时，它们可能会臆想出一次恢复，而不是对错误本身进行建模。在机器人领域，这尤其危险。模型必须在最可能发生接触、抓取和失败的关键时刻，精准地接受动作控制。

核心结论是：“机器人数据”并不是一个笼统的数据类别。模仿策略和世界模型需要经过刻意设计且彼此不同的语料库。

“你真正需要的是一个动作可控性非常强的世界模型……比如抓取物体时决定成败的关键瞬间。如果这些地方出现数据缺口，那就是一个非常糟糕的信号。”
— DanielPrometheus，曾任职于 1X。观看 35:36 处的内容 →

📖 相关阅读：什么是 AI 模型训练？ · AI 幻觉详解 · 机器人数据集

4. 数据层级确实存在：网络数据提供广度，机器人数据提供控制能力

Agility Robotics 工程师 Ahmed 清晰地阐述了不同数据所提供的信号层级。

遥操作数据包含最强的控制信息，因为它涵盖了机器人的完整状态。人类演示和第一视角视频携带的直接控制信号较少，而网络视频在底层控制层面提供的信号最少。

但这并不意味着网络数据不那么重要，而是意味着它发挥着不同的作用。

网络规模的视频数据可以教会模型理解语义、上下文、任务结构、对象多样性和通用世界知识。它有助于模型理解房间、工具、人物、物体和目标在极其多样的环境中是什么样子。但它不擅长教授特定机器人机体执行特定动作时所涉及的精细物理规律。

Ankur 给出了最直观的类比：你可以看完所有关于梅西或罗纳尔多的比赛视频，对足球形成深刻理解，但如果不亲自练习，你仍然不会踢球。网络数据教会模型理解比赛，机器人本体数据则教会它如何运用身体。

同一段讨论还带来了一个实用的数据预算洞察：一小时网络数据所提供的可迁移价值，可能大致相当于五分钟遥操作数据。网络数据无法取代遥操作数据，但高质量的网络规模预训练可以减少你所需的昂贵机器人数据量。

“我们可以观看大量梅西或罗纳尔多的足球视频，但在亲自练习之前，我们还是不会真正踢球。我们通过网络数据理解任务，而要真正执行任务，则需要机器人本体数据……也许一小时网络数据相当于五分钟遥操作数据。”
— Ankur机器人机器学习工程师，以个人身份发言。观看 1:01:09 处的内容 →

5. 目前尚无可靠的扩展定律，因此数据筛选速度将成为竞争优势

对于 LLM，行业已有 Kaplan 和 Chinchilla 扩展定律。但对于 VLA 和世界模型，Daniel 直言不讳：机器人领域尚未达到这一阶段。

团队仍然无法将机器人性能作为网络 token 数量、遥操作时长、部署数据、算力或模型规模的明确函数进行可靠预测。部分原因是模仿学习与世界建模使用不同的监督信号；另一个原因则是，真正重要的指标是下游任务的成功率，而非预训练损失。

Daniel 还将其与自动驾驶汽车模拟进行了有益的对比。在自动驾驶领域，模拟通常会在发生接触时停止；而在机器人领域，接触才是复杂问题真正开始的地方。抓取、推动、滑动、形变、碰撞和恢复并非边缘情况，它们就是任务本身。

在更完善的扩展定律出现之前，优势将属于那些能够最快找到并筛选正确样本的团队，包括特定场景、任务类别、物体交互、失败案例和高接触密度的关键时刻。这不仅是模型构建方面的挑战，也是数据发现和数据管道方面的挑战。

“针对 FLOP 数量或 token 数量研究扩展定律，如今在 LLM 领域已经很常见，例如 Kaplan 等人的研究和 Chinchilla 扩展定律。但今天，我们还没有真正用这些问题来科学地比较 VLA 和世界模型……我认为答案是，我们还没有达到那个阶段，而我们确实应该朝这个方向迈进。”
— DanielPrometheus，曾任职于 1X 和 Waymo。观看 54:35 处的内容 →

📖 相关阅读：数据发现 · 最佳 AI 训练数据提供商 · LLM 训练数据