为什么人形训练数据是一个独特的问题
人形机器人训练数据不是通用机器人训练数据的专门子集 - 它是一个具有不同收集要求、注释模式和供应商能力需求的独特问题。使用为操纵臂程序或移动机器人导航程序开发的标准来获取人形训练数据的团队始终会遇到训练流程后期出现的不匹配问题。
区别因素是全身协调性和体现特异性。学习在行走时搬运物体的人形机器人需要进行训练演示,以捕获全身协调性 - 上半身如何补偿下半身的动态,运动过程中目光和手臂位置如何协调。这不能从手臂操纵数据或移动导航数据中提取并合成。它需要用捕获相关协调信号的传感器收集全身演示。
第二个区别因素是遵循指令。大多数生产类人程序都以语言条件策略为目标——机器人遵循自然语言任务描述,而不是执行固定的运动原语。语言调节策略的训练数据必须将演示与与策略的调节架构相匹配的模式中的语言注释配对。该注释要求增加了数据管道每个阶段的复杂性。
人形程序所需的数据格式
人形机器人训练数据有三种主要格式,每种格式都有不同的收集和注释要求。您的计划对每个项目的相对权重取决于您的目标政策架构。
遥操作演示数据是灵巧操作的最高信号格式。训练有素的操作员使用远程操作平台(ALOHA、UMI 或全身系统,如Figure AI 和 1X 使用的设置)来执行目标任务,同时机器人的机载传感器记录演示。遥操作数据的标注任务相对较轻:任务完成标签、子目标分割、自然语言指令配对。收集挑战是操作员的质量和一致性。
以自我为中心的视频和真人演示是一种可扩展的格式,可用于构建更广泛的分发覆盖范围。佩戴头戴式或可穿戴式摄像机的操作员执行目标任务,同时记录第一人称视频和传感器数据。这种格式可以扩展到大型参与者池和多样化的环境,但需要更多的注释投资才能从视频流中提取动作标签。
第三人称和外心视频提供了第一人称镜头无法提供的场景背景:物体位置、环境布局以及机器人动作与场景之间的关系。对于双手和全身程序,配对的自我-外显数据(同时第一人称和第三人称捕捉)提供了最丰富的训练信号。
人形训练数据的标注要求
正确注释人形训练数据在技术上要求很高,而一般视频注释则不然。对策略训练重要的注释任务包括亚秒粒度的动作分割、通过完整任务序列进行的对象和接触状态跟踪、自然语言指令与任务变化语义覆盖的配对,以及用于从正面和负面演示中学习的成功/失败标记。
人形操纵的动作分割是判断力最高的注释任务。精心设计的动作段边界以与任务的功能结构相一致的方式区分触及的终点和抓握的开始,而不仅仅是视觉过渡。不理解操作上下文的注释者始终会产生与任务结构不相符的边界决策,产生的训练数据使学习的策略对操作任务的阶段结构不敏感。
自然语言指令配对需要理解语义覆盖范围的注释者。如果数据集不包含“从桌子左侧拿起蓝色杯子”和“递给我饮料”等变体,则仅描述为“拿起杯子”的任务覆盖率很差。指令配对中的覆盖范围差距产生了狭隘地概括为训练集中的特定语言模式的策略。
- 动作分段 - 与任务阶段结构一致的亚秒级边界决策
- 对象和接触状态跟踪 - 通过完整的操作序列
- 自然语言指令配对——任务变化的语义覆盖
- 成功/失败标签 - 包括险些失败和优雅的失败演示
- 凝视和注意力注释 - 用于以注意力信号为条件的模型
- 本体感受数据验证 - 联合状态和力/扭矩数据完整性检查
以自我为中心的全身传感器配置
人形训练数据程序需要能够捕获完整协调信号的传感器配置。对于全身程序,这通常意味着以自我为中心的头戴式摄像头(提供机器人的视角)、腕式摄像头(提供手部物体交互细节)、与 RGB 同步的深度传感器、用于方向和加速度的 IMU 数据,以及用于远程操作程序的本体感受关节状态和力/扭矩传感器记录。
该传感器包的同步要求是硬件级别的,而不是软件级别的。如果深度、IMU 和本体感受数据未在硬件时间戳级别锁定到 RGB 视频,则生成的多模态数据集包含同步漂移,从而破坏学习的状态-动作关系。对于动作表示取决于视觉观察和本体感受状态之间的相关性的程序,同步错误会产生训练噪声,从而降低策略泛化能力。
无法详细描述其硬件级同步架构的供应商还没有准备好运行多模式人形训练数据程序。要问的问题是:您测量的跨模式同步误差是多少,以及如何在每次录制会话后验证它?引用软件级时间戳而不是硬件锁定信号的答案表明同步架构无法满足生产要求。
企业项目在人形训练数据上花费了多少
由于硬件要求、操作员培训投资和注释复杂性,人形机器人训练数据是最昂贵的训练数据类别之一。托管程序质量的远程操作演示数据在注释之前捕获的镜头通常每小时花费 300-600 美元。多模式以自我为中心的项目每小时收费 200-400 美元。第三人称和外心程序运行每小时 80-200 美元。
对于上述注释任务,集合顶部的注释每秒会增加 0.10-0.30 美元的视频费用。具有完整注释(动作分段、指令配对、成功标签)的 1,000 小时远程操作数据集代表了一个在交付工程成本之前价值 800,000 至 1,200,000 美元的数据程序。
这些数字与领先的人形机器人项目在充分考虑成本后的内部支出是一致的。仅对硬件进行预算而不包括操作员培训、QA 和注释的团队始终低估了总数据计划成本 40-60%。
DataX Power - 人形和具体人工智能数据程序
DataX Power 运营托管人形机器人训练数据收集和注释程序,为企业团队构建操作策略、VLA 模型和全身协调系统。项目涵盖以自我为中心的可穿戴相机采集、多传感器同步、远程操作会话记录以及由接受过机器人技术培训、了解操作任务结构的工程师进行的注释。
亚太地区的交付模式在与东南亚部署环境相匹配的环境中提供收集 - 越南、泰国、新加坡和马来西亚的仓库、制造、服务环境。同一合同的项目范围从 100 小时的试点项目到 50,000 小时的生产项目。经验证,RGB、深度和 IMU 通道的传感器融合同步误差均低于 5 毫秒。
具体而言,对于注释,DataX Power 提供经过领域训练的注释者,他们了解操作演示的任务阶段结构,而不是对他们不理解的视频应用视觉启发式的一般标记者。区别很重要:操纵动作边界是功能性的,而不是视觉性的,并且没有领域理解的注释者会产生与策略培训要求不符的边界决策。
选择人形训练数据的供应商
供应商对人形训练数据的评估需要超出标准数据服务 RFP 的问题。具体询问:您是否运行过人形机器人或全身机器人训练程序?您操作过哪些远程操作平台?如何根据任务阶段结构验证行动分段边界决策?你们的语言指令配对覆盖协议是什么?
无法详细回答这些问题的供应商就没有以生产质量运行人形训练数据程序。一般机器人数据经验不足以满足人形机器人的特定要求;实施例的特殊性和注释的复杂性需要真正的先前经验。


