视频注释与图像注释有何不同
图像注释对独立样本进行操作。视频注释对时间序列进行操作，其中每个帧都以其周围的帧为条件。每秒 30 帧的 60 秒剪辑包含 1,800 个单独的帧。一般情况下，一小时的驾驶镜头会产生 108,000 个帧，每个帧可能包含数十个需要跟踪、标记的对象，并在遮挡、光照变化和视点移动时保持身份一致。
独立注释每个帧的成本极高，而且在结构上是错误的：它忽略了时间关系，并生成逐帧变化的注释，从而教会模型预测噪声而不是现实。可防御的模式是带有插值校正的关键帧注释：注释器以有意义的间隔标记关键帧，工具通过插值或预训练模型生成中间标签，注释器仅纠正自动化失败的情况。
最关键且经常违反的要求是时间一致性。第 1 帧中标记为“Car_ID_042”的对象必须在它出现的每个后续帧中携带相同的标识符，包括它被部分遮挡、离开并重新进入帧或短暂与另一个对象视觉合并的帧。身份交换（跟踪器在遮挡后重新分配错误的 ID）是视频数据集中静默训练数据错误的主要来源，也是单帧审核最常遗漏的故障模式之一。
对象跟踪和身份持久性
每个唯一的对象实例都会在第一次出现时接收分配的持久 ID，并在其出现的每一帧中进行跟踪。注释器负责处理自动化经常出错的四类困难事件：遮挡（一个对象暂时隐藏在另一个对象后面）、重新进入（一个对象离开帧并返回）、合并/分割事件（从相机的角度来看，两个对象似乎合并，但仍然是单独的实体）和类切换（跟踪对象的可见外观变化足以使模型将其视为不同的类）。
捕获身份失败的 QA 工件是按轨道审核：审核不是审核随机帧，而是对剪辑中的完整对象轨道进行采样，并验证 ID 在轨道包含的每个事件中保持一致。在相同的成本下，每轨审计比随机帧审计产生更高的错误检测率，因为视频跟踪特有的故障模式是连续的而不是独立的。
对于多摄像头或多传感器管道（自动驾驶传感器融合、多摄像头监控、多视图手术视频），身份持久性跨越传感器和时间。帧 1 中摄像机 A 和帧 5 中摄像机 B 检测到的车辆必须在两个摄像机之间携带相同的 ID。模式和工具必须从第一天起就支持跨传感器身份——在数据集部分注释后对其进行改造比预先构建它要昂贵得多。
3D 边界框和深度感知注释
自动驾驶感知堆栈需要 3D 空间理解，而不仅仅是 2D 图像坐标。 3D 边界框注释使用由其中心位置（世界坐标中的 x、y、z）、尺寸（长度、宽度、高度）、方向角度和类别定义的 3D 框来标记每个车辆、行人、骑自行车者和障碍物。该注释使模型能够推理物理空间（而不仅仅是像素空间）中的距离、速度、轨迹和碰撞风险。
视频中的 3D 注释比 2D 注释要困难得多。注释者必须在没有直接深度地面实况的情况下推理深度（除非 LiDAR 被融合到注释工具中），并且 3D 框必须在跨帧时保持物理合理性 - 汽车不会突然变高，行人也不会侧向传送。防御模式将相机注释与 LiDAR 或雷达（如果可用）融合在一起，并应用时间平滑度审核来标记与现实对象运动学不一致的 3D 框跳跃。
特别是对于自动驾驶程序，标准做法是注释移动物体（车辆、行人、骑自行车者、动物）的 3D 边界框和静态场景元素（路面、人行道、建筑物、植被）的语义分割。该组合产生的数据集可以针对相同的底层源视频训练检测模型和场景理解模型。
动作识别和时间分割
对于需要了解对象正在做什么而不仅仅是它们在哪里的模型，动作识别注释会使用动作类来标记时间段：“vehicle_turning_left”、“pedestrian_crossing”、“cyclist_braking”、“hand_waving”、“person_walking”。注释器以帧级精度标记每个动作的开始和结束帧，并且模式必须处理重叠动作的常见情况 - 人可以同时行走和说话，车辆可以同时转弯和制动。
动作分割注释是最主观的视频注释任务之一。 “接近人行横道”和“开始穿过人行横道”之间的界限取决于注释者的解释，并且 IAA 往往低于更具体的对象检测任务。可防御程序的目标是动作段边界上的时间 IoU > 0.7 和动作类分配上的 ≥ 0.85，并针对最常见的边界模糊情况提供明确的指导规则。
对于运动分析、手术视频和行为监测程序，动作识别注释通常与关键点跟踪（人体关节、手术器械尖端、解剖标志）相结合。组合注释支持细粒度的动作模型，该模型可以推断身体正在做什么以及哪些身体部位正在做这些事情。
车道和道路特征注释
自动驾驶数据集需要对道路结构进行详细注释，而不仅仅是道路上的移动物体。标准模式包括车道线（实线、虚线、双黄线、单白线、虚线）、道路边缘和路缘石、人行横道、停车线、让行线、人行横道线、可行驶区域分割和交通标志及其语义内容（停车标志、限速值、让行、禁止进入）。
主要的运营挑战是条件覆盖。在阳光明媚的白天素材上进行的车道注释无法清晰地转移到夜间、雨、雾、雪或低阳光眩光条件下。一个可防御的数据集需要明确的每个条件注释传递，并且模式和指南承认可见性差异。源视频中的条件不平衡是一个需要管理的单独维度——不成比例地从阳光明媚的白天镜头中提取的数据集生成的模型在源视频未充分代表的条件下失败。
对于针对特定区域市场的 ADAS 项目，注释必须捕获特定区域的道路惯例：亚太地区右侧驾驶与欧盟左侧驾驶车道惯例、区域人行横道样式、特定国家/地区的交通标志词汇以及西方训练模型本身无法处理的混合车辆交通（越南和泰国的摩托车、印度和柬埔寨的嘟嘟车和三轮车）的操作现实。
规模挑战
领先的自动驾驶汽车项目已累计注释了整个行业数万小时的驾驶镜头。保守估计，每小时完整标记的视频（涵盖 2D 跟踪、3D 边界框、车道和道路特征以及基本动作分割）注释者工作量为 4-8 小时，历史行业总数约为 200,000 多个注释工作时间。处于领先地位的制作项目每周交付数十至数百小时的新注释镜头，并在多年的运营窗口中持续运行。
管理如此规模的视频注释需要三个操作规程，将防御性程序与研究玩具区分开来。高度结构化的工作流程工具，通过模型辅助预标记支持关键帧和插值模式。注释团队可以跨地域并行操作，而不会在并行团队之间出现身份跟踪不一致的情况。专门为视频故障模式构建的 QA 基础设施——时间平滑性、每轨审核、条件覆盖报告——而不是通用的图像注释 QA 工具。
视频标注质量保证
将生产级视频数据集与研究玩具区分开来的 QA 规则是专门围绕视频故障模式构建的：
- 每个轨道一致性审核：跨剪辑的完整对象轨道随机采样，通过每个遮挡、重新进入和合并事件验证 ID 一致性。最重要的视频特定 QA 制品，而一种通用的图像 QA 工具无法重现。
- 帧级 IoU：根据黄金面板地面实况测量每帧的注释准确性。一般工作的目标 IoU > 0.85，对于安全关键的自动驾驶项目，目标 IoU > 0.90。
- 时间平滑度检查：检测相邻帧之间边界框位置、尺寸或 3D 方向的突然跳跃，这些跳跃对于底层对象来说在物理上是不可信的。捕获帧级审计遗漏的插值失败和身份交换。
- 动作段边界审查：针对黄金面板的每个动作时间 IoU，并单独报告类别分配与边界精度。主观行动边界应产生明确的 IAA 报告。
- 条件覆盖报告：白天、夜晚、雨、雾、雪、低日照条件下注释镜头的百分比。覆盖范围差距本身就是质量信号——95% 晴天镜头的数据集生成的模型在天气变化时会失败。
- 跨相机和跨传感器一致性：对于多相机或传感器融合管道，在同一时间戳跨传感器进行每个事件的一致性审核。
与专业视频注释团队合作
视频注释需要注释者了解该领域，而不仅仅是注释机制。深度差异在注释者正确识别和处理的边缘情况类型中表现得最为明显。
- 汽车视频注释受益于熟悉交通规则、车辆动力学和区域驾驶惯例的注释者。亚太地区项目特别需要熟悉高摩托车密度混合车辆交通的注释者，这种交通的行为与西方高速公路主导的交通非常不同。
- 手术和临床视频注释需要医疗培训。识别手术器械、通过遮挡追踪它们以及分割解剖结构需要与医学成像注释相同的临床素养。
- 体育分析注释受益于了解所分析运动的注释者。识别足球中铲球和犯规之间区别的模型需要已经能够区分这种区别的人进行注释。
- 安全和监控视频注释通常需要具有信任和安全或 BPO 内容审核经验的注释者 - 工作在操作上类似，但模式不同。
- 制造和检测视频注释需要具有工业检测背景的注释者，通常是来自相关行业的前质量保证技术人员。通用注释者会系统性地忽略经验丰富的检查员发现的细微缺陷。
常见问题
自主系统和感知人工智能团队在确定视频注释项目范围时提出的常见问题：
- 使用模型辅助插值的视频注释比完全手动插值快多少？在基线跟踪器能够胜任的任务（高速公路驾驶、有限遮挡的室内监控）上，速度提高了大约 5-10 倍。在较困难的任务（频繁遮挡的密集城市场景、视角快速变化的手术视频）上，加速率压缩至 2-3 倍，因为注释者花费更多时间来纠正插值错误。
- 视频注释的正确关键帧间隔是多少？取决于任务。快速移动物体的自动驾驶通常使用 5-10 帧间隔（30fps 时每秒大约 6 个关键帧）；较慢的室内监控可以使用 15-30 帧间隔。该间隔根据最快对象类的速度和模型对时间精度的敏感性进行校准。
- 如何评估视频注释供应商？运行 10-30 分钟的付费试播视频，涵盖生产模型将遇到的情况。每个轨道的审核通过率、时间平滑度报告和每个条件的 IoU 是跨供应商的可比较的工件。仅报告单个剪辑的标题准确性的供应商没有运行可靠的视频质量保证计划。
- 合成视频可以替代现实世界的视频注释吗？部分是针对现实世界中难以获取的条件或事件（罕见但关键的安全场景、特定的天气条件、定义的轨迹测试用例）。结构限制是合成视频继承了模拟器的假设，并且验证这些假设仍然需要真实世界的带注释的参考数据。真实和合成的混合管道以及真实子集的质量记录是经过监管机构审查的模式。
- 一级视频标注团队可以承受的吞吐量是多少？成熟的团队通常每周维持 50-200 小时的完全标记的生产输出，具体取决于模式复杂性和团队规模。在更简单的模式上可以实现更高的吞吐量；吞吐量较低是复杂的 3D 加动作识别程序的实际操作情况。
