每个数据主管都面临的压力
合成数据已从研究好奇心转变为主流生产流程。过去几年发布的行业预测表明，企业人工智能培训中合成数据的份额将从 2021 年的约 1% 增长到 2021 年占数据集量的大部分。无论今天的确切份额如何，方向都是明确的：合成生成现在是与人工注释并驾齐驱的一流数据源策略，而不是利基替代方案。
反压力同样持久。以数据为中心的人工智能运动一再证明，标签质量（而不是模型架构、计算、数据集大小）是生产性能的通常上限。目前，标签质量仍然在很大程度上依赖于人类的判断、文化背景或监管负担无法减少到生成器的类别。
结果是每个企业人工智能程序中都存在一个真正的战略问题：对于任何给定的数据集，团队应该生成、注释还是两者兼而有之？诚实的答案是，这取决于正在训练的内容、运行的位置、系统可以容忍的故障模式以及适用的审计或监管机构审查。下面的框架详细介绍了操作细节中的依赖关系。
合成数据获胜的地方
当问题受到物理限制、收集边缘情况很少或很危险、注释所需的数据量过于昂贵或数据隐私环境阻止真实数据大规模共享时，合成数据就会发挥作用。
- 自主系统和机器人技术。基于物理的模拟器产生的“体验”比现实世界中为其人类标记的同行提供的舰队多出许多数量级。天气条件、切入场景、行人冲出以及其他安全关键事件在生产数据中在统计上很少见，但在模拟中可以随意重现。
- 隐私受限的域。医疗保健和金融服务通常无法跨境或跨组织共享真实记录。综合患者记录、综合交易流和综合 KYC 文档示例让 ML 团队可以进行训练、测试和基准测试，而无需触发 GDPR、HIPAA、PDPA 或跨境传输审核。
- 不平衡类增强。当正面例子在结构上很少见（欺诈、设备故障、罕见疾病、安全事件）时，通过 GAN、扩散模型或程序化标签生成可信的合成正面样本可以提高生产中的召回率，而人类收集需要数年时间才能积累同等数量。
- 安全关键的红队。用于安全评估的即时注入语料库、对抗性图像、越狱尝试和对抗性输入系列通常只能通过有意的合成生成获得有意义的数量。已部署的法学硕士和视觉系统的生产安全管道在很大程度上依赖于综合生成的压力测试。
- 预训练和热启动。对于最终将在较小的现实世界数据集上进行微调的模型，合成预训练始终是比扩展真实数据标记预算更便宜的热启动。该比率取决于领域——计算机视觉比 NLP 受益更多——但该模式成立。
- 文档、培训和演示数据。用于入职、内部培训、演示和管道测试的数据集很少需要现实世界的基本事实。合成数据更快、更便宜，并且避免了将生产数据用于这些相邻目的的隐私问题。
人工注释仍然获胜的地方
当任务需要判断、输出必须在法庭或诊所中保持不变、分布漂移速度快于模拟器建模速度或无法可靠生成语言和文化细节时，人机循环注释仍然是锚点。
- 主观或基于文化的标签。内容审核、情绪、毒性、对话数据的意图和法律分类无法在还原为确定性规则后继续存在。根据昨天的数据训练的合成生成器系统地巩固了昨天的盲点，并错过了当前生产流量中的语言和文化创新。
- 受监管和安全关键领域。放射学、病理学、临床决策支持、监管机构审查下的自动驾驶感知、金融欺诈检测模型审计，以及监管机构或审计机构会询问谁标记了什么的更广泛的工作类别——这些仍然需要人类的基本事实和明确的注释者归因审计追踪。
- 长尾和漂移检测。真实用户的行为方式是模拟器没有预料到的。当生产分布偏离模型最初训练的合成分布时，对生产流量的滚动样本进行人工标记是防止无声性能衰退的最便宜的保险。
- 资源匮乏的语言和文字。除了英语、普通话、日语和少数高资源语言之外，合成文本的质量会急剧下降。在亚太地区（泰语、越南语、印度尼西亚语、他加禄语、高棉语、老挝语、缅甸语），有意义的质量提升始终来自于语言中的人工注释，然后任何生成器都可以在批量生产中得到信任。
- 评估和基准测试。用于衡量模型性能的参考数据集必须反映真实世界的分布，而不是模拟器的分布。即使在使用大量合成数据进行训练的程序中，评估小组也几乎总是由人工注释的，因为使用合成数据进行训练和评估会产生在内部得分良好但在生产中失败的模型。
- RLHF 和偏好数据。用于调整生产法学硕士的偏好排名需要对微妙的质量维度进行细致入微的判断。在几乎所有已发表的比较中，综合偏好数据的表现都低于人类偏好数据；对准工作本身取决于人类信号。
跨模式和领域的成本经济学
合成物和人类之间的成本比率在不同模式和领域之间存在很大差异，这就是为什么正确的组合是针对特定领域而不是通用的。
在计算机视觉中，通过扩散模型、基于物理的模拟或域随机化生成的合成图像生成的示例的边际成本比专家人工注释低 10-100 倍，特别是对于合成地面实况自动正确的对象检测和分割任务。特别是在自动驾驶感知方面，如果与捕捉同等现实世界罕见事件镜头的成本相比，成本比可能超过 1000:1。
在自然语言工作中，成本比率大幅缩小。通过 LLM 生成合成文本的成本较低，但质量差异很大，领域覆盖范围不均匀，并且故障模式（事实漂移、分布伪影、文体均匀性）比视觉故障模式更难检测。大多数生产 NLP 程序的运行比例接近 5:1 或 10:1 合成与人类的比例，许多高风险领域的运行比例接近 1:1 甚至 1:2。
在音频和多模态工作中，合成生成是一个活跃的研究领域，其成果快速改进，但仍然是特定领域的。英语和一小部分高资源语言的合成语音和合成声学事件已经成熟，但在亚太地区和低资源语言方面则明显较弱。可防御的操作模式是根据每个领域的经验验证合成到真实的转移，而不是假设已发表的研究结果具有概括性。
特定于合成数据的故障模式
合成数据并非没有风险。采用它而不对故障模式进行建模的程序通常会比坚持使用较小的人工注释数据集的程序得到更糟糕的模型。重复出现五种故障模式：
- 合成与生产之间的分配转变。模拟器捕获工程师想要建模的内容，而不是生产环境实际包含的内容。当生产分布偏离模拟器时，基于合成数据训练的模型在漂移维度上失败，而人工训练的模型继续跟踪。
- 模式崩溃和过度均匀生成。在没有显式多样性约束的情况下训练的生成模型生成的示例聚集在训练分布的高概率区域周围。经抽查，合成数据集看起来似乎合理，但缺乏生产现实中所包含的长尾多样性。
- 生成器预训练的复合偏差。用于生成合成数据的扩散模型或 LLM 继承了其自身训练数据的偏差。合成数据集将这些偏差作为“特征”，而不是将它们视为噪声，下游模型在生产中放大它们。
- 许可证和IP继承。从许可语料库派生的合成数据继承许可条款，而不是合成格式的自由度。经过商业许可摄影、受版权保护的文本或专有医学图像训练的生成器将许可义务传播到合成输出。在假设合成之前阅读细则意味着 IP-clean 是例行的部署前检查。
- 审计和可解释性差距。监管机构和模型风险审核人员可以审核人工注释程序（注释者归因、IAA 报告、黄金面板校准）。合成数据更难进行回顾性审计，因为生成过程不会产生等效的审计跟踪。对于受监管的程序，这种不对称性实质上有利于对数据集的决策边界子集进行人工注释。
混合动力通常是正确的答案
大多数成熟的企业管道都不会选择其中之一。他们使用合成数据来填充容量并覆盖罕见事件，使用人工标签将地面事实锚定在决策边界上，并使用主动学习循环将不确定的预测返回给人类以进行下一个训练周期。混合模型对整个模型生命周期的总成本（培训、评估、审计、返工、监管）进行建模，通常比任何一种纯方法更便宜、更可靠。
我们在生产人工智能程序中看到了一个实用的流程：对合成数据进行预训练或基线训练，对目标分布中的人类标签进行微调或 RLHF，通过主动学习进行监控，将不确定的预测传递给人类审阅者，并以滚动的节奏重新标记增量。合成与人类的比例在不同领域发生变化——在自动驾驶感知中可能是 1000:1，在法律文件分类中更接近 1:1——但这种模式仍然成立。
实现混合工作的操作规则是主动学习循环。如果没有它，合成数据集和人类数据集就会分开，并且在并集上训练的模型会学习拟合合成分布而不是真实分布。有了它，生产流量会不断通知合成生成提示和人工标记队列，并且数据集随着生产分布的发展而保持校准。
个别项目的决策框架
在将预算投入任一路径之前，请对六个问题进行压力测试。答案决定了特定项目的正确组合。
- 这个标签可以以物理学或正式规则为基础吗？如果是，模拟或程序化标签通常更快、更便宜。如果不是，人工标记就是锚。
- 失效模式是受管制的还是对抗性的？如果是，则假设决策边界上需要人工标签——用于审计，而不仅仅是准确性。大容量的合成数据仍然有用，但面向监管者的子集必须是人为的。
- 测试分布是否平稳？如果不是，请在扩展合成生成之前构建“人机交互”肌肉，否则分布漂移将在部署的整个生命周期中默默地消耗模型的准确性。
- 数据使用合同对衍生作品有何规定？从许可语料库派生的合成数据通常会继承许可条款。生成器预训练数据的细则是生产模型 IP 审查的一部分。
- 从经验上看，合成到真实的转换效果如何？测试一下。一个小型飞行员对单独的合成、单独的人类和混合体进行训练，然后根据保留的真实分布进行评估，产生可比较的人工制品。相信已发表的研究表明合成到真实的迁移适用于您的特定领域，这比测量它要糟糕得多。
- 整个模型生命周期的总成本是多少？纯合成计划通常在标签行项目上看起来更便宜，但在整个生命周期（漂移后返工、审计差距补救、监管延迟）上看起来更昂贵。在采用单一方法之前对总体成本进行建模是针对 12 个月内昂贵的路线修正的最便宜的保险。
常见问题
企业人工智能团队对合成与人类决策进行建模时提出的常见问题：
- 我可以完全根据合成数据训练生产模型吗？在狭窄的物理限制领域（机器人模拟、预训练热启动、特定不平衡类增强）中是可能的。对于大多数涉及面向用户的人工智能、监管决策或主观判断的企业生产用例，答案是否定的——纯合成模型在生产分布上表现不佳，并且在审计中更难以辩护。
- 如何评估合成数据是否对我的模型有帮助？运行受控比较：在大小为 N 的纯人类数据上进行训练，在大小为 10N 的纯合成数据上进行训练，在大小为 N+10N 的混合数据上进行训练。根据真实世界的分布来评估所有三个。混合动力通常会获胜；问题是多少，以及哪种特定领域的合成比例是最佳的。
- 如果添加合成生成，我还需要多少人工注释？域相关。通过精心设计的合成生成，计算机视觉程序通常可以将人工注释减少 50-80%。 NLP 项目通常会减少 20-40%。受监管的程序通常减少较少，因为决策边界子集仍然需要人类基本事实。
- 是否有专门针对合成数据的监管框架？越来越是了。 NIST AI RMF 将数据质量和可追溯性视为一流的控制措施，无论其来源如何。欧盟人工智能法案要求记录数据治理，包括来源，这适用于真实和合成的训练数据。过去几年，行业特定框架（FDA AI/ML SaMD、财务模型风险框架）一直在添加合成数据指导。
- 我应该在内部生成合成数据还是使用合成数据供应商？取决于领域和特殊性。内部生成对于团队最了解分布的特定领域用例有意义。供应商合成数据适用于通用预训练热启动或商品领域（通用对象检测、通用语言模式）。内部生成通常更容易考虑知识产权和审计问题。
