决定标注供应商风险的两个问题
大多数标注供应商评估都把精力花在每条标注的单价和作品集上。两者都重要，但都无法预测这段合作能否经受住生产环境的考验。真正能预测的，是供应商愿意书面承诺的绩效 SLA，以及他们能用证据（而非口头保证）证明的安全态势。
这两个领域恰恰也是供应商话术在追问下最经不起推敲的地方。任何供应商都会在销售电话里声称「98% 准确率」和「企业级安全」。你评估的任务，就是在合同存在之前，把这些说法转化为具体、可衡量的承诺 - 因为一旦工作开始，重新谈判 SLA 或发现安全漏洞的代价，远高于提前问对问题。
这是一份买方视角的面试脚本。它涵盖能揭示供应商是否真能在承诺的质量与节奏下交付的 SLA 问题，以及能揭示你的训练数据在他们手中是否安全的安全问题。针对每一项，我们都给出强势答案的样貌，以及应让你警惕的危险信号。请在签约前使用；这些答案将成为你谈判的条款。
如何进行评估：把每个答案落到书面
两条原则让这份清单真正奏效。第一，索取证据，而非政策。供应商描述「严谨的质检流程」什么也说明不了；供应商出示一份来自同类项目的真实标注者间一致性（IAA）报告则说明了一切。下文每个问题背后，只要能力属实，供应商都能拿出对应的证据。
第二，在评估阶段就把答案写下来，而不是事后。销售电话上的口头承诺撑不过向交付团队的交接。凡是能产出一个具体数字、阈值或具名证书的问题，才值得据以构建你的 SLA。任何供应商只肯口头承诺的事项，本身就是一个信号。
清单分为两部分：绩效 SLA（问题 1 至 5）与安全态势（问题 6 至 11）。两部分对每一个项目都重要，但应根据你的数据来权衡。公共领域的图像项目更依赖 SLA 问题；而涉及个人身份信息（PII）、医疗、金融或未发布产品数据的项目，则让安全问题成为决定性因素。
1. 你保证多少准确率，以及具体如何衡量？
这是其他所有质量条款都赖以成立的 SLA 问题，也是含糊回答隐藏风险最多的地方。没有衡量方法的数字毫无意义：以简单百分比一致性、在易分类分布上测得的「98% 准确率」，是比以对齐金标准集测得的「92% F1」更弱的保证。请越过表面数字，追问方法。
要求供应商书面明确以下全部内容：
What a strong SLA answer sounds like versus a red flag, across the five performance questions
| Question | Strong answer | Red flag |
|---|---|---|
| Accuracy metric | Per-class F1 or kappa against a refreshed gold set, per-batch floor | A single "98%" with no metric or measurement method named |
| Turnaround | Tiered TAT with a named late penalty and escalation path | "As fast as possible" or best-effort with no penalty clause |
| Rework | Free rework below the SLA floor plus a root-cause report | Rework billed as new work, or unlimited-scope disputes |
| Scale | Named ramp time and gold-panel gate for new annotators | Headline headcount only, no onboarding-to-production time |
| Reporting | Per-batch quality dashboard with disagreement clusters | A summary email at project end, no in-flight visibility |
- 指标本身：标注者间一致性（Cohen's kappa、Krippendorff's alpha）、按类别的 F1，或分割任务的像素级准确率 - 而不是笼统的「准确率」百分比。
- 基准真值：谁来构建金标准集、规模多大（通常为 200 至 1,000 条经裁定的样本），以及随着标注规范演进多久刷新一次。
- 审核抽样率：每一个生产批次中有多大比例会对照金标准集抽查（行业基线为每批 5% 至 10%）。
- 底线还是平均：目标是每批的底线，还是整个项目的平均值。每批底线更具保护性 - 平均值会让供应商用好批次掩盖坏批次。
- 缺陷严重度：关键错误（类别标错）是否与表面错误（边界框松了 3%）同等计数。只有关键错误才应触发返工。
2. 你承诺多少交付周期，逾期又会怎样？
交付周期（TAT）是供应商要么尊重你的模型开发节奏、要么悄悄按自己节奏来的地方。承诺应按紧急程度分级，并且关键在于，要明确逾期的后果。没有罚则的 TAT 只是一种偏好，不是承诺。
一份站得住脚的交付 SLA 会将承诺分级，并为逾期附上真实代价：
- 标准级：作为默认节奏，对约 10,000 条以内的批次在 3 至 5 个工作日内交付。
- 优先级：对较小的加急批次在 24 至 48 小时内交付，并附明确的费率溢价，让双方事先都清楚加急的代价。
- 批量级：对超大批量采用基于里程碑的排期，配以每周进度检查点，而非单一截止日期。
- 逾期罚则：一个具体的抵扣（常见结构为每逾期一个工作日抵扣批次金额的 5%，上限 25%），而非含糊的「一定补救」承诺。
- 升级路径：批次有风险时你该找谁，以及供应商承诺提前多久预警可能的延误。
3. 批次未通过质检时你如何返工，由谁买单？
每一段标注合作最终都会出现一个未达标的批次。区分专业供应商的，是返工路径是否在需要之前就已定义好。返工问题有三部分：什么触发返工、由谁承担成本、在多长时间内完成。
你希望听到、并要供应商兑现的答案：
- 触发条件：任何低于合同约定准确率底线的批次都要返工，以问题 1 中同样的金标准集方法衡量。
- 成本：为达到约定 SLA 的返工由供应商承担，而非按新工作计费。这是答案里最关键的一个词。
- 速度：返工在该等级原 TAT 的约 50% 内完成，使一个失败批次不会让整条流水线停摆一个完整周期。
- 根因：任何返工批次都要在 48 小时内附上书面根因分析，使同一问题不会悄悄重演。
- 上限与升级：免费返工是无限次还是上限两轮，以及若连续两个批次失败会怎样（启用备用供应商、终止权）。
4. 规模扩大时你能否守住质量，扩员有多快？
标注者总人数是供应商最爱亮出、也最没用的数字。两家各有 500 名标注者的供应商，针对你的任务，其有效产能可能因领域覆盖、语言覆盖、安全分级和当前项目负载而天差地别。真正能预测交付的扩展问题是运营层面的，不是表面数字。
请具体询问：
- 扩员时间：供应商能多快将你这项具体任务的标注者从 10 名扩到 50 名，以及这一扩员受制于招聘、培训还是标注规范校准 - 各自时间线不同。
- 上岗到生产：新标注者达到生产水平的典型耗时，以及其标注上线前必须达到的金标准面板分数。
- 规模化质量证据：一份过往项目在扩展过程中的按类别质量走势，显示准确率保持住了（或在哪里下滑、又如何恢复）。
- 留存率：将承接你工作的团队 12 个月标注者留存数据 - 流失会重置校准，是隐性的质量税。
- 瓶颈处理：当某位资深审核员成为吞吐量瓶颈时，审核负载如何重新分配。
5. 工作进行中我如何看到质量，而非事后？
只在项目结束时报告质量的供应商，等于剥夺了你在关键时刻介入的能力。实时可见性既是 SLA 条款，也是信任信号：对流程有信心的供应商会公开数字；没有信心的，则事后再做汇总。
应要求的报告证据：
- 按批次的质量看板，随批次落地实时刷新对照金标准集的准确率 - 而非单一的项目结束汇总。
- 分歧聚类报告：审核员分歧最多的类别与边缘案例。这是最有价值的质检信号，也是买方最常忘记索取的。
- 审计追踪，将每一条标注关联到产出它的标注者与审核员，可按需提供，而非只在事故后。
- 具名的评审电话节奏（生产运行以每周为标准），共同梳理质量走势与标注规范问题。
6. 哪些安全认证你能证明，而不只是声称？
这里进入评估的安全部分，措辞很关键：一张认证的价值只等于其背后的审计。请索取证书及其覆盖范围，而非幻灯片上的一个标志。「符合」或「正在申请」某标准的供应商，其实是在告诉你他们并不持有它。
企业级标注工作的基线安全资质：
- ISO/IEC 27001 认证（在亚太供应商中常见且广受认可）或 SOC 2 Type II 报告 - 连同证书、认证覆盖范围和最近一次审计日期，而非一句声称。
- 在任何样本数据交换之前就已签署的 NDA 与数据处理协议（DPA），而非签约之后。
- 具名的认证范围：确认证书覆盖的是实际处理你数据的交付场地与团队，而非另一家公司实体或办公室。
- 针对受监管数据，具体的法律工具：医疗数据的 HIPAA 业务伙伴协议（BAA），或映射到 GDPR、PDPA 或你所在司法辖区相应制度的书面控制措施。
7. 我的数据存放和流动在哪里 - 你能否保持在区域内？
数据驻留是安全与监管风险交汇之处。对许多亚太和欧盟项目而言，数据存储与处理的所在地不是偏好，而是合规要求。在这一点上答不清楚的供应商，是没有考虑过你的监管处境的供应商。
需要钉死的驻留与主权问题：
- 你的数据存储在哪个具体国家或地区，以及标注实际在哪里进行 - 两者都要问，因为它们可能不同。
- 一份书面承诺：未经你明确同意，数据不会离开约定的司法辖区，包括用于备份、工具或溢出产能。
- 子处理方披露：每一个接触你数据的第三方工具或平台（标注平台、云存储、任何离岸溢出团队），均以书面具名列出。
- 对欧盟或亚太个人数据，确认该驻留安排满足适用制度（GDPR、越南 PDPD、新加坡 PDPA 及同类）。
8. 谁能访问我的数据，这种访问如何受控？
认证描述的是意图；访问控制描述的是日常现实。持有正确证书的供应商与真正具备安全成熟度的供应商之间，最常见的差距就在于谁能看到你的数据、从何处看到的日常控制。这些运营层面的问题能暴露那道差距。
关于团队与访问安全应问的问题：
- 具名个人登录、无共享账户，使每个操作都能追溯到人 - 这是有意义的审计追踪的前提。
- 标注平台及任何数据存储上的基于角色的访问控制（RBAC）与多因素认证（MFA）。
- 针对敏感工作的安全机房政策：在最敏感的子集上禁用个人设备、手机和居家远程访问 - 以及这项政策是被强制执行还是仅停留在纸面。
- 标注者个人 NDA（而不仅是实体层面的 NDA），使保密义务落到真正处理数据的人身上。
- 客户可按需（而非只在事故后）获取标注者访问日志。
9. 数据在静态、传输中以及标注环境里如何受保护？
加密与环境隔离是数据安全的技术底线。它们既容易声称也容易验证，因此供应商应能干脆利落地回答。在这里含糊其辞，对任何敏感项目都是不合格的。
需要确认的技术控制：
- 在存储、传输和标注平台上，全程静态加密（AES-256 或同等）与传输加密（TLS）。
- 针对敏感项目的环境隔离：将仅限 VPC 或本地部署作为一流的合作模式提供，而非事后附加。
- 客户之间的隔离，使你的数据不会在无隔离的共享基础设施上与其他项目混放。
- 项目完成时有文档记录、有时限的数据删除流程（常见上限为 30 天），并提供书面删除证明。
- 是否有任何数据被用于训练供应商自己的模型或改进其工具 - 这一点应以书面明确禁止。
10. 你的事件响应与泄露通报承诺是什么？
没有哪套安全态势是完美的，因此真正的考验是出问题时会怎样。有一套演练过的事件响应答案的供应商，是思考过失败的；在电话上临场编出答案的，则没有。这是整个评估中最能说明问题的一问。
需要落到书面的事件响应承诺：
- 泄露通报时限：在发现任何疑似泄露后 24 至 72 小时内通报，无论影响是否已确认。
- 明确的升级联系人与流程，使通报直达你的安全团队，而非绕经客户经理。
- 供应商能够描述的、有文档记录的事件响应预案：遏制、调查、客户通报与补救步骤。
- 审计权条款，使你能在合作期间核验控制措施，而非仅信赖那张年度证书。
- 事后义务：根因分析与补救证据，而不只是一句道歉。
11. 对受监管数据，你能否满足我所在行业的具体义务？
当你的数据受监管时，通用的安全成熟度是必要的，却不充分。医疗、金融、国防和个人数据项目所带的义务，是一家泛泛安全的供应商仍可能无法满足的。这最后一问，让评估贴合你的具体风险敞口。
让问题匹配你的数据类型：
- 医疗与医学影像：HIPAA 业务伙伴协议（BAA），并在相关处涉及本地临床数据规则和临床审核员访问控制。
- 金融与 KYC 文档：SOC 2 Type II，以及对你所在司法辖区金融数据制度的熟悉（如新加坡 MAS 及同类）。
- 个人数据（PII）：映射到适用制度（GDPR、PDPD、PDPA）的 DPA、合法性依据处理，以及对数据主体权利的支持。
- 国防、专有或未发布产品影像：安全机房作业、仅限本地或 VPC 部署，以及供应商所能提供的最严访问等级。
把答案转化为合同条款
这场面试的意义不在于对话本身 - 而在于随之而来的合同。你套出的每一个具体答案（准确率指标、TAT 罚则、返工成本归属、删除时限、泄露通报时钟）都会成为你在工作开始前谈判的一条条款。只能口头拿到的答案，正是供应商不愿写进合同的条款，这恰恰告诉你风险所在。
一个有用的终极筛选：对自身 SLA 与安全有信心的供应商会欢迎这些问题，并以证据作答，因为这些问题让他们得以从较弱的竞争者中脱颖而出。把这些问题视为麻烦的供应商，则是在向你展示一旦出问题这段合作会是什么感觉。这种反应本身，就是与任何单一答案同等宝贵的一个数据点。
拿到答案后，下一步就是把它们固化下来。我们关于标注 SLA 的配套指南会逐条讲解具体的合同条款 - 准确率定义、罚则结构、知识产权归属，以及为整段合作降险的试点条款 - 好让你在这里收集到的承诺，延续为一份可执行的协议。
DataX Power answers every question in this checklist with documented artefacts - ISO/IEC 27001 aligned operations, per-batch quality reporting, defined SLA and remediation terms, and data-residency options across APAC. Our engagement terms are structured for enterprise procurement and security review.
See DataX Power's annotation engagement terms- What are the most important SLA questions to ask an AI annotation vendor?
- The five that matter most are: (1) what accuracy metric you guarantee and how it is measured against a gold set, (2) what tiered turnaround you commit to and the penalty for missing it, (3) how rework is triggered and who pays when a batch fails QA, (4) how quickly you can scale annotators while holding quality, and (5) how quality is reported in real time rather than only at project end. Each answer should come with an artefact - a real IAA report, a sample dashboard, a penalty clause - not just a verbal assurance.
- What security requirements should an AI data annotation vendor meet?
- At a baseline: current ISO/IEC 27001 certification or a SOC 2 Type II report with named scope, a signed NDA and DPA before any data is shared, data-residency commitments that keep data in the agreed jurisdiction, named-individual access with MFA and role-based controls, encryption at rest and in transit, environment isolation (VPC or on-premise) for sensitive work, a 24-to-72-hour breach-notification window, and a time-bound deletion certificate on completion. For regulated data, add the specific instrument - a HIPAA BAA for healthcare, or a DPA mapped to GDPR, PDPD, or PDPA for personal data.
- How do I verify an annotation vendor can actually meet their SLA and security claims?
- Ask for evidence rather than policy. For every SLA claim, request an artefact from a comparable past project: an inter-annotator agreement report, a per-batch quality dashboard, a versioned guideline, a sample penalty clause. For every security claim, request the certificate and its scope, the DPA, sub-processor disclosures, and access-log samples. Capabilities that are real can be shown pre-contract; capabilities that only exist on the sales slide cannot. Then put every specific answer into the contract so the commitment is enforceable.
