仅云的默认设置正在瓦解
对于大多数生产型生成式人工智能时代来说，“企业人工智能”意味着对少数前沿提供商的 API 调用。当功能强大的小型模型不存在并且 NPU 级边缘芯片稀缺时，这种架构默认设置是有意义的。 2024 年至 2026 年，这两种情况都发生了巨大变化，企业内部的基础设施对话也随之发生变化。
压力不是意识形态上的。它是经济、延迟、隐私和监管的结构组合。 LLM API 支出已成为企业 IT 中增长最快的云项目之一 - FinOps 基金会的年度报告将 AI 成本管理连续多年列为从业者的首要任务。对延迟敏感的工作负载（语音、实时审核、工业视觉、设备上助手）每次调用远程 API 时都会产生往返税。欧盟人工智能法案条款、亚太地区数据驻留要求以及健康和金融领域的特定部门制度正在推动更多处理回到企业范围内。 “本地硬件上有能力的小模型”和“前沿 API”之间的质量差距已经足够缩小，以至于对于许多生产任务来说，架构权衡已经逆转。
接下来的框架将介绍改变模型端演算的小模型浪潮、最终赶上来使设备上和本地推理变得可行的四种硬件类别、成熟企业所趋同的现实两层架构、在车队规模生产中工作的部署模式、合规性和安全性优势，以及在默认架构进一步转变之前构建运营能力的 90 天试点模式。
改变微积分的小模型浪潮
2024 年底至 2026 年初期间发布的多个型号重新定义了“小”的实际含义。从 2023 年开始，在大多数推理、分类和结构化输出任务中，1B-14B 参数范围内的可用开放权重模型可匹配或超过 GPT-3.5 级质量标准。当对代表性数据进行微调时，1B-4B 范围内的较小变体可为许多特定领域的任务提供可行的质量。
关于这一波浪潮的两个结构点值得关注。首先，质量底线发生了重大变化——在大多数实际企业任务中，2026 年的 7B 开放权重模型优于 2023 年的 70B 模型。其次，这是企业团队经常忽略的一个项目，根据特定任务的数据对这些小型模型进行例行微调，可以缩小与窄工作负载的前沿模型之间的剩余差距。在本地硬件上运行的经过精心调优的 4B-8B 模型可以在客户支持分类、文档分类、结构化提取、意图检测和特定领域生成方面匹配或超过前沿 API，而每次查询成本仅为每次查询成本的一小部分，并且没有跨境数据流。
特别是对于亚太地区的多语言部署，开放权重生态系统现在提供具有强大的越南语、泰语、印度尼西亚语、他加禄语、普通话、韩语和日语本地覆盖的模型。从 2023 年起，“我们必须使用前沿 API，因为小型模型无法处理我们的语言”的反对意见不再适用于大多数亚太地区的工作负载，并且顶部的微调选项弥补了其余的差距。
边缘硬件终于迎头赶上
硬件方面的发展也同样迅速。现在有四个类别是企业部署中设备上或本地推理的可靠目标：
- 现代笔记本电脑和手机 NPU。 2024 年至 2026 年出货的主流消费类和商用笔记本电脑包括以个位数瓦数提供 40-50 TOPS 设备上性能的 NPU。现代智能手机 NPU 具有相似的性能范围。对于 int4 或 int8 量化的 sub-8B 模型，在没有主动冷却的情况下，典型响应的设备上延迟在 200ms 以下范围内。
- 专用边缘人工智能加速器。紧凑型 AI 加速器芯片在 5-40 TOPS 范围内运行，功率预算为 5-12W，可为工业相机、无人机、自助服务终端、零售 POS 硬件以及通用 CPU 或 GPU 不切实际的类似外形尺寸提供推理。
- 嵌入式人工智能平台。 25-50W 范围内的嵌入式 GPU 平台在边缘外形尺寸下可达到 60-80 TOPS，足以以交互速度运行量化的 7B-8B 模型，用于设备上助手、机器人、视觉语言工作负载和类似的本地推理用例。
- 本地 GPU 机架。单个中档数据中心 GPU 节点可在经过微调的 8B-14B 模型上为数百个并发用户提供服务，并可实现对延迟、数据驻留和成本的全面企业控制。对于希望获得边缘架构优势而又无需承担设备队列管理开销的中型企业来说，企业边界背后的本地推理在操作上比按设备部署更简单。
现实的两层分割
我们看到跨客户部署出现的架构模式并不是云与边缘的二元对立。这是一个经过深思熟虑的两层划分，每一层都处理它最适合的工作负载。
边缘或本地层通过微调的小模型处理大容量、延迟敏感或隐私受限的任务。此层中的每次查询成本以零点几分来衡量；延迟是本地的；数据保留在边界内。前沿 API 层处理长尾——复杂的推理、多模式生成、真正需要前沿质量的新颖任务，并且查询量足够小，每个查询的成本不会主导预算。
具体来说，该模式在现场看起来像这样：零售连锁店在销售点设备上运行一个小型微调模型，用于菜单问题、订单解析和基本个性化，并升级为前沿 API 以进行复杂的推荐和营销文案生成。医学成像平台在本地运行量化视觉语言模型以进行常规分类，并将不明确的病例路由至专业临床 AI API。智慧城市部署在本地执行摄像头视觉处理，并仅将结构化事件数据（而不是原始视频）推送到云端。边缘层以低于美分的单位成本服务 90% 以上的生产查询量；前沿层处理无法在当地提供优质服务的小部分。
实际适用于车队规模的部署模式
在边缘运行模型会重新引发一系列云 API 部署从未解决过的操作问题。正确使用它们是单个设备上的演示与数百或数千个端点的生产群之间的结构差异。
- 模型分发和OTA更新。将模型视为固件。对它进行签名、对其进行版本控制、通过金丝雀部署的分阶段部署来发布它，并维护回滚路径。具有集成运行时的容器镜像减少了操作表面积；在没有版本控制的情况下将模型视为不透明会产生难以在整个车队中诊断的事件。
- 量化是一流的步骤。大多数可行的边缘部署都运行底层模型的 int4 或 int8 量化变体。根据与全精度权重相同的评估集来验证量化模型 - 质量损失通常很小但不为零，并且根据任务的不同而有很大差异。每个任务的量化质量测量是操作基线而不是可选的。
- 整个机队的可观测性。推理延迟、每秒令牌数、内存压力、热节流和故障模式——无需云端点的遥测现在必须通过真实的数据管道从数千个设备流回。将机队可观测性视为事后才考虑是导致边缘部署事件较晚出现的最常见原因。
- 后备路径。边缘设备可能会过热、断开连接、遇到未经训练的输入，或者在异常负载下遇到内存压力。对产品来说，优雅地回退到云层是脆弱部署和弹性部署之间的结构差异。
- 采购时的硬件-软件协同设计。在选择模型类别之前选择芯片目标（反之亦然）通常会产生一个间隙，即所选硬件无法以可接受的质量和延迟运行所选模型。对于严格的部署，请首先根据评估要求确定目标模型重量类别，然后根据该规范对硬件进行资格鉴定。
- 电源和热管理。如果热设计错误，以所宣传的 TOPS 运行持续推理的 NPU 级硬件将会受到限制。生产部署测量实际热条件下的持续吞吐量，而不是供应商数据表引用的峰值突发数字。
合规性和安全性的优势
边缘推理不仅仅是一个成本问题。对于根据欧盟人工智能法案、亚太地区数据驻留制度或健康、金融和政府部门特定监管运作的团队来说，将推理保留在企业范围内可以大大简化合规工作。
数据永远不会跨越跨境边界。主题访问请求和监管机构审核变得易于处理，因为处理范围显然是本地的。当处理边界位于受控环境内时，欧盟人工智能法案第 27 条规定的高风险系统的基本权利影响评估更容易满足。新加坡 PDPA、越南第 13 号法令、韩国 PIPA 以及更广泛的亚太地区个人数据保护制度系列下的数据驻留要求在结构上得到满足，而不是通过架构变通办法。
安全状况也更好了，尽管这很无聊。没有到第三方模型提供商的出站 API 流量意味着没有要审查的上游供应商、没有要继承的第三方事件、没有要维护的每个请求日志记录审查，并且没有提示注入有效负载到达有权访问企业凭据的外部服务。攻击面转移到设备或本地基础设施上，这带来了自身的强化工作 - 但成熟的企业 IT 组织已经知道如何按照既定规则进行管理。
正确建模的经济学
边缘或本地推理的成本案例是真实的，但需要针对替代方案进行仔细建模。三个成本维度很重要：
- 每次查询的成本。一旦数量有意义，边缘或本地推理的每次查询比前沿 API 调用要便宜得多。盈亏平衡点因工作负载而异，但通常在每月 50,000 到 500,000 次查询之间 - 低于此数量，边缘部署的运营开销无法通过 API 节省来证明；超过这个数额，节省的费用就会迅速增加。
- 总拥有成本。边缘部署将成本从可变（每个 API 调用）转变为固定（硬件、微调、车队运营）。固定成本承诺必须通过持续的查询量来证明；平均使用率较低且峰值使用率较高的尖峰工作负载通常更适合由云 API 层提供服务。
- 运营开销。车队可观测性、OTA 模型更新、量化验证、热管理、后备路径——这些是云 API 层不需要的真正的工程投资。对操作开销和每个查询节省的成本进行建模可以产生真正的比较；忽视它会一直高估边缘层的投资回报率。
未来两个季度要制作什么原型
我们为评估边缘推理的企业推荐的 90 天试点模式是狭窄的、可衡量的，旨在增强运营能力：
- 第 1-30 天：选择当前由前沿 API 提供的一项大批量、延迟敏感或隐私受限的任务。客户支持分类、文档分类、结构化提取、对话数据的意图检测或内容审核预过滤是典型的首要目标。
- 第 31-60 天：根据生产流量的代表性样本微调 4B-8B 开放权重模型。微调步骤可以缩小特定任务上与现有前沿 API 的质量差距。现实边缘目标上的基准质量（相对于 API 基线）、延迟和量化模型质量。
- 第 61-90 天：部署到小型设备群（5-50 台设备），具有完全可观察性和到现有 API 的后备路径。测量试点窗口内的每个查询成本、延迟分布、回退频率和质量漂移。操作学习会在后续的边缘部署中得到复合。
为什么这对 2027 年及以后很重要
2026 年边缘推理试点的目标不是在一个季度内取代云 API 支出。其目的是建立运营能力——模型分发、车队遥测、量化验证、评估回归、后备处理——随着小型模型和前沿模型之间的质量差距不断缩小，到 2027 年及以后，这些能力将变得越来越重要。
当默认架构在未来两到三年内转向边缘加云混合时，2026 年开始增强这一实力的基础设施组织不会感到惊讶。等待差距完全缩小后再进行投资的组织将花费 18 个月的时间，在日益支撑具有竞争力的人工智能成本经济的基础设施方面赶上做好充分准备的同行。
常见问题
基础设施领导者在评估边缘推理投资时提出的常见问题：
- 如何判断我的工作负载是否是一个好的边缘候选者？三个信号：高查询量（每月约 50,000 次以上）、延迟敏感性（端到端预算亚秒级）或前沿 API 无法满足的数据驻留/隐私约束。具有两个或三个这些信号的工作负载是强有力的候选者；零工作负载通常在云 API 层上表现更好。
- 与前沿 API 相比，我要放弃多少质量？取决于工作负载。经过微调的 7B-8B 模型通常在狭窄任务（分类、结构化提取、意图检测）上匹配或超过前沿 API。在多步骤推理、广泛领域的创意生成以及微调数据未涵盖的新颖任务方面仍然存在质量差距。
- 边缘推理项目的实际运营人数是多少？ 2-4 名工程师负责涵盖 5-10 个生产工作负载的项目。共享基础设施（模型分布、车队可观测性、评估工具）是固定成本投资；在现有程序上添加额外的工作负载是渐进式的。
- 本地 GPU 与真正的设备级边缘相比如何？本地部署保留了边缘的架构优势（数据驻留、延迟、每次查询的成本），而无需设备队列管理开销。对于大多数企业工作负载，本地部署是操作上更简单的起点，除非用例在结构上需要设备级部署（工业相机、具有离线功能的移动应用程序、车载系统）。
- 2026 年小模型领域的发展速度有多快？重大。季度能力跳跃继续推动开放权重模型的质量标准上升，边缘层的每质量点成本也在相应提高。防御性操作模式是针对模型可互换性进行架构设计，而不是将部署提交给特定的模型生成。
