定制芯片如何改变AI数据中心的扩容逻辑

电力划出扩容边界

AI 数据中心增加服务器，需要同时落实供电和散热。10月8日，EE Times 的文章指出，在许多数据中心，电力已经成为限制扩容的资源；计算密度上升后，运营商能部署多少设备，取决于电力输送和冷却能力。这项约束也延伸到机房之外。Amazon 在10月2日公布的数据中心承诺中表示，公司将与公用事业机构、监管者和电网运营商合作，确保其支付的能源价格足以覆盖用电及所需基础设施改造。这是公司的承诺，不能直接视为各地已经落实的收费结果，但它说明云厂商必须把供电配套纳入扩容责任。由此可以推论，提高单位电力能够完成的工作量，会影响既有设施能承接多少 AI 需求。

先确定芯片要做什么

定制芯片的出发点，是把特定平台和工作负载的需求纳入硬件设计。AI 加速器是其中一种处理器，主要承担模型中的密集计算。EE Times 对这项取舍的解释是：通用 CPU 负责广泛的软件任务，芯片必须为多种操作保留资源；面向 AI 的专用加速器则把资源集中到矩阵和张量运算，也就是模型大量使用的成组数字计算。两者的分工决定了优化方向。前者需要灵活执行各种程序，后者可以围绕高频操作安排计算单元与数据通路。定制的收益因此有适用范围：任务越符合设计目标，专门配置的资源越有机会得到充分使用；任务发生变化时，软件和硬件仍要重新适配。

这种细分已经进入同一家公司的产品设计。Google 在4月22日介绍第八代 TPU 时，把这类张量处理器分成 TPU 8t 和 TPU 8i 两套系统，并解释预训练、后训练和实时服务的基础设施需求正在分化。按 Google 的定位，TPU 8t 面向大规模预训练和吞吐需求，强调集群互联与数据供给；TPU 8i 面向后训练和高并发推理，强调片上存储与计算结果同步。训练通过大量数据调整模型参数，推理则利用模型处理实际请求。两套系统都支持完整的 AI 生命周期，产品定位并不意味着功能互斥。它们说明，模型开发者要求完成训练任务的节奏，与在线服务处理连续请求的节奏，会把硬件设计引向不同的重点。

让数据跟上计算速度

当加速器开始等待数据，增加计算单元就难以解决问题。Google 对 TPU 8t 的介绍，把主机、互联和存储一起纳入设计：Axion CPU 承担复杂的数据预处理与任务编排，目的是让 TPU 持续获得数据；TPUDirect RDMA 允许 TPU 内存与网卡直接传输数据，绕过主机 CPU 和主机内存；TPUDirect Storage 则让 TPU 与高速托管存储之间直接访问数据，减少主机环节的阻塞。RDMA 指远程直接内存访问，可以减少数据传输对主机处理器的占用。这些都是 Google 描述的架构机制，并非任意客户任务的实测结果。由这些设计可以推论，定制芯片的系统价值取决于数据能否及时送达，以及多颗芯片能否有效协作。只盯着计算单元，会漏掉决定它们实际利用率的部分。

Microsoft 的 Maia 200 展示了数据供给问题怎样进入单颗芯片。公司在1月26日公布的规格中，为这款推理加速器配置了216GB HBM3e、每秒7TB的内存带宽，以及272MB片上 SRAM。HBM 是高带宽内存，用于向计算单元供给大量数据；SRAM 是芯片内部的高速存储，用于保存需要频繁访问的数据。容量关系到能容纳多少数据，带宽关系到数据能多快送达，片上存储则影响访问路径。Microsoft 同时配置了原生 FP8 和 FP4 计算单元，即采用八位、四位浮点格式计算。较低精度可以减少表示数字所需的资源，但部署者仍须确认模型在这种数值格式下满足业务质量要求。

规格要经过业务检验

Maia 200 的功耗规格也说明，判断效率需要明确核算边界。Microsoft 公布的750W是芯片系统的功耗范围，不能拿它代替整台服务器或整座数据中心的用电。主机、内存、网络、供电转换和冷却都要进入运营商的成本账。公司在发布时表示，Maia 200 已首先部署于得梅因附近的数据中心，并计划扩展至 Arizona；公告列出的目标工作负载包括 GPT-5.2、Microsoft Foundry 和 Microsoft 365 Copilot。这把芯片与具体服务联系起来，但公告没有提供各项业务在相同模型质量、请求长度和响应时间要求下的完整运行成本。因此，从规格推算客户能够节省多少费用，还缺业务配置、实际利用率及整机能耗这几项数据。

规模承担研发成本

云厂商愿意投入定制芯片，还因为它们能够把研发成本分摊到持续运行的大量任务上。EE Times 指出，芯片设计需要前期资金、工程资源和时间，足够大的部署规模才能让性能、功耗或利用率改善抵消开发投入。Amazon 在7月31日介绍自研芯片业务时，称其年化收入规模已经超过250亿美元，并提到一批训练物理世界模拟模型的 AI 初创公司选择 Trainium。年化收入规模是把当时业务水平折算成年率，不等于已经实现的全年收入，也没有单独交代每款芯片的盈利情况。它支持的判断是，这项业务已有可以承接研发投入的商业体量；能否回收某一代产品的成本，还取决于部署规模、使用时长和每项任务的实际收益。

云厂商支付芯片研发、设备部署和运营费用，客户则通过使用云服务参与这套经济循环。客户通常不用自行设计芯片，但把模型放到新硬件上，仍可能需要调整计算操作、编译方式和服务配置。Microsoft 在 Maia 200 发布时提供了预览版 SDK，也就是供开发者使用的软件开发工具包，其中包括 PyTorch 集成和 Triton 编译器。工具链负责把模型操作转成硬件能够有效执行的程序，其成熟度会影响工程团队的适配成本。对客户而言，硬件效率只有通过可用的软件、稳定的服务和合理的收费传递出来，才会改善项目成本。平台能够自主安排芯片路线图，也意味着它需要承担让模型和工具跟上硬件变化的责任。

扩容从整套系统计算

这些设计共同指向一个判断：定制芯片给 AI 数据中心提供了围绕实际任务重新分配资源的能力。Google 把预处理、数据传输和集群协作纳入 TPU 系统，Microsoft 把推理所需的内存与软件工具纳入 Maia 200，体现的都是从芯片延伸到服务的设计责任。对运营商来说，这要求采购和扩容决策同时核算电力、数据供给、任务利用率与软件适配。对使用者来说，决定价值的是在业务质量和响应要求得到满足时，平台能以多少设备和运行成本交付服务。定制芯片的重要性，就落在这条具体的交付链上：它让云厂商有机会减少系统中的浪费，也把兑现效率收益的责任交给了云厂商。