智能体部署推动算力需求向推理与执行扩展

小模型面向高频任务

Anthropic 10月7日发布的 Claude Haiku 5.5 面向摘要、上下文压缩、数据库查询和分类等高频任务，AWS 同日宣布模型上线。按 Anthropic 公布的每百万 Token 价格，Haiku 5.5 在提示长度不超过10万 Token 时，输入为0.10美元、输出为0.50美元；超过10万 Token 时，输入为0.50美元、输出为2.50美元。Haiku 4.5 的输入、输出价格分别为1美元和5美元。Token 即模型处理和生成文本的词元，也是接口计费的基本单位。Anthropic 还说明，新模型采用更新的词元编码方式，每项任务使用的 Token 略有增加，因此单价降幅与实际任务费用降幅并不完全相同。

小模型的上线对应着智能体运行中大量重复调用的需求。智能体是能够围绕任务持续调用工具、根据结果调整行动的模型系统；多智能体系统还会将工作分派给多个子智能体。Anthropic 在2025年6月13日介绍 Research 系统时披露，其内部数据中，智能体的 Token 用量通常约为聊天交互的4倍，多智能体系统约为聊天交互的15倍。其研究架构让子智能体并行搜索，分别保留上下文，再把压缩后的发现交给主智能体。每次搜索后的判断、归纳和重新规划都会产生模型调用；并行任务数量和任务执行轮次因此成为容量规划中的具体变量。

通用服务器承接编排

这些模型调用还需要实际执行环境。TrendForce 在9月29日的分析中指出，子任务调度、工具调用路由、子智能体之间的数据传递，以及任务是否完成的评估，都属于智能体编排层的工作，需要 CPU，即通用处理器承担。运行 Python 代码、网页抓取和数据库搜索，也会占用通用服务器资源。NVIDIA 对 CoreWeave 平台的介绍则指出，智能体强化学习需要大量隔离环境同时运行；强化学习是通过行动结果的反馈改进模型的方法。这些工作涉及执行进程、隔离环境和并发调度，需要纳入资源规划。

NVIDIA 在9月30日披露，CoreWeave 已宣布提供 Vera Rubin NVL72 系统，开发软件工程智能体 Devin 的 Cognition 是首个在该平台运行生产工作负载的客户。CoreWeave 的 Vera CPU 部署在单个机柜内配置128颗 CPU、11,264个核心，按每个环境占用一个核心，可容纳超过11,000个并发环境。CoreWeave Sandboxes 提供硬件隔离的代码执行环境，与其支持的训练任务共同运行。该公司还发布了 CoreWeave Forge，连接模型训练、评估和改进，将生产运行中的反馈用于后续训练。

推理解耦分配负载

推理服务内部也出现按阶段配置硬件的方案。AMD 与 Cerebras 于7月23日宣布技术合作，计划将两个推理阶段接入同一个工作流。按合作方案，Prefill 是先处理提示词和长上下文的阶段，拟由 AMD Helios 提供高吞吐处理。Decode 是逐步生成输出的阶段，拟由 Cerebras Wafer-Scale Engine 提供低延迟解码和 Token 生成。浪潮信息对推理负载的说明指出，Prefill 具有高并行、计算密集的特点，Decode 则更依赖内存带宽。两家公司计划最初通过 Cerebras Cloud 提供服务，公告预计可用时间为2026年下半年。这里已披露的是合作方案和上线计划，公告本身没有确认服务已经开放。

将阶段拆开还需要处理缓存和跨设备数据传输。浪潮信息9月22日发布的产品介绍显示，元脑 HC2000 多元算力机组配套 MCIS 推理软件栈，覆盖请求路由、分离推理、算力动态调整和 KV Cache 管理。KV Cache 是模型保留已处理上下文的中间计算结果，用于后续生成；上下文增长会增加缓存占用。按公司介绍，MCIS 可监控请求、计算、缓存与传输，在负载变化后调整阶段配比、实例数量和任务分配，并支持不同算力之间的数据直传。其运行流程包括部署前的性能仿真、资源分配和上线后的监控，再通过实际运行验证调整效果，把硬件配置与业务负载变化连接起来。

内存采购跟随部署

需求变化已进入服务器采购。TrendForce 在9月30日的调查中称，服务器 CPU 供货改善后，云服务商和服务器厂商增加了内存采购，以满足支持智能体工作负载的通用服务器对 RDIMM 的需求。RDIMM 是服务器使用的寄存式内存模组。内存供应商已调整产品组合，增加低容量 RDIMM 的占比，但零部件供应、封装测试能力和前端生产调整空间仍限制供需匹配。TrendForce 因而预计，2026年第四季度服务器 DRAM（动态随机存取内存）仍将供不应求。对采购团队而言，这意味着通用服务器扩容需要连同内存配置和交付排期一起安排，CPU 到货并不等于整机能够投入服务。

企业级 SSD 也承接了智能体的数据访问需求。SSD 即固态硬盘；TrendForce 指出，云服务商正扩建 AI 推理基础设施，智能体规模部署增加了实时检索和缓存的数据量。报告同时提到，向量数据库中 QLC 的使用正在增加；向量数据库用于按数据特征检索相关内容，QLC 则是一种每个存储单元记录多个比特的闪存技术。供应商正在扩展相关产能和高容量产品，但新增供应多数已被预订，公开市场剩余供应有限。TrendForce 将企业级 SSD 第四季度的涨价压力与这些采购变化联系起来。对需要长期保留知识库、检索索引和执行记录的企业，采购成本与交付安排也进入了智能体基础设施的建设范围。

北京支持弹性算力

面向这类高频运行需求，北京市发展改革委等部门印发的智能体发展措施提出，布局适应高频并发、低延迟需求的新型算力基础设施，并推动公共算力池化、虚拟化和弹性供给。池化与虚拟化是将资源统一管理、按需求分配的方法。文件还提出支持推理缓存复用、智能任务路由，以及为中小企业和一人公司提供低成本、标准化算力服务；鼓励有条件的区探索发放 Token 券和智能体服务券。在计费方面，措施提出探索 Token 服务质量评估和计费规范，支持探索结果即服务等商业模式，并研究以智能质量、调用量、转化效率为核心的评价指标。

IDC 与浪潮信息9月21日发布的评估报告预计，中国活跃智能体到2030年将达到1.97亿个，2026—2030年复合年均增长率为151.2%；这是报告预测，并非已经实现的业务规模。报告同时强调，应在业务场景和服务等级约束下安排模型、算力与调度，兼顾响应时延和并发能力。结合模型上线、执行环境部署与内存采购信息，可以判断，智能体正在把算力预算分配到连续推理、工具执行、检索缓存和系统运营等环节。对企业而言，实际成本取决于任务需要多少轮调用、占用多少执行资源，以及能否在约定时间内完成工作。