专栏计算与加速自动发布
英伟达GPU供应多元化交付仍是难题
10月10日,CNBC 报道,AI 代理基础设施公司 Modal 已使用25家新型云服务商的算力。供应渠道越来越多,企业仍要为交付时间、闲置和运维作选择。租云、自购或自带硬件,决定的不只是 GPU 归谁,还包括谁付钱等待、谁负责让任务真正跑起来。
有卡不等于能开工
10月8日,Runpod 宣布 Global Volumes 面向 Serverless 端点进入测试阶段,让执行推理的工作进程可以在有目标 GPU 的数据中心启动,共用存储中的模型权重,也就是模型学习得到的参数。Serverless 指由平台调度计算资源、开发者通过接口调用的运行方式。10月10日,CNBC 报道了企业获取 NVIDIA GPU 的多条路径,并援引 SemiAnalysis 的统计称,截至9月已有323家供应商。两件事放在一起看,问题就清楚了:供货渠道已经丰富,企业仍须把芯片、数据和上线时间凑到一起。我的判断是,采购正在变成对交付条件的选择;一份写着 GPU 型号的价目表,还不能说明团队何时能开始工作。
- Runpod 扩展模型权重的跨机房使用
- CNBC 梳理企业获取 NVIDIA GPU 的路径
大云把容量按时段卖
Amazon、Microsoft 和 Google 的吸引力,首先来自企业已经在使用它们的云服务。CNBC 引述 AI 助手公司 Abacus 的负责人 Bindu Reddy 表示,企业客户会在意其服务商使用哪家基础设施供应商。这意味着采购 GPU 也牵涉客户审核和信任关系。不过,可信的品牌仍要落实到具体区域和时段。AWS 的 Capacity Blocks 允许客户预订未来日期的 GPU 实例,适合持续数天或数周的机器学习任务,购买后不能取消。Google Cloud 的预留资源在配置完成后持续计费,客户即使不用也要支付,直至预留结束。这两种安排各有适用边界:前者把短期任务放进购买的时间窗口,后者要求客户承担保留资源期间的闲置费用。AWS 文档还说明,相关产品只覆盖部分实例类型和区域。因此,团队在立项时就应把训练排期与采购排期连起来;等开发人员准备完数据才寻找空闲机器,项目交付日期就可能失去依据。
| 安排 | 资源使用方式 | 费用或退出约束 |
|---|---|---|
| AWS Capacity Blocks | 预订未来日期,支持数天或数周的任务 | 购买后不能取消 |
| Google Cloud 预留资源 | 配置完成后保留资源,直至预留结束 | 不用也持续付费 |
新云扩建需要合同
专门围绕 AI 算力经营的 neocloud,中文通常称新型云服务商,承接了规模扩张中的需求。CNBC 报道,提供 AI 代理运行环境的 Modal 已使用25家这类供应商。负责人 Erik Bernhardsson 说,公司所需规模远超几百块或一千块 GPU。供应商多,并不意味着每家都有现成的大集群:他还指出,一些知名新云需要预付款,设备可能要等数月上线,因为供应商要依据合同融资并布置机房。CoreWeave 高管 Chen Goldberg 也表示,提前一天接到通知便向新客户交付10,000块 GPU 会非常困难。这些陈述说明,大额算力合同同时承担了扩建融资的作用。对买方而言,签约金额和承诺数量必须连着交付日期读;预付出去的钱,并不会立即变成工程师能够登录的机器。
机房的位置也进入了产品交付链条。视频生成公司 Reactor 的负责人向 CNBC 表示,用户希望生成的视频立即显示出来,因此数据中心位置很重要;他认为 Nebius 提供了合适的 GPU、服务以及软硬件资源。Runpod 的存储更新则展示了另一项实际约束:根据它的说明,Global Volumes 可以保存模型权重,让调度器把工作进程放到有指定 GPU 的数据中心,但运行中的进程不会自动读到启动之后上传的新文件,更新模型需要替换进程。该功能还处于测试阶段。我的理解是,增加可选机房能够扩大寻找空闲算力的范围,但开发团队必须处理模型版本切换,采购还须符合数据可以存放和处理的地域要求。GPU 能租到、模型能加载、用户能及时收到结果,是同一条服务链上的要求。
市场租卡要防停工
在线市场把更多机器纳入了租赁。Vast.ai 的模式是由硬件持有者安装管理软件、挂出机器并自行定价,客户搜索后租用,通过容器或远程连接运行任务。它的可中断实例采用竞价机制;出现更高出价或同一资源的按需租赁时,任务可能停止,正在运行的进程会被终止。平台因此建议定期保存输出到云存储,并提醒客户在租期到期前转出重要数据。这里不能只算付给主机的小时费用。训练团队还要写好保存检查点、恢复任务和搬出数据的流程;检查点就是训练过程的阶段存档。若任务中断后要重做一段计算,那部分费用与工程师的恢复时间都应计入预算。市场提供的是寻找资源的入口,具体机器的租期、主机条件和中断规则,仍由买方逐项确认。
自带硬件仍要备机房
GPU 所有权与日常运维也可以分别安排。CNBC 报道 Oracle 接受客户自带 GPU,由 Oracle 运营相关技术,并认为这可能适合已有购卡资金、却缺乏部分机房资源或人员的企业。具体到 Oracle 公布的 OCI Dedicated Cloud Customer-Owned GPU,客户持有 GPU、模型、数据和安全策略,并提供场地、电力、冷却与现场准备;Oracle 负责部署集成,以及网络、存储、监控、软件更新、硬件维护和生命周期运维。前一项报道描述的是自带硬件的广义机会,后一项产品有明确的客户机房责任,不能把两者合并成“买卡后由 Oracle 包办场地和电力”。这项专有云服务解决的是所有权与平台运维的分工,基础设施准备仍有客户必须完成的部分。Oracle 还说明,默认优先采用由其构建的基础设施,第三方构建仅支持经批准的特定部署;客户并不能任意采购后直接接入。
| 出处与范围 | 客户前提或责任 | Oracle 承担的工作 |
|---|---|---|
| CNBC 对自带 GPU 路径的报道 | 可能适合有购卡资金、缺部分机房资源或人员的企业 | 运营相关技术 |
| OCI Dedicated Cloud Customer-Owned GPU | 持有 GPU 与数据等;提供场地、电力、冷却及现场准备 | 部署集成;管理网络、存储、监控、更新、维护与生命周期运维 |
买卡之后还有工作
本地部署则已经是企业正在采用的路径。CNBC 报道,存储厂商 Everpure 购买自有 GPU,让软件工程师运行开放权重模型,也就是公开模型参数、可自行部署的模型。Dell 的 AI Factory 公告把数据平台、计算基础设施与部署服务放在同一个方案中,覆盖检索、模型部署和企业工作流。这是厂商提出的产品路径,但它点出了购卡之后的工作:企业要把内部信息整理成模型可以访问的数据,安排存储和网络,还要有人负责上线及维护。不能仅凭厂商展示的回报数字判断自己的项目能否盈利。对持续使用内部数据的团队,自购的合理性应建立在实际工作量和利用率上;已经付款的 GPU 如果长期闲置,硬件所有权本身不会替企业创造收入。
把交付写进采购单
采购文件最终应写清交付对象:指定区域和型号、可以启动的日期、连续运行的时段,以及数据、故障和退出由谁处理。财务人员也需要一份覆盖存储、网络、运维与闲置的费用表。SemiAnalysis 的租价指数说明,它汇集不同渠道的报价,并按自身方法加权;这种市场参考不能代替企业所需配置的实际报价。本文的判断是,企业获得 NVIDIA GPU 的渠道已经足够多样,决策重点应落在能完成多少有用工作、能否如期交付,以及为此承担什么责任。把这些条件谈清楚,开发人员拿到的才是一段可以兑现的工作时间。
备注与来源 · 11 条
全文 · 10 条
- [1] 英伟达GPU无处不在:企业获取英伟达GPU的几种方式 cnbc.com ·
- [2] Nebius AI Cloud:英伟达GPU价格 nebius.com
- [3] Google Cloud:选择容量预留类型 google.com
- [4] Runpod GPU云服务价格 runpod.io
- [5] 英伟达公布2027财年第二季度财务业绩 nvidia.com
- [6] Oracle推出OCI专用云客户自有GPU方案 oracle.com
- [7] AWS:机器学习容量块 amazon.com
- [8] Vast.ai:GPU租赁常见问题 vast.ai
- [9] 戴尔与英伟达更新企业AI工厂产品组合 dell.com
- [10] SemiAnalysis:H100现货与合约租赁价格指数 semianalysis.com
网上搜集 · 1 条
- [11] Global Volumes are now in beta for Serverless endpoints runpod.io ·
写作话题经编辑确认,章节标题由系统按话题拟定。本文由系统自动写作并发布,未经编辑逐篇审阅;引用来源与链接统一列在文末。