社区

过去两年，大型语言模型的迭代速度呈现指数级成长，GPT-4、Claude 3、Gemini 1.5/2.0 之间的能力差距，已不仅是参数量扩张，而是推理能力、上下文长度与多模态能力的全面跃升。每一次升级，都对算力基础设施提出新的需求，并直接推动硬件投资周期加速。

以上下文长度（context length）为例：GPT-3 的主要设计约 2,000 tokens，而 GPT-4 进入 32K、128K 甚至更高规格；Claude 3 Opus 推进至能处理百万级 tokens；而 Google Gemini 1.5 更提出超长上下文模型，直接将推理计算时间与 GPU 记忆体需求推向新高。上下文越长，推理时的序列运算越多，所需的运算量（FLOPs）呈倍数增长。

当推理从「单句对话」迈向「长文阅读」、「视频理解」、「多模态推理」，模型不只是大，而是「更耗时、更耗记忆体」。这意味着原有 GPU 集群难以高效支援新模型，从而引发加速器、大规模记忆体架构、高效互联（如 NVLink 或光互联）等基建升级。

这正是为何大型云端服务商 — 包括 Microsoft、Google、Amazon — 在过去一年持续扩大资本开支，年增幅均达双位数，背后逻辑是所有生成式 AI 的技术突破，都会造成明确、可量化的算力需求扩张。而模型每一次迭代都代表硬件需求曲线的新拐点。

硬件投资从「训练驱动」转向「推理驱动」

早期的硬件投资主要由模型训练驱动。例如 GPT-3 或 Llama 2 的训练一次性需要数千至上万颗 GPU，因此训练成本被视为 AI 进展的主要限制。然而，当模型步入商业化阶段，推理（inference）成为真正的成本核心。

推理成本取决于三个关键因素：模型大小、上下文需求与并发量。随着模型进入产品化 — 例如 GPT-4o 的即时语音对话、Gemini 在 Google Workspace 的全面整合、Claude 于多语种企业场景的部署 — 推理需长时间在线，服务数千万级活跃用户。

以推理成本推算，若企业期望以原生 GPT-4 类型模型支持大型企业级场景，其推理要求甚至可能超越训练阶段需求。这正导致硬件投资周期出现新的特征：

第一，推理需求的持续性高于训练需求。训练是一次性投入，而推理是每日成本，形成固定算力需求，使企业必须维持长期 GPU 储备。

第二，推理延迟（latency）要求越高，对硬件效率要求越严苛。即时语音对话模型需要毫秒级反应，使云端集群不仅要多，更要快。

第三，推理成本驱动模型走向「压缩 — 蒸馏 — 专用化」。这将使硬件需求呈现双轨化：高端 GPU 用于训练及高精度推理，而低功耗加速器／专用 ASIC 适用于大规模企业场景。

换言之，生成式 AI 的商业化使硬件需求不再呈现短期爆发，而是进入「持续、高黏性」的周期，支撑云服务商保持高资本开支。

从稀缺 GPU 到专用 AI 加速器

从 GPT 到 Claude，再到 Gemini 的迭代轨迹显示，模型能力不会停下，而是继续朝更高维度的推理能力前进，例如 agentic AI、自我调度模型（self-directed models）、长期记忆系统、端云协同的大型模型网路等。每一项进展，都意味着下一轮硬件投资。

短期（1－2 年），硬件需求仍由 GPU 稀缺性主导。NVIDIA H100、H200、B100/B200 等架构因具备高记忆体频宽与专为 Transformer 设计的 Tensor Core，因此仍是新模型训练与推理的主力。各云端厂的 GPU 集群基本处于「满载使用 + 持续扩容」状态。

中期（3－5 年），投资焦点将转向以下三类硬件：

第一，专用 AI 加速器（ASIC）。大型企业会深化自研芯片（如 Google TPU、AWS Trainium / Inferentia），以降低推理成本。模型越复杂，越需要为特定任务定制的硬件以提升能效。

第二，内存与互联架构升级。多模态模型需要巨量中间特征，光互联、HBM（High Bandwidth Memory）及 memory-centric 设计将成为新瓶颈。

第三，边缘端 AI 加速器。当语音、影像推理迁移至个人设备，投资周期会从云端扩展至终端设备（手提电脑、手机、IoT 装置），形成新的硬件替换浪潮。

长期（5 年以上），AI 模型可能进入「多模型协作」与「自我调度（orchestration）」阶段，形成分布式 AI 系统。这将带来两个影响：

一是算力需求将呈线性外，甚至超线性增长；二是硬件不再是单一 GPU 的堆叠，而是整个 AI 基础设施的系统级整合，包括分布式调度软件、可重构加速器、能源供应系统等$英伟达(NVDA)$  $IBM(IBM)$  $谷歌(GOOG)$