谷歌联合红帽、IBM等合作伙伴正式发布 llm-d 1.0，这是一套用于在 Kubernetes 上分布式运行大语言模型（LLM）推理的开源软件栈。该项目目前处于云原生计算基金会（CNCF）沙箱阶段，已吸引来自 25 家组织的 500 多名贡献者参与。
llm-d 旨在帮助企业跨模型服务器集群高效运行 AI 负载，摆脱对单机或标准负载均衡器的依赖。通过将 PyTorch 生态的工具与生产级 Kubernetes 基础设施连接，该系统专门应对 AI 推理从简单单轮交互向多步智能体工作负载及强化学习部署的转变。此类负载通常具有突发性、长提示前缀复用以及与交互式请求竞争资源的特点，传统分配方式易导致延迟增加和内存冗余。
核心功能架构
llm-d 1.0 引入了稳定的 API 及经过多云、多加速器验证的请求路径。其核心能力包括：
- 智能路由与缓存：具备追踪会话缓存上下文的路由机制、分层键值（KV）缓存系统，以及将延迟敏感型请求与后台负载分离的流量控制功能。它可通过单一端点，在 vLLM 和 SGLang 部署间，以及在混合配置的云端 TPU 和 GPU 集群中路由请求。
- 高可用与解耦编排：新增高可用路由和升级工具，避免更新期间中断活跃会话。特有的“DisaggregatedSet”（解耦集合）功能管理预填充（prefill）和解码（decode）的独立池，支持滚动更新时版本匹配及各阶段独立扩展。
- 异步处理与资源优化：内置基于队列的异步处理器，可从 Google Cloud Pub/Sub 或 Redis 拉取请求，通过严格优先级通道和配额限制，减少对交互式体验的干扰。同时支持 Google Cloud TPU 和 GPU 的时间切片（time-slicing），允许在强化学习空闲时段运行异步推理，测试显示加速器利用率可从约 40% 提升至 70% 以上。
云集成与性能基准
谷歌将 llm-d 与其云基础设施深度绑定，特别是 Google Kubernetes Engine (GKE)。GKE Inference Gateway 可将 llm-d 路由器作为托管服务运行，结合 KEDA、HPA 和 Kueue 等工具管理队列深度、饱和度和配额。系统还支持通过主机内存、固态存储和 Google Cloud Managed Lustre 进行多层 KV 缓存卸载，以降低加速器内存溢出风险。
基准测试数据显示显著性能提升：
- 在 Ironwood TPU 代码工作负载测试中，相比标准 Kubernetes Service，llm-d 使首次令牌生成时间（TTFT）中位数减少 85% 以上，总吞吐量提高 2.4 倍。
- 在 Gemini 平台（原 Vertex AI）的生产环境中，GKE Inference Gateway 将前缀缓存命中率从 35% 提升至 70%，代码代理 TTFT 减少 35% 以上，突发聊天流量下 P95 TTFT 减少 50% 以上。
- 在一个拥有 17,000 个节点的多区域部署中，为混合专家（MoE）模型提供服务时，三集群范围内吞吐量提高 2.9 倍，成功率达 99.9%，路由开销低于 1%。
- 在 A3 Mega 集群为 700 亿参数模型服务的测试中，结合多连接器缓存卸载至 Managed Lustre 及主机内存，50,000 token 提示的 TTFT 改善约 40%，端到端延迟降低 30%。
行业采用与支持
多家科技企业已公开表示支持并投入生产使用：
- Snap：高级软件工程经理 Vinay Kola 表示，Snap 正将 llm-d 集成至生产 AI 基础设施。通过前缀缓存感知路由，实现了 75-80% 的前缀缓存命中率，并利用其开源特性与基于 Envoy 的服务网格无缝集成。
- ZenteiQ：Ganesan 指出，利用 llm-d 驱动的 GKE Inference Gateway 加速主权科学基础模型的合成数据生成，聚合推理吞吐量提高 4 倍以上，每 1,000 个 TPU v6e 加速器每日生成的 token 容量从 14.7 亿增至 59.7 亿，无需维护自定义推理调度器。
- Mistral：Felardos 强调，借助 llm-d 的前缀缓存感知路由、流量控制和解耦服务支持，Mistral 能在商业层级执行严格优先级策略，确保付费流量满足延迟服务等级协议（SLO），并在池饱和时自动处理低优先级请求。