llm-d联盟在PyTorch北美大会上正式宣布开源分布式大语言模型推理框架llm-d 1.0版本。独立验证数据显示，IBM Research采用该框架后，混合服务成本降至约每百万token 0.11美元，较同等专有API堆栈降低约11.5倍。

这一里程碑版本获得IBM、Red Hat、Google Cloud、CoreWeave、NVIDIA等20多家机构支持，标志着该领域从性能演示转向具备稳定API、零停机升级及租户服务质量控制的“Day 2”生产运营成熟阶段。

破解推理成本瓶颈

随着企业AI从实验迈向全面生产，大规模运行AI的成本与操作复杂性成为主要瓶颈，尤其是涉及大量上下文重用的智能体工作负载。llm-d旨在解决这一痛点。

llm-d是一个基于Kubernetes的原生开源分布式LLM推理栈。它位于vLLM和SGLang等推理引擎之上，增加了集群级协调层，提供智能请求路由、分布式KV缓存管理及解耦的前缀处理（prefill）/解码（decode）功能，将分散的模型服务器整合为高效的推理池。

该项目于2025年5月由Red Hat、IBM Research、Google Cloud、CoreWeave和NVIDIA发起，愿景是支持“任何模型、任何加速器、任何云”。2026年3月，llm-d加入云原生计算基金会（CNCF）成为沙盒项目，由Linux Foundation监管。目前已有来自25家以上组织的500多名贡献者参与。

三大核心技术机制

llm-d通过以下机制解决传统架构的资源利用率低下问题：

1. 前缀缓存感知路由：系统读取底层引擎的KV缓存状态，将请求路由至已持有输入前缀的副本，避免重复计算。在IBM Research的智能体编码工作负载中，前缀缓存命中率接近98%。

2. 分层KV缓存卸载：当GPU高带宽内存（HBM）满载时，系统将KV缓存条目溢出至CPU内存或本地SSD。基准测试显示，在250个并发用户下，该技术使吞吐量提升13.9倍。

3. 解耦的前缀处理/解码（P/D）：将计算密集型的前缀处理与内存受限的解码分离至不同硬件池。AWS在Amazon SageMaker HyperPod上运行此模式，报告每秒token数比标准vLLM高出70%。

IBM Research演示表明，在使用llm-d服务GLM-5.2模型时，峰值吞吐量超过每分钟660万输出token，并能以零抢占方式并行服务3,000个编码代理，每token成本比商业API低5到10倍。

v1.0新增生产级特性

v1.0版本重点强化了多租户环境下的可靠性与操作性：

  • 多租户服务质量：引入基于优先级和公平性的流量控制，每个流拥有独立队列，并在需求过载时通过概率准入控制器优雅卸载负载。
  • 零停机操作：路由器高可用性提供热备用Endpoint Picker，确保故障即时接管；新的DisaggregatedSet抽象协调前后端同步升级，保证请求仅在兼容状态下到达。
  • 会话感知路由：利用“粘性直到饱和”亲和性，将多轮对话固定在持有KV缓存的副本上，并原生支持Responses API的上下文传递，减少代理重新发送历史数据的开销。
  • 稳定API基础：发布首个稳定、版本化的配置表面，Endpoint Picker请求路径已在各大云平台验证。

广泛的硬件支持与生产部署

llm-d保持加速器独立性，已验证支持NVIDIA（Hopper/Blackwell系列）、AMD（Instinct MI355X）、Intel（Xeon/GPU平台）及Google TPU。社区还贡献了对Rebellions NPUs等硬件的支持。

目前，多家头部科技企业已报告生产使用情况：

  • Google Cloud：基于llm-d构建GKE Inference Gateway，Vertex AI生产环境中首token时间减少35%以上，前缀缓存命中率翻倍至70%。
  • Red Hat：将llm-d作为分布式推理栈随Red Hat AI发货，在OpenShift及多云环境通用可用。
  • DigitalOcean：在混合AMD和NVIDIA硬件上运行llm-d，服务万亿参数Kimi K3模型。
  • JetBrains：基于llm-d构建AI编码代理Junie，利用预测延迟调度保持快速响应。
  • Tesla与Red Hat：联合案例研究显示，在AMD MI300X GPU上运行Llama 3.1 70B，输出token数增加3倍，首token时间减少2倍。
  • 其他：Mistral AI、Prime Intellect、AWS及IBM Research均在生产环境中部署或使用llm-d。

行业观点与战略意图

Red Hat AI CTO Brian Stevens指出，llm-d 1.0交付了标准化的分布式推理核心，帮助企业优化硬件性能并解决运营成本。IBM Research副总裁Priya Nagpurkar认为，开放技术对提高智能体工作负载的性能与降低成本至关重要。

从宏观视角看，llm-d联盟涵盖硬件供应商与云基础设施提供商，其策略意在使推理软件层商品化。当推理软件免费且标准化时，AI价值链的利润将更多流向GPU计算与云基础设施层，而非被模型API中间商捕获。CNCF治理与Apache 2.0许可证确保了项目的供应商中立性，防止单一厂商锁定。

未来，社区将继续开发活动-活动路由器配置、故障转移、多模态支持及对NVIDIA Vera Rubin和Intel下一代GPU的支持。llm-d 1.0代码及文档现已在GitHub开源。