Reflection正式推出Beam,这是其首款面向软件工程及长周期智能体任务的开源权重模型。Google Cloud宣布,即日起在其AI Hypercomputer和NVIDIA AI基础设施上提供对该模型部署的首日支持。

Beam基于Apache 2.0许可证发布,首发提供BF16、FP8和NVFP4检查点。该模型总参数量约5010亿,每Token活跃参数约230亿,上下文窗口达100万Token。

深度优化服务栈

针对智能体编码工作负载中多次调用模型的特性,Google Cloud与Reflection合作,利用llm-d配合vLLM,以及NVIDIA Dynamo配合SGLang,对Beam的服务栈进行了深度优化。此举旨在提高吞吐量并降低延迟。

Reflection产品副总裁兼开源负责人Joe Spisak表示,通过在Google Cloud上部署Beam,其在优化智能体工作负载服务方面实现了高达5倍的吞吐量提升和8倍的延迟降低。

Beam专为基于文本的软件工程设计,适用于解决GitHub问题、运行命令行、处理DevOps工作流,以及通过现有编码框架完成更长周期的任务。Reflection指出,Beam在达成解决方案时,所需的推理Token比同类开源模型少三到四倍,从而降低了每一步推理的计算资源消耗。

攻克长会话推理瓶颈

Google Cloud此次公告的重点在于大规模运行系统的能力,而非模型训练本身。在多轮编码会话中,随着文件读取、代码变更、编译器日志等上下文不断累积,提示词长度激增,模型可能被调用数十次,这对推理系统构成巨大压力。

主要挑战集中在两个阶段:一是预填充(prefill)阶段,系统需在处理长提示词前消化大量数据;二是键值缓存(KV Cache)的内存管理,需存储历史上下文以避免重复计算。Google Cloud指出,传统的无状态负载均衡可能将同一会话的不同轮次分发至不同副本,导致系统被迫重新计算大型提示词,进而增加延迟并浪费GPU资源。

为此,新发布的部署方案采用了前缀感知路由、预填充与解码分离、推测解码,以及在GPU内存、主机DRAM和本地SSD之间进行分层缓存存储等技术。Google Cloud表示,这些措施旨在生产环境中跨多个会话保持Beam的Token效率。

硬件配置与基准测试

客户可选择两种硬件配置运行优化后的Beam:一是基于NVIDIA GB300 NVL72系统的A4X Max实例,二是搭载NVIDIA RTX PRO 6000 GPU的G4虚拟机。

基准测试显示,相较于各自硬件上的基线部署,A4X Max实例的吞吐量提升多达5倍,延迟降低8倍;G4虚拟机的吞吐量提升多达2倍,延迟同样降低8倍。Google Cloud强调,由于两种配置在不同硬件设置下测试,结果仅展示相对于各自基线的提升,而非两者间的直接对比。

相关软件堆栈将通过Google Cloud的AI Hypercomputer配方、llm-d仓库以及Gemini平台的Model Garden提供,为开发者提供预构建的部署选项,无需自行组装服务架构。

开源策略与生态整合

Beam以宽松许可证发布,填补了当前市场中大型推理和编码模型访问权分裂的空白——即介于专有API与较小开源模型之间。通过开放权重,Reflection旨在吸引希望直接控制模型运行、适配和部署的企业用户。

对Google Cloud而言,提供首日支持是其吸引构建AI智能体开发者战略的一部分。这类工作负载不同于一次性聊天查询,对基础设施的路由效率、内存管理及长提示词响应能力提出了持续且更高的要求。

目前,Beam可与Reflection的Mirror命令行界面,以及Claude Code、Hermes和OpenCode等工具配合使用,旨在无缝融入现有的编码工作流。