Together AI 正式推出开源工具 Together Compiler，利用 AI 智能体团队自动重写服务模型背后的 GPU 代码。该工具将模型速度优化周期从以往的数周压缩至一夜之间，且无需客户进行额外配置。作为实现递归自改进推理的首步，Together Compiler 目前已投入生产环境，每日处理数万亿个 token。
面对 AI 工作负载的快速迭代——新模型频发、架构多样化及流量分布动态变化，传统推理优化显得捉襟见肘。数据显示，OpenRouter 上 80% 的流量流向近三个月发布的新模型，且头部十个开源模型各具不同架构。Together Compiler 旨在通过智能体持续优化新部署，以应对这种动态挑战。
突破验证瓶颈，迭代效率提升252倍
尽管 AI 智能体具备优化生产代码的能力，但传统系统中单次编辑的验证耗时高达 15 分钟，成本高昂。Together Compiler 通过创新设计最大化智能体迭代速度，其运行的实验数量是现有推理优化系统的 252 倍，确保昂贵的 GPU 资源得到充分利用。这种高吞吐量使得系统在 24 小时内即可生成并部署最先进的优化结果。
Phonic 联合创始人 Moin Nadeem 表示，运行 Together Compiler 将其首次语音生成的中位时间缩短了近 50%，且优化过程在一夜之间完成，助力 Phonic-1 更早交付。
实测性能全面超越手工调优
在针对主流开源模型的基准测试中，Together Compiler 表现强劲：
- 跨模型与芯片的快速适配： 在 Kimi K3 和 GLM 5.3 上，其峰值吞吐量分别达到 SemiAnalysis InferenceX 基准最佳结果的 1.5 倍和 1.4 倍，且调整过程仅需一天。
- AI 优化优于手工代码： 在 Llama 1B 模型上，Together Compiler 实现了每秒超 2,100 个 token 的速度，是包括 Together AI 自身手写 megakernels 在内的手工调优代码速度的 1.7 倍。在 NVIDIA H100 和 B200 GPU 上，其在所有测试输出长度中均保持最快。
- 刷新单用户速度纪录： MiniMax M3.1 Flash 在 NVIDIA B200 上达到每秒 1,111 个 token，为基线的 1.8 倍；DeepSeek v4.1 Flash 在 NVIDIA GB300 上达到每秒 1,205 个 token，为基线的 1.3 倍。
开启“多态推理”新篇章
Together AI 研究创始副总裁 Dan Fu 指出，当前大多数推理仅利用了 GPU 的一小部分能力，且随着新模型和芯片的推出，这一性能差距会反复出现。Together Compiler 是其更大规模倡议“多态推理”（Polymorphic Inference）的首个项目，旨在构建能够随模型、工作负载和芯片变化而自我适应的推理系统。
Together AI AI 系统研究高级副总裁 Simran Arora 表示，面对持续演变的流量形态和优化目标，传统的静态优化难以为继。Together AI 致力于构建能跟上流量演变节奏的代理推理编译器，通过 AI 智能体在数学、工程和科学领域的目标导向优化能力，实现推理服务的持续自我改进。