微软正式推出 Maia 300 AI 加速器，旨在通过软件定义数据流架构（SDLA）的演进，解决长上下文及重度推理任务中的能效挑战。相较于前代 Maia 200，Maia 300 在完整 96 加速器配置下，机架级 Token 吞吐量最高提升 7 倍，每瓦性能提升超过 2.5 倍。
架构演进：从 UMA 到 NUMA 的数据流优化
Maia 200 引入了软件定义本地访问数据流架构（SDLA），将控制路径与数据路径分离，实现软件对数据放置、移动及同步的显式协调。Maia 300 在此基础上进行了三项关键演进：
- 内存架构重构：从片上系统（SoC）的统一内存访问（UMA）转变为跨芯片的非统一内存访问（NUMA）。软件可将数据放置在靠近计算单元的位置，结合 SDLA 对 DMA 引擎和本地 SRAM 的控制，显著缩短数据移动距离，降低能耗。
- 精度与格式优化：引入增强的 MXFP4 及低于 3 位的存储格式，配合硬件加速的数据类型转换，减少每个 Token 的移动字节数，从而在同等功耗下支持更大模型和更长上下文。
- 规模扩展：机架内加速器数量翻倍至 96 个，扩展域延伸至包含 12,288 个加速器的超级 Pod（Superpod），实现更大规模的单一系统协同。
硅片与封装：台积电 N2P 工艺加持
Maia 300 并未单纯依靠增加功耗和硅片面积来提升性能，而是通过多芯片封装架构优化每瓦表现：
- 先进制程：计算单元采用台积电 N2P 工艺，最大化每瓦性能优势；内存控制器和 I/O 功能则分离至专为带宽和成本优化的裸片上。
- 性能提升：该策略使系统浮点运算次数（FLOPs）提升 36%，HBM 带宽增加 2.5 倍，扩展带宽提升 14%。
- 内存层次结构：每个加速器配备八个 HBM4 堆栈，提供 288 GB 容量和 18 TB/s 带宽。相比 Maia 200，内存带宽提升 2.5 倍，容量增加 33%，每瓦 HBM 带宽约为原来的 2 倍。
网络互联：单一 Fabric 贯穿 Pod 至 Superpod
Maia 300 将网络作为 SDLA 的原生延伸，基于以太网实现自定义 AI 传输协议，构建高性能两级网络：
- 机架内连接：采用半交换拓扑，直连链路连接托盘内加速器，交换 Fabric 连接机架内全部 96 个加速器，均使用电信号链路以降低功耗和成本。
- 机架间互联：二级交换机通过光学元件连接多达 128 个机架，形成 Superpod。
- 统一通信语义：集成网络控制器使 Pod 内部和 Superpod 之间使用相同的通信语义。加速器可直接发起跨节点通信，无需主机或外部网卡介入。
- 低延迟与弹性：跨 Pod 通信仅需三跳交换机。当加速器不可用时，调度程序可透明调用 Superpod 内其他机架的热备容量，以轻微延迟换取高可用性。
机架级部署：167 kW 高密度集成
Maia 300 机架协同设计了服务器布局、网络拓扑及冷却系统，在 167 kW 功率下集成 96 个加速器，密度是 Maia 200 的两倍：
- 整合式设计：消除独立主机托盘，24 个四加速器托盘共用电源和热资源。六个高基数交换 ASIC 集成在三个液冷交换托盘中，最小化空间占用。
- 混合冷却：液冷处理加速器、电压调节器和交换 ASIC 超过 80% 的热负荷，风冷支持内存等辅助组件。系统支持直接连接设施用水或使用换热器，适应不同数据中心环境。
- 智能遥测：机架级电源遥测与数据中心运营相连，算法可根据可用电源和冷却容量动态分配电力，优化工作负载放置和部署密度。
Maia 300 代表了微软在云规模智能体推理上的端到端优化成果。微软计划在下个月举行的 Microsoft Ignite 2026 大会及线上活动中，分享更多关于 AI 战略及技术采用的详细信息。