亚马逊正式推出软件工具TorchNeuron公开测试版，旨在让开发者将基于PyTorch框架的AI代码从英伟达芯片迁移至其自研Trainium芯片的过程，简化为仅需更改基本配置。
此前，开发者若要在Trainium上运行PyTorch代码，需修改代码以调用亚马逊特定的编程接口。亚马逊旗下芯片设计部门Annapurna Labs技术软件副总裁Colin Brace表示，TorchNeuron消除了这一障碍，“如果你懂PyTorch，那你就懂Trainium。”该软件自去年底进入私有测试，周一宣布向所有开发者开放。
巨头合力破局英伟达垄断
英伟达凭借CUDA平台构建了深厚的软件生态壁垒，代码适配其他硬件往往耗时数月。TorchNeuron是科技巨头削弱英伟达对AI计算控制力的最新举措，尽管它们仍是英伟达的大客户。
- 谷歌已直接向部分外部客户出售TPU芯片，并开发TorchTPU项目，目标是让开发者以最小改动将PyTorch代码迁移至TPU。
- 微软上周表示，计划将大部分AI服务运行在其自研Maia芯片上，而非英伟达硬件。
- 据报道，亚马逊正就收购初创公司Decart进行谈判，交易估值可能约为70亿美元。Decart致力于开发帮助开发者将AI模型从英伟达芯片迁移至Trainium等替代方案的软件，英伟达也是其投资者。
Brace强调，亚马逊始终强调“选择权”，正如AWS同时提供自研Graviton芯片和英特尔处理器一样。亚马逊计划于周二在加利福尼亚州圣何塞举行的PyTorch大会上发布TorchNeuron的开源版本。
内部应用与商业成效
目前，Trainium的主要用户包括与亚马逊有紧密财务联系的AI实验室。Anthropic使用该芯片训练和运行Claude模型；OpenAI今年2月同意使用2吉瓦的Trainium容量，这是亚马逊向其投资500亿美元协议的一部分。
在私有测试期间，超过30家公司及亚马逊内部团队使用了TorchNeuron。旧金山语音AI初创公司Deepgram基准测试显示，相比现有GPU设置，Trainium每美元能处理约60%更多的音频数据，目前已在生产环境中运行该芯片。
亚马逊内部，Prime Video团队利用TorchNeuron构建了Prime 360系统，能将NBA比赛回放重建为3D视角，该功能将在本赛季部分赛事转播中上线。为确保兼容性，亚马逊每晚针对Hugging Face社区的10万多个模型进行测试。
芯片业务年化收入超200亿美元
亚马逊的芯片业务始于2015年收购Annapurna Labs。在今年4月的年度股东信中，亚马逊CEO Andy Jassy透露，包括Trainium和Graviton在内的芯片业务年化收入已超过200亿美元。他估计，若作为独立业务向AWS及其他客户销售，这一数字可达约500亿美元。
“我们对芯片的需求如此之大，未来很有可能向第三方出售成排的芯片机柜。”Jassy写道。Brace指出，随着PyTorch框架趋于成熟并降低对单一硬件的依赖，TorchNeuron将成为推动Trainium广泛采用的“加速器”。