
随着2023年ChatGPT的发布,微软研究院(MSR)内部意识到,传统的分散式研究模式已难以应对激烈的竞争。个人研究者受限于速度与基线构建能力,往往难以产出具有说服力的成果。为此,MSR组建了旗下子组织AI Frontiers(前沿人工智能),旨在通过更有组织性的方式推进研究。
小规模团队的开创性尝试
AI Frontiers规模约50人,其运作模式介于“自上而下”与“自下而上”之间。尽管面临计算资源瓶颈及内部意见分歧,该团队在智能体(Agents)领域取得了显著进展,推出了Autogen编排框架及Fara计算机使用智能体。此外,部分成员专注于基础能力创新,包括支持外推的Next Latent目标、优化Muon算法的Dion3,以及通过递归增强模型功能的全带宽Transformer。
为促进知识共享,AI Frontiers构建了默认向MSR全员开放的单代码库(monorepo),其中包含经COLM主题演讲验证的边缘规模预训练代码。这一基础设施的建设极具挑战,据悉至少有四个团队在并行开发类似的模型构建流水线。
并入MAI后的理念冲突
今年9月初,AI Frontiers被重组并入Microsoft AI(MAI)。表面看,此举有助于集中资源,毕竟MAI规模更大且在部分领域领先。然而,实际整合中出现了严重的水土不服。MAI由前Inflection AI领导层掌舵,其核心经营理念是“扩展”(Scaling)而非“研究”。
在该管理层看来,更大的模型意味着更好的预测质量,且从商业角度而言,规模带来的回报比研究更具可预测性。因此,MAI的资源主要倾斜于数据的获取、制作与优化。这种仅关注扩展的路径与AI Frontiers的研究导向格格不入。大量迹象表明,MAI领导层并不真正需要这支研究团队。
研究的真实价值与离职抉择
作者指出,单纯追求扩展是一种短视的失败模式。研究显示,技术创新能带来显著的成本优势。例如,字节跳动的实验显示,全带宽Transformer的变体效能相当于两倍大小的传统模型,这意味着在同等能力下,训练和推理成本可大幅减半。考虑到行业已投入近万亿美元,这一节省潜力巨大。
在安顿好团队成员后,作者选择离开微软,AI Frontiers的创始领导团队成员也大多做出了相同决定。作者并未选择回归MSR,原因有二:首先,在MAI的经历使其怀疑创新在微软内部缺乏实际应用路径;其次,MSR“做好工作,好事就会发生”的基本契约似乎已经破裂——团队虽产出高质量成果,却仍被非自愿重组并边缘化。
随着AI Frontiers成为历史,该团队明年的实习生计划也已取消。作者对留任同事致以祝愿,并暗示若管理层能更具智慧,微软未来仍有望重新成为吸引顶尖研究的沃土。