人工智能 / ARTICLE

微软研究院AI Frontiers团队解散

AI Frontiers被并入Microsoft AI后,作者及其创始领导团队离开。该团队曾开发Autogen、Fara等智能体框架,并在模型训练方法上做出多项探索。

从微软研究院内部组建

2023年ChatGPT发布后,作者认为微软研究院内部需要更组织化的研究方式。单人推进一个聪明想法往往来不及,基线也不够强。几位同事有相似判断,他们共同在MSR内部组建了AI Frontiers子组织。AIF试图组织连贯的研究工作,既非自上而下也非自下而上,更多处于两者之间的混乱中间地带。团队内部存在分歧,算力经常是严重瓶颈。但作者认为,这个约50人的小组仍在做开创性工作。

AIF的一部分工作围绕智能体展开,开发了Autogen编排框架和Fara计算机使用智能体。纽约团队则关注新的基础能力,包括支持外推的Next Latent目标、优化版Muon的Dion3,以及通过递归让模型更高效提升能力的Full Bandwidth Transformer。

并入Microsoft AI之后

9月初,AIF被重组并入Microsoft AI。表面上看,两个AI组织合并可以集中力量,AIF与MAI各有领先之处。但实际执行中,MAI前Inflection领导层的哲学与AIF不相容。MAI的核心哲学是扩大规模,并且激进地不做研究。在只追求规模的环境中,主要工作围绕获取、制作和精炼数据展开,这距离AIF此前的工作很远。作者还提到,有大量证据表明他们并不真正想要AIF。

作者认为只关注规模既方向错误,也没有乐趣。规模扩展简单直接,人们容易彻底选择规模而放弃创新,但研究回报真实显著。作者举例,字节跳动的实验表明Full Bandwidth Transformer的一个变体可能媲美两倍大小的模型,这意味着训练和推理成本可以减半。考虑到行业投资接近一万亿美元,这笔节省价值巨大。

离开与不返回MSR

作者尽量安置了自己的团队成员后离开。所有其他AIF创始领导团队成员似乎也得出了相似结论。为什么不回MSR?作者与一些人谈过,但有两个障碍无法回避。他无法待在一家研究成果没有实际落地路径的公司。他在MAI时无法让创新进入实际使用,甚至未被认真考虑,因此回MSR的前景也很小。他还担心MSR的基本契约——做好工作就会有好结果——已经破裂。在他看来,他们做了好工作,却被非自愿地重组离开。

AI Frontiers结束了。作者说,接下来一年该团队不会有实习机会。他祝福留下的人,并设想如果掌权者多一点智慧,未来的微软可能重新成为有吸引力的研究之地。

END
反馈