您现在的位置 :

首页  >  行业动态 >  > 正文

Meta大模型核心团队一半出走！内部三大矛盾首次被曝

时间 :2023-09-09 06:02:07   来源 : 智东西

智东西


(资料图)

编译 | 陈佳慧

编辑 | 徐珊

智东西9月6日消息，据The Information报道，虽然Meta发布的大语言模型Llama和Llama 2得到了广泛好评，但有知情人士透露，2月份发表Llama原始研究论文的14名作者中，有一半以上已经离开了Meta。

ChatGPT发布后，Meta的AI研究部门FAIR开发压力增加。而开发运用于生成式AI的大语言模型需要专门的芯片来进行计算，知情人士称，在Meta的Llama团队进行研发的同时，还有另一个团队也在研发一个新的用来与谷歌PaLM模型竞争的模型，两个团队需要争夺Meta内部的计算资源。Meta出现大量人才流失的情况，或许是因为Meta在AI研究与布局上存在计算资源分配问题、团队士气问题、以及公司人员与AI研究方向安排问题，本文将对这三大问题进行分析。

一、ChatGPT的发布刺激Meta大语言模型研发

2013年，Meta聘请了法国科学家Yann LeCun担任AI研究总监，同时设立了FAIR。此后，Meta的AI研究工作都以FAIR为中心。

FAIR除了在加州的门洛帕克和LeCun所在的纽约设立了主要实验室，还在蒙特利尔、巴黎、伦敦和西雅图设立了其它实验室。其中，蒙特利尔是Meta的AI研究实验室Fundamental AI Research的负责人Joelle Pineau的所在地。

FAIR开展的研究项目涉及到使用AI进行语言翻译和改进核磁共振（MRI）扫描等场景。在ChatGPT发布之前，Meta一直致力于开发自己独立的大语言模型。但是当OpenAI在2022年初发布了基于GPT-3.5模型的用户友好型聊天机器人ChatGPT后，Meta的领导层要求将AI研究融入更多产品，FAIR的研发压力不断增加。

Meta的首席执行官马克·扎克伯格（Mark Zuckerberg）曾说过，Meta在生成式AI的研发上落后于OpenAI后，他计划将生成式AI作为Meta的核心优先事项。此外，Meta还试图通过定期发布关于其AI发展的新动态，引起人们对其AI工作的兴趣，推动其AI工作宣传。

二、计算资源分配出现问题或加速企业研究人才流失

2022年5月，FAIR中一个驻扎在美国的团队公开发布了OPT-175B模型。Meta声称，虽然编码训练期间使用的内容数量相同，但OPT-175B模型的能耗比OpenAI的GPT-3要低。有两位知情人士说，在几个月后，因为要与谷歌的PaLM模型竞争，开发OPT-175B模型的团队开始开发第二个更大的模型。

与此同时，FAIR驻扎在巴黎的团队正在开发一种被称为Llama的独立大语言模型。相比OPT，这个模型更小。一位知情人士说，这个团队认为较小的模型在生成对用户问题的响应方面会更加高效。

因此，两个研发团队都需要使用Meta内部的计算资源，一些研究人员觉得这就像是一场竞争。两位知情人士透露，FAIR的一些领导就曾质疑为什么会有两个团队同时开展类似的项目，对有限的计算资源的争夺加剧了团队之间的紧张关系，特别是相较于北美的OPT团队，巴黎的Llama团队获得的计算资源较少，因此Llama团队感觉被忽视了。

Pineau说，Meta的计算资源如何分配是由来自不同业务部门的一组领导者根据每月情况决定的。这些决定取决于组织的优先事项以及项目距离发布的时间。如果FAIR的成员对资源分配提出异议，那么分配情况的争议就将升级汇报到Pineau那里。

Joelle Pineau（图源：领英）

根据The Information报道，在采访中，Pineau承认Llama和OPT团队在计算资源分配的问题上存在“一些紧张关系”，虽然他们不能完全同意每个人想要的东西，但现在他们正试图找到一种方法让大家都觉得自己的声音被听到了。

据知情人士透露，2月份发表Llama原始研究论文的14名作者中，一半以上已经离开了Meta。其中Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux目前在法国AI初创公司Mistral AI工作，这家公司是Lacroix和Lample于6月共同创立的。还有Llama的作者之一、FAIR的研究主任Armand Joulin也于5月离开了Meta，加入了苹果公司。

Pineau在接受The Information采访时提到，留住和吸引优秀人才可能是她花费最多时间的地方，因为没有优秀的研究人员就什么都做不了。

而这些研究人员的离开提醒人们，无论是大型还是小型科技公司，在开发生成式AI时都面临着计算能力短缺的紧张局势，大型科技公司拥有比大多数公司更多的计算资源，但即便是这些公司，它们能提供的资源也是有限的。同时，随着AI行业的发展，众多企业都想要把AI融入其产品和服务中，对AI人才的需求在激增，Meta的大量研究人员离职也凸显出，大型科技公司在留住珍贵的AI研究人员方面也面临着挑战。

三、合作无间的团队伙伴离开，团队士气问题可使人心浮躁

除了计算资源分配问题让人头疼，不断有人员离开也给FAIR的各个研究团队的士气造成了影响。

2月，FAIR发布了开源模型Llama，并授权用于研究。有知道内情的人士说，在Llam发布时间的前一周，FAIR巴黎分部负责人Antoine Bordes离开了Meta，他离开的理由是他在巴黎工作就像在加利福尼亚州工作一样，工作时间颠倒混乱，这让他感到疲惫不堪。

Antoine Bordes（图源：彭博社）

Bordes的离职进一步孤立了远在巴黎的Llama团队，使其与北美总部的领导层隔阂更深。Pineau在The Information的采访中承认，Bordes的离职确实让他带领的Llama团队人心惶惶、士气低落。

不过Llama团队并不是唯一出现士气问题的团队。几个月来，OPT团队也不断有人员离职，团队的人才一直在流失。FAIR根据OPT团队成员在职场社交平台领英（LinkedIn）的个人资料发现，在2022年5月发表的一篇关于OPT的论文中列出了19位作者，这19位作者已经有差不多一半不在Meta工作了。

四、公司人员与AI研究方向的安排仍在探索，适应新团队与新项目让人疲惫

从去年11月开始，扎克伯格在全公司范围内进行裁员，FAIR也未能幸免。

两位知情人士透露，今年2月，FAIR领导决定将互相竞争资源的大模型研发团队的一些成员聚集起来，集中精力开发后来的Llama 2模型。并且，OPT团队正在开发的更大模型被放弃了。Pineau说，OPT团队的人员流失是做出这个决定的原因之一，所有团队都希望在某个时候扩展规模，这时候就必须要选择一个团队或者让几个团队的成员一起工作。

同样是2月，Meta成立了一个新团队，专注于为Meta的应用程序开发生成式AI。这个新团队由苹果公司前高管艾哈迈德·阿尔·达赫勒（Ahmad Al-Dahle）作为负责任，从FAIR吸纳了大量人员，据Pineau说，其中包括开发Llama 2的团队成员，这进一步削弱了FAIR的团队力量。

Llama 2（图源:AI BUSINESS）

自从2月Llama被推出，该模型持续赢得收获好评。据The Information之前的报道，在Llama发布后的几个月，有AI研究人员使用Llama开发出了其它开源的大语言模型，如Vina，其功能几乎与其它公司自主开发的模型不相上下。发布开源AI模型将使Meta受益匪浅，如扎克伯格所说，随着开发者不断改进模型，Meta公司可以将这些改进融入其广告和消费产品中。

Meta在7月发布了Llama 2，8月发布了Llama的代码生成版本。最近，在公司的门洛帕克园区举办的生成式AI社交活动中，Meta向与会者赠送了骆驼毛绒玩具。

尽管Llama系列取得了成功，但由于Meta对其AI研究发展方向的想法正在发生变化，研究人员之间的紧张关系仍然存在。FAIR一直以来都有由研究人员领导的自下而上的文化，他们以推动AI领域的突破为核心使命。但随着扎克伯格越来越倾向于将AI融入Meta的应用程序，FAIR的关注点也随之缩小。他们取消了一些不以产品为导向的研究，比如蛋白质折叠。

同时，项目在专注以产品为导向开发生成式AI的团队与FAIR之间来回转移。Pineau说，因为生成式AI发展得太快，大家正在共同探索，FAIR应该负责哪个项目？生成式AI团队应该负责哪个项目？最终，人们应该会看到两个团队都发布工作成果。

结语：Meta需积极采取措施应对研发人才流失的挑战

根据The Information报道，因为计算资源分配问题、团队士气问题、以及公司人员与AI研究方向安排问题，Llama的原始研发团队中一半以上的研究人员已经离开了Meta。

失去了大量熟练的研究人员可能会对Meta造成影响，在生成式AI这个竞争激烈的领域中，Meta需要积极采取措施来留住人才，以此保证其生成式AI的发展战略能够顺利实施。

未来，Meta会采取哪些措施减少人才流失，我们将持续关注。

来源：The Information

标签：

推荐文章

X 关闭

资讯

X 关闭

行业动态