LLM之战，谷歌彻底输了！

二狼留香

来源: 新智源  微信号：AI-era

前几天，谷歌差点遭遇一场公关危机，Bert一作、已跳槽OpenAI的前员工Jacob Devlin曝出，Bard竟是用ChatGPT的数据训练的。
随后，谷歌火速否认。
而这场争议，也牵出了一场大讨论：为什么越来越多Google顶尖研究员跳槽OpenAI？这场LLM战役它还能打赢吗？



知友回复

莱斯大学博士、知友「一堆废纸」表示，其实谷歌和OpenAI的差距，是数据的差距。
「OpenAI对LLM有强大的执念，这是Google这类公司完全比不上的。当然人的差距只是一个方面，数据的差距以及对待数据的态度才是其成功的关键。人可能可以花钱挖回来，技术可能可以补上，但数据的差距Google短时间内没法追上。」


https://arxiv.org/abs/2303.10158
显然，ChatGPT的成功中，至关重要的一环，就是高质量的标注数据。
「一堆废纸」介绍，OpenAI对数据和标签质量的重视程度令人发指，对标注人员的选择极为严苛（有考试），最后甚至会发放问卷。正是这种执念造就了GPT模型的成功，这是Google根本比不上的。
而随着上亿用户不断给OpenAI提供新的数据，谷歌和OpenAI的差距只会越来越大。
Data-centric AI的理念，奠定了OpenAI的成功。



自然语言处理、深度学习话题的优秀答主「张俊林」表示，OpenAI已经把所有人都甩开了一大截。

包括Google在内，其实对于LLM发展理念的理解，明显都落后OpenAI一个身位。现实是OpenAI表现过于优秀，把所有人都甩开了，不仅仅是国内。我觉得，OpenAI对LLM在理念及相关技术方面，领先国外的Google、DeepMind大约半年到一年的时间，领先国内大概两年左右的时间。

知乎答主「周道道」表示，谷歌近期的翻车和OpenAI以对比，必然给了这些顶尖的研究员巨大的震撼。
另外，据说OpenAI相对谷歌也会给研究员更多的资源和更宽泛的要求，毕竟OpenAI更像是一个研究机构，而谷歌更像是把AI当成产品在研发的部门。
而答主「陈大宝」的回答可谓非常扎心。

未来商业历史会记录两个又经典又嘲讽的案例：
1.柯达发明了数码相机
2.谷歌发明了transformer

图源：「陈大宝」
评论区还惊现了利益相关匿名人士。



又一名匿名人士说到点上了。



知友「飞了个猪的」点出来了谷歌作为大公司的「创新者困境」。



又一利益相关匿名人士出现。



知友「周星楠(Bill)」总结道，谷歌这样的大公司就是要去人材化，基于policy，所有大家都是螺丝钉。



而Insider为我们总结了一篇长文，盘点了这些年从谷歌人工智能团队流失的顶级人才。
人才都去哪了？

谷歌为人工智能领域贡献了一些很重要的研究。然而，该公司在将创新转化为产品方面一直进展缓慢。
因此，顶级人工智能研究人员纷纷离开，去往那些可以产生更大价值和影响的初创公司，例如OpenAI，Character.AI，DeepMind，Cohere，Inceptive。谷歌已经处于防守地位，时时刻刻会失去人工智能领域领先的地位。而顶级研究人员的离开，更是加剧了这一问题。



Cohere的联合创始团队Ivan Zhang, Aidan Gomez, 和Nick Frosst
虽然谷歌可能处于防守模式，但其实它没必要这样的。该公司自己创造了许多基础技术，为ChatGPT等产品提供动力。它还将其研究作为开放源码提供，这在某种程度上讽刺了OpenAI的迅速崛起。由于担心该技术会对其业务造成声誉上的损害，谷歌长期以来一直对发布类似于ChatGPT的聊天机器人犹豫不决。谷歌大型语言模型LaMDA背后的两位研究人员Daniel De Freitas和Noam Shazeer离开了公司，他们对公司迟迟不发布类似ChatGPT的聊天机器人感到沮丧。其他前谷歌研究人员也认为，在人工智能如此激动人心的时代，创业公司会为研究人员提供成果的所有权，并且自己会发挥更多价值和影响。以下是人工智能领域最引人注目的一些论文，这些论文的研究人员已经离开谷歌去了别的公司。
Ilya Sutskever

「用神经网络进行序列到序列学习」发表于2014年，这篇序列到序列论文探讨了训练语言模型，将一个领域的单词序列转换为另一个领域的序列。例如，将一个英语句子转换为法语句子。


Ilya Sutskever领导了这篇论文的研究。他在担任了近三年的研究科学家后于2015年离开谷歌。Sutskever是OpenAI的联合创始人，并继续作为其首席科学家在那里工作。


注意力是你所需要的一切


这篇Transformer的重磅论文，如今引用量已经突破七万次。Transformer被认为是自然语言处理方面的一个突破。它通过同时观察句子中的每个词并权衡每个词的重要性来收集上下文的细微差别，从而帮助人工智能理解含义。
而ChatGPT中的「T」代表的就是Transformer，足以见得这篇论文的重要性。不过，本文的八位作者，除了Llion Jones，都已经离开了谷歌。


Ashish Vaswani在五年后离开了谷歌大脑（谷歌的深度学习人工智能研究团队），创办了Adept公司，该公司最近筹集了3.5亿美元，建立生成性人工智能工具，帮助人们更有效地使用生产力软件。他最近离开了Adept，去了一家隐秘的创业公司。


Noam Shazeer现在是Character.AI的CEO。


Niki Parmar在五年后离开谷歌大脑，担任Adept公司的联合创始人和首席技术官，不过和Vaswani一样，她最近也离开了，去了一家隐秘的创业公司。


Jakob Uszkoreit在谷歌工作了13年，从事神经网络和深度学习。他现在是Inceptive的联合创始人，这是一家利用深度学习来设计新疗法的初创公司。


Aidan Gomez是Cohere公司的联合创始人和首席执行官，该公司已经筹集了大约1.6亿美元，帮助开发者将生成性人工智能纳入他们的应用程序和网站。他在谷歌大脑做了一年半的研究员。而他在Cohere的联合创始人Nick Frosst在谷歌大脑做了四年的研究员。


Lukasz Kaiser在谷歌大脑工作了7年多后离开了谷歌大脑，于2021年加入了OpenAI。Kaiser最近在OpenAI的GPT-4白皮书中被引用为其长语境能力的核心贡献者，他让聊天机器人在忘记讨论的语境之前，可以进行更长的对话。


Illia Polosukhin在谷歌大脑从事了三年的深度学习和自然语言理解工作。他在2017年离开，创办了Pagoda，一个Web3创业平台。


建立一个类似人类的开放域聊天机器人


这个论文介绍了谷歌最初的聊天机器人Meena，探讨了聊天机器人如何通过研究从公共社交媒体对话中搜取的数据来学习谈论话题。它还介绍了谷歌创建的一个来评定聊天机器人说话表现的测试。这篇论文是大语言建模的另一个重要里程碑，作者认为他们可以在没有硬编码训练的情况下，做出一个大语言模型，对问题产生类似人类的反应。


作者之一Daniel De Freitas在谷歌大脑做了五年的研究员后，担任Character.AI的联合创始人和总裁。De Freitas在Character.AI的同事Romal Thoppilan对本文也有贡献。



左为Romal Thoppilan；右为Daniel De Freitas
LaMDA：对话应用的语言模型


LaMDA是对话应用的语言模型的缩写，也是聊天机器人Bard的基础。它在2020年作为Meena首次演示，但谷歌从未向公众发布Meena。谷歌人工智能研究部门的前雇员解释说因为谷歌担心机器人会发表有害的评论，这会是一场公关的噩梦。


LaMDA背后的几个主要研究人员已经离开了谷歌大脑。Daniel De Freitas和Noam Shazeer去年成立了Character.AI这家公司，他们最近筹集了大约2亿美元来创建以各种角色形式说话的聊天机器人，从马斯克到治疗师到生活教练的各种角色。Romal Thoppilan在谷歌大脑工作了7年之后，担任Character.AI的创始研究员。Alicia Jin在接近2022年底时加入Character.AI，担任研究工程师。她曾在谷歌大脑工作了三年。
BERT


BERT（Bidirectional Encoder Representations from Transformers）建立在自然语言处理的Transformer模型上，经过预先训练，可以很好地完成两项任务：掩蔽语言建模和对下一句话的预测。换句话说，BERT试图预测隐藏的或「被掩盖的」词语，迫使算法努力学习更多关于周围文本的知识，更好地预测隐藏的词语。如果你输入「你能为别人的药房买药吗」，它将理解「别人」是查询的一个重要部分。谷歌早在2019年就开始将BERT纳入搜索引擎之中。这是自2015年纳入另一种机器学习算法RankBrain以来，搜索准确性方面的最大进步之一。Jacob Devlin是这篇论文的主作者，而他在ChatGPT推出前不久加入了OpenAI。


T5


T5论文的正式名称是「用统一的文本到文本Transformer探索转移学习的极限」，它建立在BERT的基础上，非常适合于翻译和总结等任务。


领导这篇论文的Colin Raffel在2021年离开之前，在谷歌大脑担任了大约五年的研究科学家。目前是联合国大学教堂山分校的助理教授，每周花一天时间在Hugging Face担任研究员。Hugging Face最近宣布，它在2022年5月筹集了1亿美元，公司的估值为20亿美元。用户可以在Hugging Face分享大型语言模型和数据集。


T5论文的另一位撰稿人Sharan Narang在谷歌大脑工作四年后，于2022年离开了那里。他现在是Meta公司的一名人工智能研究员。


一种用于快速芯片设计的图形放置方法


由谷歌科学家Azalia Mirhoseini和Anna Goldie领导的论文发现，人工智能可以比人类专家更快地完成芯片的设计过程。


两人领导的另一篇论文《用深度强化学习进行芯片布局》，提供了一种在芯片设计中使用人工智能的方法，以最大限度地提高性能，同时最大限度地减少面积和功率的使用。


这些发现有助于谷歌设计TPU芯片，专门用于机器学习任务。Mirhoseini和Goldie都在2022年离开谷歌，加入了Anthropic，也是OpenAI的竞争对手，它们正在开发自己的大型语言模型和一个名为Claude的聊天机器人。


DeepMind


Mustafa Suleyman是DeepMind的联合创始人，并担任该公司的首席产品官。这是一家人工智能实验室，于2014年被谷歌收购。该实验室开发了AlphaGo，该机器学习程序在围棋中击败了世界冠军的专业人士。


谷歌的母公司Alphabet最近在其第四季度财报中宣布，DeepMind的财务业绩将从 「其他投资」中独立出来，这标志着人工智能在谷歌未来战略中的重要性。通常情况下，「其他投资」是该公司的新生项目的总称，这些项目尚未达到盈利水平。Suleyman一直是确保新人工智能产品安全的积极倡导者。在DeepMind工作期间，他成立了一个名为DeepMind伦理与社会的研究部门，研究人工智能的现实影响。2019年，他因被指控欺负员工而被DeepMind放假。在调查进行期间，他调回到谷歌担任副总裁一职。Suleyman在许多与机器学习有关的研究论文中被引用。2022年2月，他与LinkedIn的创建者Reid Hoffman共同创建了人工智能初创公司Inflection。谷歌最具开创性的人工智能论文的许多主要贡献者已经离开，或是加入了OpenAI等竞争对手，或是创办了自己的公司。当OpenAI的ChatGPT于2022年年底问世时，谷歌首席执行官Sundar Pichai在内部宣布了「红色预警」，召集公司做出回应。当时，Pichai表示，谷歌将毫无疑问地继续雇用人工智能领域的顶级研究人员。不过失去了这么多得力干将，谷歌是否还能再造辉煌呢？参考资料：https://www.businessinsider.com/google-ai-teams-brain-drain-researchers-leave-2023-3https://www.zhihu.com/question/592975340/answer/2963265672https://zhuanlan.zhihu.com/p/597586623https://www.zhihu.com/question/592975340/answer/2964598555

泡芙巧克力

黄埔军校

小重

如果这个说法成立，openAI做的事就没用。将来必将有更优秀的模型在从海量垃圾数据上精准学到金子，超越GPT

鑫达广告

其实代入思考就会觉得很正常，chatGPT已经过实践检验了，现在让你开始一个项目追赶它，你是先用它数据蒸馏保证追上还是另起炉灶去赌自己的模型能够从零训练到类似水平？实事求是没什么不好的。其实Google之前的方案就和OpenAI很不一样，但是训练这么久效果也不好，面对上级的压力[捂脸]，能直接对模型蒸馏何必冒险呢？经历告诉我冒险者会死得很惨，而且没人会可怜或者敬佩你[大笑]

寻找远方的自己

这就是大公司的宿命…某后商学院教程开篇即说明这一点。这不是佛系研究终点说教版，这是说成为领头的巨头之后，慢慢的就选择不花力气（

我爱面条

和马宝宝真像啊

兜的盖世英雄

人类能记忆的数据量并没有chatgbt多，但是能理解的数据远超过chatgbt