8 名谷歌员工发领略今世人工智能，这是那篇论文的内情故事
神译局是36氪旗下编译团队，关注科技(Technology)、商业、职场、生活(Life)等领域，重点介绍国外的新技术、新观点、新风向。
编者按：前人种树，后人摘果。在科技(Technology)圈，科技(Technology)巨头做出创新技术但成果却被初创企业窃取的情况屡见不鲜。最近的例子之一便是谷歌与OpenAI。最近对科技(Technology)圈产生最深远影响的论文《Attention Is All You Need》就是谷歌的人发表的，但最终引爆市场的却是OpenAI。那篇论文的所有8位作者后来均离开了谷歌，本文介绍了这篇论文的诞生故事，并介绍了他们(They)的最新动向。也许里面最值得深思的，是如何打造创新的土壤。我们(We)如何才能打造出那样的土壤呢？文章来自编译。
2017 年春发表的科学论文《你所需要的只是注意力》（Attention Is All You Need）共有八位作者，他们(They)都来自谷歌，不过当时其中一人已经离开了公司。当其中最资深的作者诺阿·萨泽尔（NOAM SHAZEER）看到初稿时，他意外地发现自己的名字位列所有作者之首，这似乎表明他所做的贡献最为显著。他说：“我可不是这么想的”。
作者名单如何排序从来都是件需要精心权衡的事情：谁应该独享第一作者的美誉？谁又该不幸的被排在倒数第一？当每位参与者在真正意义上的团队合作都做出了显著贡献时就更难权衡了。研究者们在完成论文的紧张(Nervous)过程中，最后采取了一种“颠覆性”的做法来打破常规的作者排名。他们(They)给每个名字后面都标注了一个星号，并在脚注明确指出：“各人的贡献均等”，“作者排序按随机排列”。此举无疑给学界惯例带来挑战。在截止日期前夕，他们(They)将论文提交给一个声誉卓著的人工智能会议——并进而在该领域掀起了一场革命。
在论文发表临近七周年之际，《注意力就是你的全部所需》已成为传奇。作者们的出发点是一项日趋成熟且不断进步的技术——一种被称为神经网站的人工智能。他们(They)把它发展成了一种全新的系统：这个系统是如此的强大，以至于它的输出仿佛来源自非人类的智能。这种被称为 Transformer 的体系结构正是 ChatGPT、Dall-E 以及 Midjourney 等引人注目的 AI 产品背后的核心技术。Shazeer 如今调侃道，如果他当初知道这篇论文会那么出名的话，他 “可能会对作者排序更加介意”。但现在，所有的八名签署作者都已经小有名气。利昂·琼斯（Llion Jones）的名字（当然是随机的）恰好排在第五位，他说：“就因为我的名字出现在了一篇论文上，有人就找我合影了！”。
杰弗里·辛顿 (Geoffrey Hinton)虽不是论文的作者之一，但也许确实全球最卓越的人工智能科学家。他说：“要不是因为有了transformers，我觉得我们(We)走不到今天(Today)这一步。”他指的是随着OpenAI等公司开发出能与人类产出相媲美，甚至在某些情况下超越人类产出的系统，我们(We)已经进入到一个地动山移的时代。
现如今，所有这八位作者都已离开谷歌。跟成千上万人一样，他们(They)目前(Currently)正以各种方式参与到由他们(They)在 2017 年所创造的系统推动的工作当中。我采访了这八位 Transformer 的发明者，希望(Hope)能揭示一项颠覆性成果——一次凝聚人类智慧的努力(Effort)，创造出一台有可能最终主导话语权的先进机器——的内在结构。
诞生故事Transformers的故事要从这八个名字的第四个开始：雅各布·乌斯克尔特（Jakob Uszkoreit）。
雅各布·乌斯克尔特是著名的计算语言学家汉斯·乌斯克尔特（Hans Uszkoreit）的儿子。 20 世纪 60 年代末，还是高中(High School)生的汉斯因抗议苏联入侵捷克斯洛伐克而在自己的祖国东德被监禁了 15 个月。获释后，他逃往西德，并开始在柏林学习计算机和语言学。雅各布出生那年，他去了米国，到加州门洛帕克的一家研究机构 SRI 的人工智能实验室工作。后来他们(They)家又重新回到德国，雅各布也在那里上了大学(University)。他起初并没计划要专研语言学，但当他开始研究生学业时，他拿到了到谷歌山景城总部的实习机会，并加入了公司的翻译小组，看来他最终还是投入到家族事业之中了。他后来放弃了读博的计划，2012年，他决定加入谷歌的一支团队。当时该团队正在打造一个不需要将用户重定向到其他网站，可以直接在搜索界面回答用户问题的系统。那时候苹果刚刚推出了 Siri，一个在日常交谈当中提供即时答案的虚拟助手，这让谷歌的管理层感受到巨大的竞争压力：因为Siri 有可能会冲击到他们(They)的搜索流量。因此，他们(They)开始更加关注雅各布·乌斯克尔特领头的这个新团队。
乌斯克尔特表示：“那其实是场不必要的恐慌，”事实上 Siri 从未对谷歌构成过实质性的威胁。但他对此还是很高兴(Happy)，因为这是可以深入钻研人机对话系统的机会。在当时，在学术上曾被认为一潭死水的循环神经网站（recurrent neural networks），其表现突然超越了其他的人工智能工程方法，这种神经网站由多层组成，信息可以在在这些层之间传递和反复传递，从而能识别出最佳的回复。神经网站在图像识别等多个领域取得了巨大进展，人工智能因此迎来了全面复兴。谷歌开始疯狂发动自己的员工队伍，要求他们(They)采用这些新技术。他们(They)希望(Hope)能开发出能生成类似人类响应的系统，比如可在邮件自动补全句子可能做出相对简单的客服聊天机器人。
但这一领域后来遇到了难题。循环神经网站在处理长文本时表现不佳。比方说，要想理解 “Joe 是一名棒球运动员，在享用了一顿丰盛的早餐之后，他在棒球场上打出两记安打。”这句话里面的“两记安打”，语言模型就必须记住前面提到的棒球。换言之，模型必须维持注意力。对此业界公认的解决方案叫做“长短时记忆”（LSTM），这种革新技术让语言模型能够处理更长、更复杂的文本序列。但计算机还是严格按顺序来处理这些序列——一个一个单词地去处理，乏味至极——这种做法会错过后续可能出现的上下文线索。乌斯克尔特表示：“我们(We)采取的做法基本上只是临时应急措施，并没有找到可以真正规模化的处理手段。”
大概在 2014 年左右，他开始酝酿一种新的做法，他称之为自注意力机制（self-attention）。这种网站可以引用段落文字的任何其他部分，借此来翻译一个词。这其他部分的内容可以明确某个词想要表达的意思，从而帮助系统生成准确的翻译。他说：“其实这种机制已经考虑到所有因素，提供了一种能同时高效地审视众多输入信息，并以相当有选择性的方式提取信息的方法”。虽然人工智能科学家们都很小心，避免将神经网站的隐喻与生物大脑的实际工作方式混为一谈，但乌斯克尔特依旧认为自注意力机制在一定程度上与人类处理语言的方式有相似之处。
乌斯克尔特相信，自注意力模型有望比循环神经网站快得多、也更有效。其处理信息的方式与强大的并行处理芯片完全匹配，后者已经被大规模生产出来，用来支撑机器学习热潮。与线性处理方法（按顺序查看每个词）不同，它采用了一种并行的处理方法（同时查看一批词）。乌斯克尔特在想，如果处理得当的话，可能许只用自注意力模型就能收获更出色的结果(Result)。
并不是所有人都认同这个想法能震撼世界，其中也包括乌斯克尔特的父亲在内。雅各布在谷歌供职期间，汉斯·乌斯克尔特获得了两项谷歌学术研究奖。雅各布·乌斯克尔特表示：“大家都对此感到吃惊，因为它抛弃了所有现有的神经网站架构。”跟循环神经网站说再见(Goodbye)？简直是异端！“从我跟父亲吃饭时的对话情况来看，我们(We)的观点并不完全一致。”
乌斯克尔特说服了几位同事对自注意力模型进行(Carry Out)实验。他们(They)的工作成果展现了希望(Hope)，2016 年还发表了一篇论文。乌斯克尔特想推动他们(They)进一步研究——因为该团队只用了非常少量的文本段落进行(Carry Out)试验——但没有一位合作者对此感兴趣。他们(They)就像是只想小赌一把就的赌客，拿得到一点奖金就离场了。乌斯克尔特说“这东西确实管用。那篇文章的合作者对于将自己的研究成果运用到谷歌的不同地方，包括搜索引擎，最终还有广告系统等感到十分兴奋(Excited)。从很多方面来看这都是一个了不起的成就，但我并不想就此打住。”
乌斯克尔特相信自注意力能胜任更大的任务。在谷歌园区北边查尔斯顿路 1945 号楼（用地址命名）里，他会向任何愿意（以及不愿意）倾听的人讲解他的设想，并在白板上勾勒出他的愿景。
2016年的某一天，在谷歌的一个咖啡店里，乌斯克尔特正在与一名来自乌克兰的科学家共进午餐，此人名叫伊利亚·波洛苏欣（Illia Polosukhin），已经在谷歌工作了近三年。波洛苏欣被分配到的团队负责解答在搜索框里直接提出来的问题。但他们(They)的成果并不如预期。波洛苏欣说：“要想在 Google.com 上提供答案，你得有一个成本低效果好的方案。因为必须在几毫秒内做出响应。”当波洛苏欣对此表达不满时，乌斯克尔特毫不犹豫地给出了自己的解决方案。波洛苏欣回忆道：“他提议说，为什么不试试自注意力机制呢？”
波洛苏欣有时候会跟另一位同事合作。阿什什·瓦斯瓦尼（Ashish Vaswani）在印度出生，在中东长大，曾就读南加州大学(University)（USC），并在该校顶级的机器翻译小组获得了博士学位。然后，他来到山景城，加入了谷歌——具体来说是去到谷歌新成立的Google Brain部门。在他眼里，Google Brain是一个十分激进的组织，坚信“神经网站将推动人类认知的加深”。但他一直想找个值得投入进去的大项目。他的团队在 1965 号楼工作，这栋建筑正好位于波洛苏欣的语言团队所在的1945号楼旁边，然后他听说了自注意力机制的构想。这会是他想要的那种项目吗？他同意参与进来。
三位研究人员共同起草了一份设计文档，名字叫做“Transformers：迭代自我注意力机制记各种任务的处理”。乌斯克尔特说，他们(They)从“零日”（day zero）中选中了“transformers”这个名字。其想法是，这种机制可以变换所接收的信息，让系统能够析取出尽可能多的理解，可能者至少给人以那种错觉。再加上乌斯克尔特对小时候玩孩之宝动作人偶的美好时光仍历历在目： “我很小的时候曾经有过两个变形金刚小玩具”。这份文档文件甚至还用六个变形金刚在群山之间互射激光的卡通图片作为结束。
论文开头的那句话也有点招摇：“我们(We)太棒了。”
2017年初，波洛苏欣离开谷歌自主创业。此时，新的合作者也开始陆续加入该项目。印度工程师尼基·帕尔玛（Niki Parmar）曾在印度为一家米国软件公司工作，之后又移居到米国。2015年她在南加州大学(University)（USC）获得硕士学位后，各大科技(Technology)巨头均向她伸出了橄榄枝。她最后选择了谷歌。开始工作后，她开始与乌斯克尔特合作，通过研发模型变体来增强谷歌搜索功能。
另一位新成员是 利昂·琼斯（Llion Jones）。他在威尔士出生长大，热爱计算机，“因为这东西不一般。”在伯明翰大学(University)，他修了一门人工智能课程，对用历史(History)趣事呈现的神经网站产生了兴趣。2009年7月，他拿到了硕士学位，但由于经济(Economy)不景气难以找到工作，曾靠失业(Unemployed)救济维持了几个月。之后他到一家本地公司找到了一份工作，然后用“孤注一掷”的心态去投了谷歌。他最终得到了这份工作，进入到Google Research，而他的经理正是波洛苏欣。某一天，琼斯从同事Mat Kelcey那里听说了自注意力的概念，之后决定加入transformer团队。（后来，琼斯碰到Kelcey时提到了transformer项目，但 Kelcey 对此并不看好。现如今的Kelcey是这么说的：“我跟他说，‘我不确定这能不能行得通’，这基本上算是我这辈子错得最离谱的预测了”。）
Transformer项目吸引了同样致力于改进大语言模型的其它Google Brain团队研究人员。这第三波人包括波兰出生的理论计算机科学家乌卡什·凯撒（Łukasz Kaiser） 以及他的实习生 艾丹·戈麦斯（Aidan Gomez）。戈麦斯在加拿大安大略的一个小农庄长大，每年春天，他家都会采集枫木汁制作成糖浆。在多伦多大学(University)上大三的时候，他就“深陷”在人工智能的魅力而无法自拔，并且加入了到一个机器学习小组——杰弗里·辛顿（Geoffrey Hinton）的实验室。他开始联系谷歌那些写过有趣论文的人，提出对他们(They)的研究进行(Carry Out)扩展的想法。凯撒上钩了，并向他发出来实习的邀约。直到数月之后，戈麦斯才发现这些实习机会本是给博士生准备的，而不是像他这样的本科生。
凯撒和戈麦斯很快就意识到，对于他们(They)正在处理的问题来说，自注意力机制似乎是一个有前途且更为彻底的解决方案。戈麦斯说：“我们(We)进行(Carry Out)了认真商讨，确定要要不要合并这两个项目”。答案是肯定的。
Transformer团队开始着手构建一个自注意力模型，用于将文本从一种语言翻译成另一种。他们(They)利用(Use)了BLEU 基准测试来衡量该模型的表现。BLEU会通过对比机器输出与人类翻译者的工作来测试模型。他们(They)的新模型从一开始就表现良好。乌斯克尔特表示：“我们(We)从没有概念证明走到至少有一个能与当时最好的 LSTM 方案匹敌的东西”。不过，跟长短期记忆（LSTM）相比，“它并没有更好表现。”
直至 2017 年的某一天，诺姆·萨泽尔（Noam Shazeer）偶然听说了他们(They)的研究项目之后，他们(They)的瓶颈才被打破。萨泽尔是一名经验丰富的工程师，早在 2000 年就加入了谷歌，同时也是谷歌的一位传奇人物，早年因在广告系统的工作而获得了广泛认同。萨泽尔研究深度学习已有五年时间，最近对大语言模型产生了浓厚兴趣。但现有的模型离流畅对话还差得很远，他认为那种对话是可以达成的。
根据萨泽尔的回忆，当时他正在 1965 号楼的走廊行走，经过凯撒的工作区时，他听到里面正讨论(Discuss)得热火朝天。他记得阿什谈到了用自注意力机制的想法，而妮基则对此非常兴奋(Excited)。“我在想，哇，这似乎是个很棒的想法。看起来似乎是一群有趣的聪明人在做一件很有前途的事。”萨泽尔认为现有的循环神经网站“让人很不爽”，于是他想：“为何不换掉它们(They)呢！”
萨泽尔的加盟至关重要。乌斯克尔特表示：“这些理论性可能直观性的机制，比如自注意力机制，一直都要靠非常细致的达成，甚至有时候只有少数经验丰富的‘魔法师’才能让它呈现出一丝生机”。萨泽尔马上开始施展他的魔法。Transformer团队的代码他决定自己写一版。他说：“我接受了他们(They)的基本想法，然后自己达成了”。偶尔他会找凯撒寻求解答，但大部分时候他 “都是自己折腾一番之后就‘搞定了。’”通过其他团队成员口中的 “魔法”、“炼金术”和“花里胡哨”的操作之后，他将这套系统提升到了一个新的水平。
戈麦斯说：“这拉开冲刺的序幕”。人人都斗志昂扬，希望(Hope)在即将到来的截止日期之前搞定——5月19日是论文提交的最后期限，如获通过，这些论文将在人工智能界一年一度的最大盛会（也就是12月举办的神经信息处理系统大会，Neural Information Processing Systems）上发表。硅谷所谓的人工智能寒冬已渐渐逝去，川春天正慢慢走来，实验的步伐也随之加快。他们(They)测试了两种transformers模型：一个是经过12小时训练得来的，另一个更加重大的版本被命名为 Big，经过了三天半的训练，并被开始用来执行英语译德语的任务。
这个基础模型超越了所有对手——而 Big 拿到的BLEU评测分数碾压了过去的记录，同时计算效率也更高。帕马说：“我们(We)的用时比别人短。而这还仅仅是开始，因为数据还在不断提高。”当乌斯克尔特听到这个好消息时，他从自己山地探险车里拿出了一瓶陈年香槟来庆祝。
截止日期前的最后两周，大家都忙到发疯。尽管有些团队成员的官方工位仍摆放在 1945 号楼，但实际上他们(They)大都在 1965 号楼办公，因为那里的意式咖啡机更好。戈麦斯说：“大家几乎都没怎么睡觉”。作为实习生，他几乎一直在紧张(Nervous)地进行(Carry Out)着调试，同时还要为论文制作可视化内容和图表。在这样的项目里，做剔除实验是司空见惯的事情——也就是拿走一部分，看看剩下的是不是足以完成任务。
戈麦斯说：“技巧可能模块的各种可能组合我们(We)都会尝试，去找出哪些有用，哪些没用。撤掉这个，然后用那个来替换。为什么模型的机制是如此的有违直觉？原来是因为我们(We)遮盖（masking）得不对。现在能用了吗？好的，那就继续下一个。现在我们(We)所谓的‘Transformer’的所有要素，都是这种高速迭代、不断试错的结果(Result)。在萨泽尔所达成版本的支持下，这些剔除赋予了Transformer‘极简主义’的特色，就像琼斯所说那样，‘诺姆就像一位魔法师’。”
瓦斯瓦尼回忆道，他在团队写论文的那个晚上(Evening)，躺在办公室的沙发上，凝视着隔开沙发与房间其他部分的窗帘，突然被窗帘布料上的图案所吸引，那些图案在他看来像极了突触和神经元。戈麦斯也在场, 瓦斯瓦尼告诉他，他们(They)正在做的事情远不止机器翻译。他说："最终，我们(We)需要像人脑一样，将语音、音频、视觉等各种模式统一在一个架构之下。我有一种十分强烈的感觉，那就是我们(We)正在接触到某种更为普遍的东西。"
不过，在谷歌的高层看来，他们(They)的工作只不过是又一个有趣的人工智能项目罢了。我曾问过几位参与Transformer项目的人，他们(They)的上司是不是经常让他们(They)报告项目进展。实际上这种情况并不多。但是乌斯克尔特说：“我们(We)都知道，这东西有可能会变成一件大事。这也促使我们(We)非常关注论文末尾对将来工作的一段评论。”
那句话预示了接下来可能会发生的事情——transformer模型在基本上一切形式的人类表达上面的应用。他们(They)写道： “我们(We)对以注意力为基础的模型之将来感到兴奋(Excited)。我们(We)计划将transformer扩展到输入与输出模态不是文本的问题”，还要研究“图像、音频和视频”。
还有几天就到截止日期的一个晚上(Evening)， 乌斯克尔特意识到自己的论文得取个标题。琼斯指出，该团队已经彻底摒弃公认的最佳实践，其中最突出的是 LSTM，而转向这一项技术：注意力机制。琼斯回忆道，披头士乐队有首歌叫做“你所需要的只是爱”（ All You Need Is Love）。为什么不把这篇论文叫做“你所需要的只是注意力”（ Attention Is All You Need）呢？
披头士？
琼斯说：“我是英国(Britain)人。其实我想到这个只用了五秒钟。我没想到他们(They)会采纳。”
在截止日期到达之前他们(They)都在不断收集实验结果(Result)。帕尔玛说： “我们(We)大概是在提交论文的五分钟前才弄到，英法互译数据的。那时候我正坐在1965号楼的一个迷你厨房里，把最后一批数字弄进去。”不到两分钟之后，他们(They)就把论文发出去了。
跟几乎所有的科技(Technology)公司一样，谷歌很快就为这项工作申请了临时专利。原因不是为了阻止其他人借鉴这些想法，而是出于防御目的建立其专利组合。 （该公司的理念是“如果科技(Technology)有所进步，谷歌就会从中受益。”）
Transformer团队收到的同行评审反响不一。 帕尔玛说：“有一个评价是积极的，有一个非常积极，还有一个评价是，‘还行吧’”。该论文被采用了，但只是被放在了晚间海报展示环节。
到 12 月开会时，这篇论文引起了轰动。 12 月 6 日，他们(They)四小时的海报展示现场已经挤满了想要了解更多信息的科学家。作者们聊到声音都嘶哑了。到了晚上(Evening)10点30分会议结束时，现场仍然人头攒动。 乌斯克尔特说：“最后保安只能让我们(We)离开”。不过对他来说也许最满意的时刻是计算机科学家塞普·霍赫赖特 (Sepp Hochreiter) 的现身，后者还赞扬了这项工作——鉴于霍赫赖特是长短时记忆（LSTM）的共同发明者，而transformer刚刚取代了LSTM在人工智能工具包的主流地位，这算是相当高的赞誉了。
墙外开花Transformer 刚开始并没有马上征服世界，甚至连谷歌都没有征服掉。凯撒回忆道，在论文发表的时候，萨泽尔曾建议公司高层彻底抛弃搜索索引，而是用 Transformer 训练一个庞大网站——也就是基本上彻底改变谷歌组织信息的方式。那时候，即便是凯撒也觉得这个想法很荒谬。而现在的共识是，这只是时间问题。
但有家初创公司的反应就要迅速许多。论文发布后不久，OpenAI 的首席研究员伊尔亚·苏茨克维（Ilya Sutskever，此前在谷歌任职时他就知道 Transformer 团队了）建议由自己的科学家亚历克·雷福德（Alec Radford） 研究这个想法。其结果(Result)便是最早期的 GPT 产品。就像 OpenAI 的 CEO 山姆·阿尔特曼（Sam Altman）去年所说那样：“Transformer 的论文发表时，我觉得谷歌没人意识到它会产生什么样的深远影响。”
但从内部看情况更为复杂。乌斯克尔特说：“我们(We)很清楚 Transformer 能做出很神奇的事情。放在今天(Today)你可能会问，为什么谷歌 2018年不能退出像 ChatGPT 这样的产品？说实话， 2019 ，可能许 2020 年我们(We)就能有 GPT-3 可能甚至 GPT-3.5这样的产品。问题不在于他们(They)有没有意识到，而在于为什么我们(We)看到之后没有采取行动。这个答案很复杂。”
许多技术评论人士指出，谷歌已经从原先的创新中心慢慢变成更注重利润和效率的官僚机构。戈麦斯在接受《金融时报》采访时指出，“他们(They)没有跟上现代化的脚步，没有采纳这项新技术。”不过，对一个领导行业并攫取巨额利润数十年的企业巨头来说，冒险采用全新技术确实是一大挑战。谷歌的确在2018年开始往产品整合了 Transformer，首当其冲的是翻译工具。同样在那一年，它还推出了一个基于 Transformer 的新型语言模型BERT，并在第二年开始将其应用于搜索服务。
但是，跟 OpenAI 的巨大飞跃与微软将基于 Transformer 的系统大胆集成到其产品线相比，谷歌这些内部技术调整就显得比较保守了。去年当我询问首席执行官桑达尔·皮查伊（Sundar Pichai）为什么率先推出像 ChatGPT 这样的大语言模型的不是谷歌时，他认为在这种情况下，让别人先走一步对谷歌是有好处的。他回答说：“对于这样做会不会一样成功(Success)还不是完全明朗。事实上，在人们看到它的工作原理之后，我们(We)有能力做得更多。”
一个不可否认的事实是，这篇论文八位作者全都已离开谷歌。波洛苏欣的公司 Near打造出一种市值约达 40 亿美元的区块链代币。帕尔马与瓦斯瓦尼在 2021 年开始搭档创业，成立了 Adept （估值约 10 亿美元），现在两人又合伙创办了第二家公司 Essential AI（已获得 800 万美元融资）。利昂·琼斯在东京设立的 Sakana AI 的目前(Currently)估值约为 2 亿美元。萨泽尔 于 2021 年 10 月离职，与人联合创办了 Character AI （估值为 50 亿美元）。艾丹·戈麦斯 是团队里面的实习生，2019 年，他回到多伦多与人共同创立了 Cohere（估值约 22 亿美元）。雅各布·乌斯克尔特的生物科技(Technology)公司 Inceptive估值为 3 亿美元。除了 Near 以外，这些公司的安身立命之基都是 Transformer 技术。
凯撒是唯一没有出来创业的人。他加入了 OpenAI，是一个叫做 Q* 的新技术的发明者之一，阿尔特曼去年曾表示，这项技术将“揭开无知的面纱，推动发现的前沿”。 （当我在采访中试图就此问题询问凯撒时，OpenAI 的公关几乎是蹦起来让他马上闭嘴。）
谷歌会想念这些逃亡者吗？当然会，也包括其他从谷歌出走创办人工智能初创公司的那些人。（当我问皮查伊有关 Transformer 技术人员离职的问题时，他提醒我，被业界人士热捧的 OpenAI也不是铁板一块，也有人出走。他表示：“人工智能这个领域瞬息万变”。）但谷歌可以很自豪地宣告，他们(They)已经打造出一个支持非常规思想探索的环境。帕尔马表示：“从很多方面来看，谷歌一直都走在前列——他们(They)投资到合适的脑袋，并创造出让我们(We)可以随心所欲地探索和挑战极限的环境。他们(They)需要时间去接纳新事物并不奇怪，毕竟谷歌所承担的风险要大得多。”。
如果没有那种环境的话，Transformer就不会出现。这些论文作者不仅都是谷歌的员工，而且还在同一间办公室工作。走廊的偶遇与午餐时的闲聊有时候也会擦出思想的火花。这个团队在文化(Culture)上十分的多元化。其中有六位作者出生在米国以外的地方，而另外两位，一个是两个获得绿卡，曾在加州短暂停留的德国人的孩子，还有一个是为了逃避迫害才来到米国的第一代米国人的后代。
乌斯克尔特在柏林的办公室里说道，创新就是打造合适的土壤。他说：“有对某件事情充满激情，正好又处在人生合适时候的人。有了这些之后，如果在做的过程中能感受到乐趣，同时研究的又是合适的问题的话——再加上一点运气——那么奇迹就会出现。”
在乌斯克尔特跟他那位出名的老爸之间，也发生了一件不可思议的事。在无数次的餐桌辩论之后，儿子报告说，汉斯·乌斯克尔特现在也开始跟人共同创立了一家致力于开发大语言模型的公司了。当然了，用的也是 Transformer 技术。
译者：boxi。
本文来自翻译, 如若转载请注明出处。
+117好文章，需要你的鼓励
神译局资深作者9收 藏+10评 论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微 博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章你认为自己存在的问题，从来都不是真正的问题要问自己的10个个人成长问题身为领导，你不该局限于一种风格站在潮头的英伟达与硬件护城河的隐忧创造自己的事业过去一年，这16本好书不容错过掌握谈薪资的13大技巧，让你工资翻倍！深度长文：如何知道自己真正想要什么？什么是商业智能?它如何简化决策?最新文章推荐今夜，雷军让车圈大佬失眠(Insomnia)27 分钟大定 5 万台，祖国车圈春晚属于小米飞机都掉过哪些东西？轮胎、引擎盖、排泄物、人类……虽没人被砸死，但也很危险“1美元购”引发的真心话大冒险人口回流开始了，这些省份十年首现负增长农夫山泉沉默的底气小米造车，就是小米最佳的投资方式21.59万的小米汽车(Car)，只打赢Model 3还不够Keep要盈利，先得走出去清华学霸，十年豪赌，一战狂赚千亿
神译局资深作者36氪旗下翻译团队。
发表文章7365篇最近内容8 名谷歌员工发明了现代人工智能，这是那篇论文的内幕故事54分钟前你认为自己存在的问题，从来都不是真正的问题昨天(Yesterday)要问自己的10个个人成长问题2024-03-27阅读更多内容，狠戳这里下一篇小米汽车(Car)21.59万起售，雷军：我抱着必胜的信念｜36氪专访“漫漫征程刚开始”
2小时前
热门标签财付通仇富心理官僚资本网站春晚首都吉因加科技(Technology)有限公司小人国匿名举报东方卫视极限挑战收视率跑男收视率捷豹suv话语权后会无期珠海格力集团虚拟交易foxmail复活营销力电话客服陈勇伟大的博弈运动服瑜伽课程险峰长青盗墓笔记被遗忘权双引擎客运淘宝分销平台星图关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴
36氪APP下载
iOS Android
本站由 阿里云 提供计算与安危服务 违法和不良信息、未成年人保护举报电话：010-89650707 举报邮箱：jubao@36kr.com 网上有害信息举报© 2011~2024 首都多氪信息科技(Technology)有限公司 | 京ICP备12031756号-6 | 京ICP证150143号 | 京公网安备11010502036099号意见反馈36氪APP让一部分人先看到将来36氪鲸准氪空间
推送和解读前沿、有料的科技(Technology)创投资讯
一级市场金融信息和系统服务提供商
聚焦全球优秀创业者，项目融资率接近97%，领跑行业
相关文章
- 赞(165) 踩(31) 阅读数(1504) 最新评论 查看所有评论
-
加载中......
- 发表评论
-