大模子的第一律例——Scaling Law，发现者不是2020年的OpenAI，而是2017年的百度？！

　　近期，一则音书刷爆了外网AI圈。

　　百度早于Open AI，发表Scaling Law干系论文询查

　　11月27日黎明，Meta询查员Jack Morris在外交媒体发文称：“大多数东谈主不知谈，对于Scaling Law的原始询查来自2017年的百度，而不是2020年的OpenAI。”

　　该推文中提到的论文就来自于百度在2017年发布的一篇论文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》。

　　论文展示了在机器翻译、言语建模、图像处治和语音识别等四个范围中，跟着锤真金不怕火集范围的增长，深度学习泛化非常和模子大小呈现出幂律增长（scaling）花式。只不外那时询查者使用的是 LSTM，而不是Transformer；也还莫得将这一发现认真定名为“Law”。但论文的其中一位作家Gregory Diamos畴前在百度的先容如故LLM Scaling Law Researcher。

　　这项询查还有后续，2019年，百度的上述团队再次发表了一篇论文《Beyond human-level accuracy: computational challenges in deep learning》（越过东谈主类水平的准确性： 深度学习的计较挑战）。

　　巧的是，OpenAI 在2020年发表的，为东谈主所熟知的的论文《Scaling Laws for Neural Language Models》恰恰引述了百度的这项询查。

　　图片开始：OpenAI 论文《Scaling Laws for Neural Language Models》

　　是以归根溯源，Scaling Law的询查从源流看，是十足绕不开百度的。或者说百度才是Scaling Law的最早发现者，从某种预想上，为寰球生成式AI的爆发奠定了基础。

　　此前曾在Open AI职责，参与了GPT-3等迫切技俩开发的AI大家Gwern Branwen曾较早注重到了Scaling Law 。他也通常拿起：百度的这篇论文如实被严重疏远了。

　　Anthropic首创东谈主爆猛料，2014年百度职责时间就发现Scaling Law

　　忘我有偶，Anthropic首创东谈主Dario Amodei在本月中旬与Lex Fridman的播客节目中也明确提到，2014年与吴恩达在百度询查AI的时候，他就仍是发现了Scaling风景。

　　在询查语音神经集合时，Dario和团队发现，“跟着你给它们提供更多数据，跟着你让模子变大，跟着你锤真金不怕火它们的时期越来越长，模子的证实开动越来越好。那时我并莫得精准地臆测，但我和同事们皆十分非认真地嗅觉到，给这些模子的数据越多、计较越多、锤真金不怕火越多，它们的证实就越好。”

　　对于Dario，大部分东谈主更了解的是2016年他加入Open AI并指导团队开发了 GPT-2 和 GPT-3。以及他在2021年与妹妹共同创立Anthropic，并发布Claude。

　　但Dario最早踏足AI圈却是从百度开动的，博客中他也走漏，“ 2014 年底，我在百度与吴恩达同事时初次进入东谈主工智能寰球，到当今差未几碰巧是 10 年。“

　　一张在业界广为流传的图也展示了百度吸纳过寰球一大皆顶尖的AI东谈主才。

　　举例，2014年，吴恩达加入百度并在询查院首席科学家，担任百度公司首席科学家，负责百度询查院的指点职责，尤其是Baidu Brain盘算推算。 2014年5月19日，百度秘书任命吴恩达博士为百度首席科学家，全面负责百度询查院。

　　百度首创东谈主李彦宏在近期媒体专访中被问及此事时，也初次公开共享了其中的细节，“吴恩达来的事理其实也相比绵薄，他那时在Google，作念Google brain，想买更多的GPU，Google说弗成，太贵了。咱们说你来，粗率买，那他就来了。他来了之后，像Dario Amodei，他原本是斯坦福的学生，那你来加入百度，Dario Amodei来了之后说Jim Fan可以，我找他来进行实习。”

　　可能百度的魄力一直相比低调求实，李彦宏也从分袂外炫夸百度的东谈主才储备，就像绝大多数的东谈主皆不知谈Scaling Law的询查是从百度开动的相通。

　　李彦宏也在专访中走漏，“一代一代的东谈主，就把优秀的东谈主才大略眩惑过来。固然这些东谈主其后铸成大错，又离开了百度，我合计也没问题，东谈主才的这种流动对统统这个词行业是健康的。他找到他的下一站，对于百度来说也培养了一批十分优秀的东谈主才。外界因为某一个东谈主的离开会有报谈，关联词这个东谈主若是在这儿呆着的话，就莫得报谈，并不是因为这个东谈主不优秀。其实刻下在百度里面，有好多好多十分优秀的东谈主在作念AI，只不外因为他们莫得离开，所之外界不知谈，莫得报谈。”

　　李彦宏指导百度在2023年1月就斥地了深度学习询查院，开动自便干涉AI。基于对于AI东谈主才绝不惜啬地援救和对AI时候标的的坚硬询查，百度才大略在2019年发布第一代的文心大模子，险些与OpenAI的GPT-1处于归拢时期。这也才拔擢了百度在2023年景为寰球第一家推出身成式AI家具的寰球科技大厂。

　　刻下，文心大模子不仅是国内才气最强的大模子，亦然使用量最庸碌的基础模子。数据显示，百度文心大模子日均调用量仍是最初15亿次，相较一年前初次浮现的数据，增长 30 倍。24年Q3财报电话会上，李彦宏显示，百度将于2025年头发布新版文心大模子。

【免责声明】【告白】本文仅代表作家本东谈主不雅点，与和讯网无关。和讯网站对文中述说、不雅点判断保握中立开云体育(中国)官方网站，分袂所包含本色的准确性、可靠性或完好性提供任何昭示或示意的保证。请读者仅作参考，并请自行承担一谈包袱。邮箱：news_center@staff.hexun.com