吴军博士：ChatGPT不算新技术革命，带不来什么新机会-外链论坛

b1gc8v 发表于 2024-8-22 16:29:55

吴军博士：ChatGPT不算新技术革命，带不来什么新机会

Datawhale干货 
作者：吴军博士，源自：学人Scholar
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/0iawiadjXSyteQG4PhXYMgjqEKAFS3ChvXTfhA53VNy0ykIiaJlwJ9qOAY3wlN40GJgEiafbib8lib1Bico7kr3ZSo9DQ/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp" style="width: 50%; margin-bottom: 20px;">
吴军，1967年出生，毕业于清华大学和约翰霍普金斯大学，计算机专业博士，前Google高级资深科研员、原腾讯副总裁、硅谷危害投资人。
4月3日夜晚，得到直播间邀请到了计算机专家、自然语言模型专家吴军，就人工智能和ChatGPT等当下热榜的专题作了一次直播分享。
Q1：
ChatGPT的显现，为何会导致恐慌？
我晓得，近期ChatGPT这事儿在中国很火，非常多人在讨论，但特别有意思的是，其实这件事在美国，已然无太多人去谈论这个专题了。并不光是ChatGPT，往前看十年，当时非常多新技术显现的时候，我就发掘在中国媒介上讨论的热度要远远高于美国。虽然那个技术其实重点出此刻美国，然则中国人老大众对此更关心。我认为这是一件好事，但亦是一件坏事。
这个“坏”在于，这些技术实质上是被过度的炒作了，在这个过程中，有非常多浑水摸鱼的人从中挣钱。就例如说区块链，当时炒得那样热，但如今这个事已然很少有人讨论了，对吧？这是第1个。第二个便是元宇宙，日前美国仅有 Facebook一家还在保持做。那到了中国，非常多人就在讨论说，咱们是不是将来会生活在一个完全虚拟的世界。最后，大概去年底到今年初，Facebook在这个行业几百亿美元投下去，一个响亦没听着，最后起始了大规模的裁员。到了此刻，被热炒的一个专题便是ChatGPT，有的人兴奋，有的人恐惧，还有我此刻亦看到在中国还有非常多人在浑水摸鱼，试图再割大众一次韭菜。
在讲ChatGPT是什么以前，我先给大众讲一个历史故事，这历史故事你听起来你就会发笑，然则你回头看，今天非常多人的表现亦是如此。
1503年，哥伦布的儿子记下来的这么一件事儿，哥伦布往西航行，去往新大陆，结果航行到半途，到了牙买加这个地区，船上就没吃的了。于是，哥伦布和船员只能寄期盼于当地人来供给膳食。然则，供给了几天以后，船员就跟当地人出现了矛盾——有些船员偷了当地人的东西，因此当地人就断了膳食的供应。
为了摆脱这个困境，哥伦布想到了一个妙招。哥伦布当时随身带着一本万年历，在日历上标着说某年月日会显现日食、月食等等所有这些信息。哥伦布当时就把当地的部落首领找来，说你们不给我供给食品，已然得罪了上帝，上帝会发怒，月亮就会变红，而后上帝就会把月亮收走。当然，咱们此刻基本上都晓得，在月全食出现的时候，亦便是地球还无完全挡住月亮的时候，月亮确实是红的，便是咱们所说的“血月”。然则，当时的牙买加人并不晓得。结果，到了夜晚，牙买加人就发掘，月亮果然变红了，而后慢慢地就一点点消失了。当地人就陷入了恐慌，大众纷纷说，上帝要处罚她们了。
这个部落首领慌忙去求哥伦布，承诺答应哥伦布的所有要求。哥伦布就说，好，我去帐篷里向上帝祷告，让他不处罚你们，然则我需要一点时间，而后哥伦布就走进了帐篷。其实，进了帐篷之后，哥伦布便是拿着一个沙漏，在看那个计时。
今天咱们有天文学知识，肯定晓得月全食的时间，亦就会维持大概48分钟，到时候月亮就会重新显现。然则，这些牙买加人不晓得。她们看到的便是，哥伦布从帐篷里出来，月亮亦就出来了。而后哥伦布说，这是上帝已然听了我的劝解，答应宽恕你们，然则你们必须要给咱们好好地供给食品。因此，当地人千恩万谢，给她们持续供给食品。
这个故事说明什么呢？月全食这件事，它的出现背面自有其原由，然则在人们不晓得这个原由的时候，常常只能把这个自然现象归结为一个神的功效。而这个神，本身又是人创造出来的。亦便是说，人自己创造一个神以后，而后趴在神的脚下，作为了他的奴仆。
这便是我为何要给大众开《世界文明史》的课程。
其实这个文明的发展过程，便是人类持续认识自然规律的过程。咱们一点点的进步，为的便是让此刻的咱们再也不像当地的土著人那样，茫然地相信一个人向上帝祷告真的能够阻止月亮消失。咱们此刻晓得，在日食月食的背面，实质上是开普勒行星的三定律在起功效，而后在开普勒行星三定律背面是牛顿的万有引力定律。人类搞清楚这个原由以后，对自然就再也不仅仅是畏惧了，咱们能够利用自然规律做非常多非常多事情。
Q2：
ChatGPT的技术基本是什么？
从历史回到此刻，其实ChatGPT的状况亦差不多，背面是一个叫做语言模型的一个数学模型在发挥功效。换句话说，ChatGPT的背面是一个数学模型。在今天，这项技术显出很强大的原由重点是三个：
第1，它用到的计算量很大；
第二，它的数据量很大；
第三，今天训练语言模型的办法比以前要好非常多。那样，语言模型是什么呢？或说它是一个什么时代的产物？

它是1972 年，由我的导师贾里尼克(Fred Jelinek)带领团队开发的一项技术。详细地讲，是他当时在IBM带着人来完成的一项技术，是用来衡量一句话或一个语言现象有多么的可能产生。那它有什么用？它最初的用处是做的语音识别，后来是做设备翻译，再后来是做计算机问答，亦便是咱们今天熟练的回答问题。
当时它就能够做摘要，例如举一个例子，有一篇一万字的文案，那样你怎么摘要出十句话能概括这一篇文案的内容，这针对做这个自然语言处理的人来讲，便是一个数学问题。亦便是说，你的要求是什么？要求是这一万个字，而后你想得到的结果是什么？结果可能便是十句话，一百个字。而后这儿头有非常多种组合，你能够随便挑几个句子，亦能够把有的句子拆成两段，把后面哪些不太重要的修饰或形容的部分去掉。而后，你亦能够把两个句子合成一个句子，那样你在合成一段文本的时候，这个计算机就会计算一个概率，那些句子合成在一块的概率比很强，它会根据概率帮你合成。
而咱们今天看到的ChatGPT，便是这个大的语言模型，它便是会挑一个概率最大的、最有可能出现的这般一个文本来给你看。因此总体来讲，ChatGPT生成结果的过程，是一个用海量的计算资源来计算的过程。它需要非常庞大的数据量来支撑，有非常多非常多的GPU（电脑处理器）。无这些东西的话，ChatGPT是做不起来的。
况且今天这个ChatGPT，并不光是技术，还有非常多人工在背面。她们还雇了一家机构，专门负责审核ChatGPT产生的结果。例如说，ChatGPT产生了一百篇摘要，都挺好，我已然分辨不出来了，那样这些人就负责帮我分辨一下，到底哪一篇更像是准确的摘要。
那实质上，你能够看到，ChatGPT背面便是一个语言模型，而这一语言模型的技术是1972年就已然有了的。到此刻，经过了五十年，此刻行业内其实大众并不觉得它是一个什么了不得的东西。这里以前，这个语言模型其实已然做了非常多的事情。
说到“语言模型”（language model）这个词，最初是由于我的导师贾里尼克提出来的。他大概在1993年的时候到了约翰霍普金斯大学，我是1996年到这个大学，而后作为他学生。那样这个词的中文，亦便是你看到的“语言模型”这四个字，则是我在20世纪90年代的时候发布论文时候创造出来的。那时，仅有咱们这些圈内的人晓得它能做非常多事，然则你不会想到说，哎，这个事后来会被热炒。
你能够这般理解，“语言模型”之于ChatGPT，就相当于开普勒的这个行星三定律之于月食。
Q3：
“语言模型”诞生之初是什么状况？
那样在发明的当时，语言模型是一个什么状况？
其实，在20世纪90年代的时候，用简单统计办法得到的模型很不准确。这就相当于，我打个比方，你观察行星，但用的是托勒密的地心说来预测，是很不准确的。因此，那时候咱们起始引入了语法、主题、语义的非常多信息。而后，这个语言模型就变得很繁杂了。繁杂之后就又带来了一个很大的问题。
什么问题？
例如，我当时做过一个很繁杂的语言模型，这个语言模型当时有多少参数？600万个参数，便是说，这个语言模型体积基本上按这个参数来定。我那时候做的已然是那个时代能做的最大、最繁杂的语言模型了。我当时用的还不是PC机，而是20台超级服务器，而后大概算了三个月才训练出这般一个语言模型。因此你看，它的计算量是非常大的。那样，第1版ChatGPT，它用的语言模型参数是多少呢？大概是 2000 亿个参数，大众能够看到这些年的变化。
因此，今天非常多人问，ChatGPT在美国显现了，中国科研机构什么时候能做ChatGPT？其实，中国的大部分科研公司是做不了的，不是说科研水平的问题，而是由于ChatGPT太耗资源。今天的ChatGPT，可能光硬件的成本就要差不多10亿美元，这还没算电钱，因此成本和耗资是非常巨大的。因此，倘若开完玩笑，问ChatGPT的最大贡献是什么，我倒觉得它对全世界变暖是有很大贡献的。因此，我想说的是，ChatGPT这件事，它的原理很简单，然则在工程上想要做到，其实是蛮困难的一件事。

Q4:  
计算机善于回答什么问题？
到了大概2010年前后，亦便是13年前，语言模型能做到什么程度？我给大众看两个例子。这两个例子都是我在2014年离开Google以前做的。当时我负责的是Google的自动问答系统，便是让计算机回答问题。不外由于这个制品是英文的，因此在中文世界基本上无太露脸。
我给你看一下谷歌回答的一个问题——为何天是蓝色的，why is the sky blue？
<img src="https://mmbiz.qpic.cn/mmbiz_png/CWqY5znYicQHQ1yZVM14keA72jvLvbqVfDazpEp4XODpBicAz4rncia1Rn4ibCNsUfIG2WduLk1AdYIP0wff3b3RUA/640?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp" style="width: 50%; margin-bottom: 20px;">
它的回答是这般的：太阳光透过大气层到达地球时会出现折射，空气中的气体会让区别颜色的光散射到各个地区，蓝光波长短，比其他颜色折射率高，因此看上去天是蓝色的。
这是当时计算机产生的一个答案。公平地讲，这个答案比我自己写一段答案写得要更好，由于要解释这现象，你要晓得不少理学学知识，况且这个句子看上去亦挺合情恰当的。而今天人们运用ChatGPT的一个目的，便是让他回答问题。
这儿面，我给大众做个拆分。
其实，咱们问计算机的问题能够分为两类，第1类叫做简单问题，第二类叫做繁杂问题。简单问题便是关于事实的问题，例如某某明星是哪里人，哪一年生的。这都是有些容易的问题，由于它是事实，有知道答案。
第二类是繁杂问题，这亦是大众觉得 ChatGPT 非常惊艳的地区。它能整合信息，回答天为何是蓝色的，好似它自己有规律同样。再有一个，便是问过程的问题，例如说我怎么烤蛋糕，你能不把一步步写下来？今天咱们问ChatGPT怎么烤蛋糕，它能够把这个过程给你写得很仔细，多少杯水，加多少个鸡蛋，加多少面粉等等，它都能够告诉你。而后你按照它供给的答案，就真能烤出蛋糕，况且烤得可能还挺不错。
这是大众觉得很了不得的地区。然则你要晓得，这件事，在2014年其实计算机已然做到了，况且做得很好。因此，这项技术本身并无太多奥秘的地区。
Q5:
计算机和人，谁更善于写作？
此刻，大众热榜ChatGPT，还有一个原由便是觉得它能写作。例如说写一个工作简报，这是今天美国人用ChatGPT用得最多的地区。我这周干了1234567，这七件事，哎，你看我就不消自己费劲地写了，我让ChatGPT生成一个，而后再编辑一下子就能够了。
然则，计算机写作这件事，其实你说难亦难，说容易亦容易，我能够给你举个例子。
在2014年我离开Google之后，当时不太做编程了，不外那时候我还有有些计算资源，因此我自己在空闲时间会写有些程序，做着玩。当时呢，我就让计算机写了两首诗，大众能够读一下这两首诗。
<img src="https://mmbiz.qpic.cn/mmbiz_png/CWqY5znYicQHQ1yZVM14keA72jvLvbqVfOVekVwgpEibsWiafiaSVEdkbYpAvX3j5H20niaCBhJLNK8eC9L51IXLVJQ/640?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp" style="width: 50%; margin-bottom: 20px;">
第1首诗是个五言诗，这是用我的话说，叫做李白风格的一首诗，大众能够读一下。这首诗便是计算机自己写的。实质上，你倘若读一读，这个诗里还真有有些李白的这个特点。
那第二首诗，我亦把照片放在下面了，你能够看一下。
<img src="https://mmbiz.qpic.cn/mmbiz_png/CWqY5znYicQHQ1yZVM14keA72jvLvbqVf1cicOibewlVkwUGGTOdvibTliaNp8iaDugQqVKO3WW3MKyoADXDAMdwH4Qw/640?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp" style="width: 50%; margin-bottom: 20px;">
先说一下，由于古诗都有平仄一说，然则咱们此刻的读音和当时的读音不同样，因此咱们亦没去管这个平仄到底合不合古，然则这个咱们单从它的内容意境来讲，你读的会觉得很顺畅。
好，那样话说回来。第1首诗怎么做的？
其实再简单不外了，你就把李白的诗放到计算机里。李白诗一共1000 多首，亦就一万来句话，这个对计算机来讲太简单了。它写的时候，便是把句子分拆开来，拆成两个字、三个字一组，例如“空愁”这是一组，“忆长安”这三个字一组。而后它就去拼刚才我讲的语言模型，算概率，哪个概率最大；拆完了以后，我就跟他提一个需求，说要写一首忆长安的诗，它就摆列组合，生成出这个《忆长安》，实质上便是这么拼凑出来的。第二首诗稍微繁杂一点。
但你晓得这两个程序我写了多长期？两天。这说明什么呢？说明你让计算机写出有些还挺像样的东西，并不是一件很困难的事情，它无你想得这么奥秘，或说计算机写作本身无这你想得这么奥秘。
那为何这两首诗看起来尤其好？由于这是唐诗，唐诗的格式是固定的。一样的道理，为何用ChatGPT写周报写得好？由于周报的格式基本上是拉名单，那亦是个固定的格式。包含，倘若你读《华尔街日报》中文版，这儿头我跟你讲，90%的内容都是计算机写的，只是你不晓得。写完了以后人当然要给它一个主题，而后给它写的第1段话写个引子，而后给一个总结，起个标题，这是人要做的。
为何写财经文案比较好？由于它有好多的事实在里头，格式亦是固定的，因此这件事它做起来就很好。
我花这么长期来讲ChatGPT的背景，实质上便是想说它并不奥秘，不是一个什么很高深的设备在背面。一方面，ChatGPT依靠的是一个数学模型，而这个数学模型1972年就有了，只是今天它的计算能力非常强，靠蛮力计算。
那样，ChatGPT训练一次要耗多少电？大概可能是3000辆特斯拉的电动汽车，每辆跑到20万英里，把它跑死，这么大的耗电量，才够训练一次，这个非常花钱的一件事。
Q6: 
ChatGPT对咱们到底有什么影响？
那样接下来讲讲，ChatGPT对人有什么影响。
这就要回到历史上来看了，每一次技术革命，其实它对人都会有有些影响。不外，ChatGPT它不算是一项新的技术革命，由于这我刚才讲了，这个过程很长，从20世纪70年代到90年代，咱们做了非常多事，90 年代到此刻又有非常多人做了非常多事。这儿头最大进步并不是这个语言模型本身，实质上是后来2000年上下产生的深度学习，使得训练语言模型能比以前准确了，不是简单的做统计。
今天训练语言模型早已然不是简单做统计了，这才是ChatGPT能产生比较好的结果的一个原由。
至于说ChatGPT对人能产生什么样影响，这个问题我先不直接回答你，我先问你，刚才给大众看这两首唐诗，你有无发掘一个什么特点？对了，这两首诗写得不错，然则你原来对唐朝认识，不会由于多了这两首诗会有更新的认识。由于，ChatGPT它某种程度上有点像鹦鹉学舌，你先要说一段话，它才可跟着学。它说出来的声音可能很好听，然则它并不供给更加多的信息。
今天互联网上90%的内容都属于这一类——不供给更加多的新信息，亦不是原创内容，亦不是自己的感悟，无非是东抄抄，西凑凑。日前，抖音、快手这类短视频，我觉得99%的内容都属于这一类，无营养，你读完以后可能觉得挺有意思，但实质上你在上面读了再多，其实对你无任何帮忙。倘若说ChatGPT真的威胁到了谁，我觉得威胁到的便是这一类人的工作，便是说这个抖音上头那个做短视频的，或发布有些内容的，ChatGPT会做得比她们好非常多。你就想这般一件事儿，假设说，有一群人天天把那唐诗三百首里头的句子翻来覆去的捯饬，亦能捯饬出有些诗，那样ChatGPT捯饬起来肯定比人快得多，因此这项技术会对这一批人会有影响。
那样，什么人不会受到影响？便是内容创造的人不会受影响。
为何我会这么讲？还记得刚才我说的“为何是天是蓝色的”这个问题吗？Google为何能回答这个问题？
由于在Google进行回答的时候，它大概把当时英语几乎所有的像样的句子都做了分析，大概有1000 亿句英语句子。那样实质上你会发掘，在有些大学的网站上和NASA的网站上，它就有这个答案，只是咱们把它拼拼凑凑，删删减减，就把它挑出来了。然则最早的理学学家做这项科研，把这个道理搞清楚，这个工作是有道理的，亦是ChatCPT取代不了的。
因此，ChatGPT的工作相当于什么呢？举例子，托勒密创造出这个模型以后，那样每过一段时间，她们欧洲就会编一个大概几十年的一个日历，而后上面标上哪天有日食，哪天行星会怎么运动等等。那样人们按照这些规律，印好多本这个书，这个ChatGPT就相当于有好多本书，你拿着以后一看，说，喔，某年月日会出现月食，答案就会很清楚。然则，背面真正有道理的工作不是印这个书，而做托勒密的那个科研。因此我认为，从历史上看ChatGPT并不算是一次技术革命，它影响到的都是那个比较懒的人，懒得动脑筋，创造新东西的人。真正探索人类知识奥秘的人，是不会被取代的。
Q7: 
ChatGPT能带来什么新的机会？
非常多人问说，ChatGPT有什么新机会？坦率来讲，你没机会，由于太耗资源了，你耗不起。那样什么人能够受益？那便是卖资源的这些人。
我能够打个比方，便是说在这个加州淘金热的时候，非常多人蜂拥而至，去淘金，单咱们到今天为止还不晓得哪一个淘金者真的挣得着钱，没一个人把名字留下来。然则最后谁挣着钱了？是卖水的人和卖牛仔裤的人。ChatGPT亦是同样的道理。大众跟着一块去淘金，其实你是挣不着钱的，然则在过程中，你还持续地要买水喝，买牛仔裤穿，最后便是这两拨人挣到钱了。李维斯Levis，便是那时候产生的这么一个机构，它便是做牛仔裤的。
那样最后你可能是给几家大的做云计算的机构在交钱，这可能是一个结果。好了，讲完了这个ChatGPT的历史，我给你做一个简单的总结。

第1，不要恐惧。
今天是非常多人恐惧ChatGPT，就如同不要像当年哥伦布遇到的牙买加土著人恐惧月食，同样的道理。
第二，不要勉强去找所说的机会，该怎么工作便是怎么工作。
我看有朋友问我，说苹果为何这个不做ChatGPT，我说这就对了！这便是为何苹果是世界上最有钱的机构，利润最高，市值最多。日前，非常多所说做这种人工智能的机构到此刻都在亏钱。因此，这亦是为何非常多同学有时候问非常多太不着调的问题的时候，我就开玩笑地问他说，你的房贷还清了吗？你要没还清，你就好好回去工作，把工作做好，这才是对大众最有道理的事情，从历史上看亦是如此。
第三，你要识破这些所说的阴谋家或想割你韭菜的人的哪些把戏。
便是说，倘若再来一个人假装哥伦布说他是神的表率，而后他能祈祷上天能让这月亮出来，你不要信。因此你需要认识ChatGPT背面的有些科学原理。最简单的有些原理，像今天我讲的这些，你还是需要有所认识。留言

b1gc8v 发表于 2024-10-23 22:26:59

你的话语如春风拂面，温暖了我的心房，真的很感谢。

qzmjef 发表于 2024-10-28 21:19:30

请问、你好、求解、谁知道等。

b1gc8v 发表于 2024-11-5 15:28:29

感谢楼主的分享！我学到了很多。

nykek5i 发表于昨天 08:34

你的见解独到，让我受益匪浅，期待更多交流。

页: [1]

外链论坛's Archiver

吴军博士：ChatGPT不算新技术革命，带不来什么新机会