|
生成式AI已然发展数年，还是有不少人弄不清楚Transformer、GPT、大模型、AIGC这些词汇的概念。有非常多非从业者想要认识ChatGPT到底会怎样影响咱们，或有非常多当爹当妈的被孩儿问到却不晓得怎么“幼儿园化”地把这些概念讲清楚。这篇文案，咱们就来处理下这个问题。 
Transformer、GPT、InstructGPT、大模型、AIGC……你是不是被这个概念闹晕了？
做为一个文科生+AIGC从业者+市场人，其实要搞懂ChatGPT等等晦涩的概念多多少少有些吃力，我想应该会有不少人亦有这种感觉。
然则我看了大部分市场上传播的文案，依然晦涩难懂，造成为了不少认知门槛。
今天，我试着挑战，用一篇文案搞清楚ChatGPT的关联概念，一方面让自己加深理解，另一方面，期盼对各位有用。
1、Transformer
我的理解是，这是一种高级的“翻译设备”，它能够理解和翻译区别语言之间的文本。为了帮忙你更通俗地理解这个模型，咱们能够将其比作一个有着超凡记忆力和重视力分配能力的多语言翻译家。
这个翻译家有以下几种能力： 自重视力机制：这个翻译家在阅读一段文本时，不仅关注当前的单词，还能够记住并思虑到全部句子或段落中的其他单词。这种能力使得翻译家能够捉捕到文本中的重要信息和上下文关系，从而更准确地理解和翻译。位置编码：就像翻译家在阅读时会重视到单词在句子中的位置同样，位置编码帮忙模型理解单词的次序。这针对理解句子结构和道理非常重要，就像咱们晓得“狗追赶猫”和“猫追赶狗”这两个句子的意思完全区别。编码器和解码器：模型的编码器部分就像翻译家在理解原文时的大脑，它会分析输入文本的内容和结构。而解码器部分则像是翻译家在创造译文时的大脑，它会基于对原文的理解生成新的句子，相当于设计了一个程序语言。多头重视力：这就像是翻译家有多个分身，每一个分身专注于文本的区别方面，例如语法、词汇选取、文化背景等。经过这种方式，翻译家能够从多个方向理解文本，从而做出更准确的翻译。前馈神经网络：能够比作翻译家在处理信息时的规律和分析能力，它会对编码器和解码器的输出进行进一步的分析和加工，保证翻译的准确性和流畅性。
2、GPT
GPT，一个多层的Transformer解码器，它就像是一个经过海量阅读和学习，把握了许多语言知识和写作技巧的“虚拟作家”。这个作家不仅阅读了海量的书籍和文案，况且还学会了怎样按照上下文生成连贯、有道理的文本。
想象这个作家在成长的过程中，无老师直接告诉他那些句子是正确的，那些是错误的。相反，他经过阅读海量的文本，自己学会了语言的规则和模式。这便是GPT模型的自监督学习，它经过阅读海量未标记的文本数据，自己学习语言的结构和用法。
这个作家首要经过广泛的阅读来累积知识（预训练），而后在需要写特定类型的文案时，他会针对这种类型进行专门的练习（微调）。GPT模型亦是如此，它首要在海量数据上进行预训练，而后在特定任务上进行微调，以加强在该任务上的表现。
在写作时，这个作家只能按照他已然写好的内容来预测下一个字或句子，而不可提前晓得后面的内容。GPT模型运用因果掩码来保证在生成文本时，每一个单词只依赖于它之前的单词，保准了文本的连贯性。
随着时间的推移，这个作家持续学习和累积经验，写作技巧亦越来越熟悉。GPT-1、GPT-2和GPT-3就像这个作家的区别成长周期，每一代都比前一代阅读了更加多的书籍，把握了更加多的知识，写作能力亦更强。
到了GPT-3这个周期，这个作家已然非常熟悉，即使无或仅有很少的示例，他亦能够写出高质量的文案。这寓意着GPT-3能够在无或仅有极少的特定任务训练数据的状况下，理解和完成新的任务。
3、InstructGPT
什么是InstructGPT？
倘若 GPT-3想象成一个聪明的学生，那样 InstructGPT则是这个学生经过尤其辅导后的样子。
GPT-3这个学生虽然学习了非常多知识，但有时候回答问题可能会离题、编造故事、或带有有些不公平的看法。同期，他在进行长对话时，有时会忘记之前说过的内容，引起对话不足连贯。
为了让这个学生更好地理解老师（人类用户）的意图，并且根据老师的爱好来回答问题，咱们需要一种办法来调节他的学习方式，这便是“Alignment”（对齐）的概念。
为了让GPT-3变得更好，咱们给他请了一个尤其的家教（RLHF），这个家教经过收集老师的反馈来晓得那些答案是好的，那些是欠好的。而后，家教用这些反馈来指点学生学习，帮忙他在将来给出更符合老师期望的答案。
4、ChatGPT（GPT3.5/GPT4.0）
我的理解是， ChatGPT就像是一个全能的、知识渊博的设备人图书管理员，随时准备帮忙你解答问题和供给信息。况且，随着时间的推移，它会学到更加多的东西，变得更加聪明和有用。
这个设备人图书管理员不仅晓得非常多关于书籍和文字的知识，它还能理解照片。因此，倘若你给它看一张照片，它不仅能告诉你照片里有什么，还能按照照片给你讲一个故事或回答你关于照片的问题。
5、大模型
怎样理解这一概念？
咱们用一个小学生亦能理解的方式来解释这些概念。
想象一下，有一个非常非常大的学校，这个学校有非常多层楼和非常多教室。这个学校就像是一个“大模型”，它有非常多老师（参数）和学生（数据）。这些老师非常聪明，她们能够教非常多区别的课程，例如数学、语文、科学等等。 模型架构设计：这个学校的建筑（模型架构）设计得很尤其，有非常多教室和走廊，这般老师们就能够在区别的教室里教区别的课程，况且学生们亦能够容易地从一个教室步行到另一个教室。数据准备：为了让老师们教得更好，学校收集了非常多教科书和练习册（数据），这般老师们就能够用这些资料来准备课程，并且帮忙学生们学习。计算资源：由于这个学校非常大，因此需要非常多电脑和服务器（计算资源）来帮忙老师们准备课程和批改作业。优化算法：学校还有一个非常聪明的校长（优化算法），他会保证老师们用最好的办法来教育，并且帮忙学生们取得好成绩。正则化技术：有时候，老师们可能会对某个课程太专注，忽略了其他课程。校长会保证这种状况不会出现，让所有的课程都得到平衡（这便是正则化技术）。模型并行和数据并行：由于这个学校有非常多学生，因此老师们会分成小组来教课（模型并行），同期，学生们亦会分成小组来学习（数据并行）。此刻，这个学校有非常多成功的毕业生，例如GPT-3、BERT和T5等。她们都是在这个大学校里学习过的，此刻她们能够帮忙人们处理非常多问题，例如写作文、做数学题或解答科学问题。
因此，这个大学校（大模型）就像是一个能够培养出非常多聪明学生的好地区，虽然它需要非常多资源和奋斗来运营，然则它能够帮忙咱们做非常多事情，让咱们的生活变得更好。
6、AIGC（人工智能生成内容）
想象一下，你有一个非常聪明的设备人伴侣，它能够做非常多事情，例如画画、写故事、乃至帮你做数学题。这个设备人伴侣便是人工智能（AI）的一个例子。
AIGC（人工智能生成内容）：这个设备人伴侣能够创造非常多东西，就像一个会画画和写故事的艺术家。它能够画出你想象中的图画，或写出一个关于你最爱好的超级英雄的故事。这便是人工智能生成内容，寓意着设备人能够用它的大脑（AI技术）来创造新的东西。
Diffusion（扩散模型）：想象你把一滴墨水滴进清水里，墨水会慢慢散开，最后水变得浑浊。设备人伴侣就像能够把这个浑浊的水变回清澈同样，它能够从一团混乱的噪点中创造出清晰的图画。
CLIP（图文表征模型）：倘若你给这个设备人伴侣看非常多照片和它们的名字（例如“苹果”、“小狗”、“汽车”），它会学会识别这些照片。下次你给它看一个新的照片，它就能告诉你照片里是什么。
Stable Diffusion（稳定扩散模型）：这个设备人伴侣还能够按照你给它的提示来画画。例如你告诉它“画一个愉快的小狗”，它就能画出一个小狗的图画，况且这个小狗看起来很开心。
7、AGI（通用人工智能）
想象一下，倘若这个设备人伴侣不仅会画画和写故事，还能像人类同样理解世界，学习任何东西，并且能够做任何工作，那样它就像一个真正的小伴侣同样了。这便是通用人工智能，它能够做任何人类能做的事情。
此刻的AI，例如GPT，就像是一个在某个特定行业（例如写故事）非常善于的设备人，但它并不像真正的小伴侣那样理解世界。专家们正在奋斗让AI变得更像人类，但这是一个很大的挑战，需要非常多时间和科研。
因此，AIGC便是让AI像艺术家同样创造内容，而AGI是让AI变得像人类同样理解和办事。
八、LLM（大型语言模型）
大型语言模型就像是一个非常非常聪明的图书管理员，它读过非常多书，晓得非常多关于语言的知识，能够帮忙咱们做非常多事情，乃至能够自己写故事。
想象一下，这个图书馆管理员每日都在阅读图书馆里的成千上万的书籍。它经过阅读这些书籍，学会了非常多单词、句子和故事。这便是大型语言模型的训练过程，它通过阅读海量的文本数据来学习语言。
由于读过非常多书，这个管理员能够帮你做非常多事情。例如，它能够给你讲一个故事的摘要，或帮你把一个故事翻译成另一种语言，乃至能够告诉你一个故事里的名人是开心还是伤心。大型语言模型亦是这般，它能够执行非常多区别的任务，例如文本总结、翻译和情感分析。
这个管理员之因此这么聪明，是由于它有一个超级大脑，里面有非常多“小房间”（参数），每一个“小房间”都存储着区别的信息和知识。大型语言模型亦是这般，它有非常多参数，这些参数帮忙它记住和理解语言的繁杂规则和模式。
当你问这个管理员一个问题，或给它一个主题时，它能够给你一个答案或讲一个故事。它能够按照它读过的书籍和学到的知识，创造出连贯和有道理的文本。大型语言模型亦是这般，它能够生成新的文本，就像它自己在写故事同样。
GPT-3、ChatGPT、BERT和T5就像是区别行业的图书馆管理员，有的可能更善于讲故事，有的可能更善于解释科学知识，而文心一言就像是会写诗的图书管理员。它们都有自己的特长，但都能帮忙咱们理解和运用语言。
9、Fine-tuning（微调）
微调就像是在你已然学会一项技能的基本上，做有些小的改变和练习，让你能够更好地完成一个特定的任务。这般做能够节省时间，由于你不需要重新学习所有的东西，只需要专注于你需要改进的部分。
举个例子，你在学习骑自动车。你的爸爸或妈妈先带你在一个空旷的大公园里练习（这就像是预训练模型，公园里的各样地形就像是海量的数据，帮忙你学会骑车的基本技巧）。
此刻你已然会骑车了，然则你想学习怎样在你家周边的小山丘上骑（这就像是一个新的任务，需要微调）。由于小山丘的路和公园里的路可能不同样，有上坡、下坡和弯道，因此你需要有些尤其的练习来适应这些新的状况。
你的爸爸或妈妈会带你在小山丘上练习几天，这般你就会晓得怎样在上坡时蹬得更用力，在下坡时掌控速度，在弯道时转弯（这便是微调过程，你在学习怎样应用你已然把握的骑车技巧来适应新的环境）。
微调的好处是，由于你已然晓得怎么骑车了，因此你不需要再从零起始学习，只需要做有些小的调节就能够了。这就像是微调一个已然预训练好的模型，让它适应一个新的任务，例如理解医学文本。
十、 自监督学习（Self-Supervised Learning）
自监督学习就像是经过读故事和玩游戏来学习新单词，而不需要别人告诉咱们答案。这般，咱们能够用非常多无标签的数据来训练模型，让模型变得更聪明。
例如你正在读一本非常有趣的故事书。你读了非常多页，学到了故事里的非常多新单词和句子。此刻，倘若你的伴侣在旁边，你能够玩一个游戏：你给他读故事的一部分，而后遮住有些单词，让你的伴侣猜下一个单词是什么。这个游戏就像是自监督学习。
在这个游戏中，你的伴侣不需要别人告诉他正确的答案是什么，由于故事的上下文（已然读过的部分）便是线索。你的伴侣能够经过他已然晓得的单词和故事的内容来猜测下一个单词。这就是自监督学习的方式，模型经过已然晓得的信息来学习新的东西，而不需要额外的答案或标签。
以上，便是我的本周观察和思考，欢迎讨论。
专栏作家
黄河懂运营，微X公众号：黄河懂运营，人人都是制品经理专栏作家。5年+运营实操经验，甲乙方市场/营销/运营经验，善于从0到1帮忙企业搭建运营增长体系，在项目管理、市场调研、消费者心理科研、社媒营销等方面有较为丰富的实战经验。
本文原创发布于人人都是制品经理，未经许可，禁止转载。
题图来自 Unsplash，基于 CC0 协议。
该文观点仅表率作者自己，人人都是制品经理平台仅供给信息存储空间服务。
| 
发表于 2024-8-22 09:12:05
