ChatGPT的本质

ChatGPT大火后，大家讨论最多的是“怎么用ChatGPT”、“ChatGPT怎么搞钱”。

但是，在讨论这些问题之前，有一个更重要的问题需要我们知道，“ChatGPT是什么”。

因为只有了解了ChatGPT的概念，我们才能更清楚它有什么价值，我们能怎么利用它。凡事知其然，也要知其所以然。把定义搞清楚，是一切讨论的前提。

哲学家维特根斯坦说过一句话：语言的界限就是思想的界限。

备注：本文是从一个技术麻瓜（普通人）的视角来解释，不用太担心难以理解。

一、什么是人工智能

ChatGPT，是人工智能里程碑式的产品。所以在说它之前，必须先聊聊什么是人工智能。

1950年，艾伦·图灵发表了一篇划时代的论文《计算机器与智能》，这篇论文在开篇就抛出了一个有趣的问题：“Can machines think（机器能思考吗）？”这个问题引起了广泛的关注和思考，标志着人工智能的起源。

简单点说，人工智能，就是要让计算机拥有人类智能的能力，包括感知、学习、推理、创造和情感等。当然，我们可以把它划分为不同的层次：

• 运算智能：具备计算和记忆的能力。
• 感知智能：对外界环境感知的能力，比如视觉（图像识别）、听觉（语音识别）等。
• 认知智能：理解和思考的能力。人类有概念，才有推理。先有理解，才有思考。比如自然语言处理技术（NLP）。
• 创造智能：生成新信息、新想法或创意的能力，包括生成文本、图像、音乐等。

这几年随着感知智能的大幅度进步，人们的焦点逐渐转向了认知智能。其中自然语言处理，是重中之重，一旦有突破，会大幅度推动人工智能的发展。

二、什么是自然语言处理

自然语言处理（Natural Language Processing，NLP）：是计算机理解（NLU）和生成（NLG）人类语言的技术。

理解人类的语言是一件特别难的事情，举个例子：

小明：我知道你什么意思，你的意思就是想意思意思，但是你不明白我的意思，我的意思是你不用意思意思，我依然会帮你意思意思，我没什么意思，就这点意思，不用意思意思，不然我会不好意思。你懂我的意思?

计算机：……%&￥&#

所以，自然语言处理，才被比尔盖茨称之为“皇冠上的明珠”。

比尔·盖茨曾说过，“自然语言处理是人工智能皇冠上的明珠，如果我们能够推进自然语言处理，就可以再造一个微软。”

三、什么是ChatGPT

ChatGPT，是自然语言处理技术的里程碑。如果说过去，我们的对话机器人可以称之为“人工智障”，而ChatGPT终于可以称之为“人工智能”。

ChatGPT：全称 Chat Generative Pre-trained Transformer（生成型预训练变换模型）。

是不是觉得每个字都认识，但放在一起就懵了。其实，这些单词背后都是一个技术名词，所以，我们需要一个词一个词的解释一下。

3.1 ChatGPT

Chat：代表着它的作用，可以用它来聊天。

GPT：代表着它背后的技术。

G：Generative——生成式的（模型），这里主要是和分类式的模型 Discriminative model 做个区分。

这里不用太深入了解，我们只需要知道生成式的模型，就是可以用它来生成内容，比如一段话、一张图片。

P：Pre-Trained——预训练的（模型）

T：Transformer——转换器（模型）

为什么ChatGPT用的是Transformer模型，为什么要预训练，这里不太好解释，我们需要先了解一下自然语言处理技术的发展历程。

3.2 NLP技术的发展

我们都知道，要理解人类的语言是一件很复杂的事情，技术的发展也经历了波折的过程。

第一阶段：基于规则的时代（1950s-1970s）

简单来说，就是设计一些规则，让计算机按规则去理解人类的语言。比较著名的是 1966 年 MIT 发布的世界上第一台聊天机器人 Eliza。但总体来看，这些机器人还无法与人真正实现对话。

第二阶段：机器学习——神经网络时代（1970s-2010s）

机器学习的兴起：机器学习，指不通过人类指定的规则，而是通过机器自身运行，习得事物的内在规律。

用专业的话来说，就是“计算机程序能从经验E中学习，以解决某一任务T，并通过性能度量P，能够测定在解决T时，机器在学习经验E后的表现提升”。

能用人话来解释吗？好嘞。

用小白的话来说，机器学习你可以把它想象成“儿童学习的过程”。比如：小明是一个小学生，他要参加考试（任务T）。如果想要让它取得好成绩，就要让他不断刷题（经验E），（性能P）就是考试成绩，然后通过不断刷题，来提高成绩。

机器学习的本质，是统计学。机器学习的结果，就是训练出一个“模型”。

这个模型可以理解为是一个函数：y=f(x)。我们把数据（x）输入进去，得到输出结果（y）。

比如语言模型：就是对语言中的词序列，进行建模的统计模型，给定前文（x），生成下一个词（y）的概率分布。

那怎么获得这个模型呢——答案是训练。

一般先确定模型的类型，也就是f(x) 的具体形式，再结合训练数据，计算出其中各个参数的具体取值的过程。比如给定函数：y=ax，我们需要通过“算法”，找到最优参数a，这个就是“机器学习”的过程。目标是让输出的结果 y`，最符合我们的业务目标 y。

经过几十年的努力，人们在NLP模型上不断进步。其中，神经网络作为一种模拟生物神经系统的模型，在NLP领域取得了显著的突破，成为了主流方法，比如RNN、LSTM等。

第三阶段：Transformer模型（2017年至今）

当然，RNN、LSTM等模型都不够完美，最大的缺陷就是计算效率低、长语言的效果差。

而在2017 年 Google 机器翻译团队发布了著名论文 《Attention is All You Need》，提出了 Transformer 模型，带来了历史性的突破，成为了 NLP 历史上的一个标志性事件。

相较于传统的神经网络，Transformer 模型提升了语言模型运行的效率（效率更高），同时能够更好的捕捉语言长距离依赖的信息（效果更好）。

简单来说：就是Transformer这个模型，在处理自然语言任务上很牛逼！

3.3 为什么要 Pre-Trained（预训练）呢？

我们已经知道，机器学习是在模仿“儿童学习”的过程。比如：

有一个小孩A，在家长的指导下学习知识，告诉它这是熊、那是马，这种叫做“监督学习”。

有一个小孩B，没有家长教，直接把大量题目丢给他，让他在题海中自己发现题目规律，当题量足够大的时候，B虽然不能完全理解每道题，但也会发现一些知识点的固定表述。这就叫做“无监督学习”。

很明显，无监督学习，不会受限于人力，你只要把所有的数据喂给它就行了，它会自己总结内部的规律。

预训练（Pre-training）就是这个原理，先使用大规模的数据集对模型进行事先的训练。这个预训练过程不针对特定的任务，它会自动地从数据中提取特征，从而学习到语言的潜在模式和结构。

而要让模型执行具体任务时，再使用特定任务的数据进行监督学习，也就是微调（Fine-tuning）。从而让模型更加专业化和适应具体任务的需求。

比如ChatGPT就经过了人类反馈的强化学习（RLHF），让它能更胜任与人聊天的任务（更安全、更有礼貌、更有用）。预训练+微调的技术，能让ChatGPT更具有“泛化”能力，而不是只能解决特定问题的“专家”。

四、ChatGPT对我们意味着什么

这个问题我不想聊太大，什么取代人类的工作、什么AGI到来……

我觉得：作为普通人，唯一要做的就是不要落下，尽情地享受AI带来的便利就好。推动技术发展，是科学家的使命。

ChatGPT的本质还只是工具，跟历史上出现过的所有新工具一样。我们必须要学习它，理解它、运用它，让它在学习和工作场景中发挥价值。

总结

ChatGPT：是一个人类语言的处理模型。

• 什么是模型：本质是函数，比如 y=f(x)，输入（x），得到输出结果（y），模型的目的是为了解决特定的问题。对于ChatGPT，你输入一段文字后，它会“理解”你的语言，生成回应，为你提供建议或交流。
• 为什么能理解：本质是统计学，不是真的理解。它是通过机器学习，掌握了语言的规则和模式。
• 为什么效果史无前例：Transformer的模型解决了过去技术效率低和效果差的问题+预训练可以处理大量数据，能力泛化+微调帮助模型更适应具体与人聊天的任务。

作者 | 王洲Joe 关注AI趋势，用人工智能改变工作和创造力。