ChatGPT类产品：内在机制及其对学习评价的影响_沈书生.pdf

中国远程教育CHINESE JOURNAL OF DISTANCE EDUCATION 2023,NO.4CHINESE JOURNAL OF DISTANCE EDUCATION 2023,NO.42023年第4期中国远程教育2023年第4期现代技术的每一次迭代与突破，都会引起社会不同领域的强烈回应，并激发教育工作者对于变革教育的持续深思。2022年底，美国人工智能研究实验室OpenAI发布生成式交互工具ChatGPT以后，全网用户再一次进入了新技术的狂欢。在人类的所有行为中，交互是最基础的行为，因此ChatGPT也就成为一款与用户更加贴近的工具，它不仅可以回答用户的问题，还可以完成用户设定的某些任务，甚至还可以持续实现任务的优化。ChatGPT当前对我国用户尚未完全开放，百度宣布将于2023年发布同类产品“文心一言（ERNIE Bot）”（百度百科,2023），360与科大讯飞等企业也表示将发布类似于ChatGPT的产品（刘园园,2023）。ChatGPT及其同类产品的最大特点在于建立了内容生成式规则，故可将这类产品统称为内容生成式AI产品（AIGC Products）。这类产品因直接逼近人类的生活世界，且几乎可以和每一个个体发生联系，因此必然会改变人们的许多行为方式，并导致学习形态也发生相应改变。一、ChatGPT及其同类产品的产生与发展现代技术与机器的出现，都是为了帮助人类解决各种复杂问题，包括体力和智力两个层面的问题。计算机出现以后，研究者们的兴趣进一步聚焦到如何借助计算机来模拟人的智力活动这一问题层面。在20世纪 50 年代美国达特茅斯学院组织的相关研讨会上，学者们提出了“人工智能”这一术语，用于描述如何用机器来模拟人类智能这一专门领域（蔡自兴，2016）。但是，受算法与算力等方面的限制，人工智能的研究尽管没有停止，人工智能也在一些特定领域发挥了重要作用，但却没有广泛进入普通人的生活世界。2016年，当AlphaGo战胜了世界顶尖围棋高手以后，人工智能从一个学术性概念演化为一个生活化概念，几乎每一个领域与行业的人士，都能够围绕人工智能这一话题进行广泛的交流与讨论，人工智能的应用也随处可见。ChatGPT类产品：内在机制及其对学习评价的影响沈书生祝智庭摘要：2022年底，美国人工智能研究实验室OpenAI发布了生成式交互工具ChatGPT，引发了广大用户的关注。ChatGPT及其同类产品是一种内容生成式AI产品（AIGC Products），模拟的是人类的交互行为，而交互行为又是人类最基本的行为，因此该类产品将会成为AI领域最接地气的产品。自然语言处理是机器模拟人类交互智能研究中需要解决的首要问题，实现自然语言处理既需要依赖强大的计算机集群与算力，也需要合理的规则与算法模型支持，预训练语言算法模型研究的突破使得内容生成式产品可以成功上线。这类产品具有相似的算法思维逻辑与基础的共性特征，更加贴近每一个个体，当个体与该类产品建立联系以后，这类产品就可以作为个体的外脑，并与内脑构成复合脑。推动个体构建适应未来世界的复合脑，学校教育需要形成“思维比知道重要、问题比答案重要、逻辑比罗列重要”的学习评价新思维。关键词：ChatGPT；内容生成式AI产品；基于规则的算法；算法思维；复合脑；学习评价中图分类号：G434文献标识码：A文章编号：1009-458（2023）4-0008-08基金项目：本文系全国教育科学“十三五”规划2019年度国家一般课题“适应性学习空间支持下的学习范式研究”（课题编号：BCA190081）的研究成果。作者简介：沈书生，南京师范大学教育科学学院教授。祝智庭，华东师范大学开放教育学院教授（通讯作者：）。08DOI:10.13541/ki.chinade.20230223.001中国远程教育CHINESE JOURNAL OF DISTANCE EDUCATION 2023,NO.4CHINESE JOURNAL OF DISTANCE EDUCATION 2023,NO.42023年第4期中国远程教育2023年第4期（一）理解自然语言是机器模拟人类智能的首要问题如何用机器来模拟人类智能，既取决于研究者对人类智能的理解，也取决于实现模拟活动的具体方法。在人工智能的研究与实践过程中，产生了三种不同的研究进路，包括从结构方面模拟人类智能的人工神经网络研究方法、从功能方面模拟人类智能的物理符号系统研究方法、从行为方面模拟人类智能的感知动作系统研究方法（钟义信，2017）。事实上，人工智能领域不同研究进路，都产生了许多令人惊叹的成果。如何实现不同进路的融合，推动人工智能在结构、功能与行为等层面的类人化，开发出“类人机”甚至是“似人机”与“超人机”，一直是研究者关注的重要内容，也是人们热衷的议题。论及与外部世界进行交往的过程，人类与其他动物的主要区别就是能够使用“自然语言”。自然语言既可以帮助人们认识外部世界，还可以帮助人们思维并形成关于外部世界的判断，尤其重要的是，还可以促进人与人之间的交流。机器如果要模拟人类智能，一个不得不解决的问题就是要能够理解人类的语言，并能够像人一样使用语言与他人进行交流。因此，在人工智能领域的研究中，如何处理自然语言，也就成为该领域的关键研究内容。ChatGPT类产品在自然语言处理领域实现了重要突破，主要采用了从结构方面模拟人类智能的方法，以基于神经网络的自然语言处理方法为基础，建立了强大的预训练语言处理机制，使其不仅可以理解人类的基本语言，还可以根据用户的需求适当组织和生成语言，与用户进行交流与沟通。ChatGPT不是一款应用程序，而是一个语言生成模型（language generation model），需要在其网站上运行。ChatGPT可以根据用户的需求及其行为为用户提供个性化的答案；可以帮助用户自动完成一些任务，譬如完成每天必须完成的工作、帮助营销人员回应客户要求、撰写或发布信息，等等；可以帮助用户完成数据分析，当用户将不能理解的内容交给它的时候，它可以使用通俗的方式进行表达，完成对数据的处理与概括。ChatGPT可以帮助用户生成正在阅读的某本书的摘要，可以根据用户的需求创作歌曲或故事，可以生成一些笑话，可以编写代码，可以帮助发现代码中的错误，可以针对用户的困惑提供建议，可以陪同用户玩游戏，可以帮助用户制作个人简历或求职信，可 以 帮 助 用 户 进 行 语 言 翻 译（thewindowsclub，2023）。（二）基于规则的推理与模型可以实现自然语言处理机器要模拟人类的语言等，就必须不断理解人类的行为以及人类控制行为的方式，从而建立问题解决数学模型。但人类自身在处理外部问题的过程中，并没有借助于数学模型，而是根据自身的已有经验与推理能力不断调整自己的控制策略（李祖枢 等，1990），以实现与外部世界的交往。因此，要让机器能够模拟人类智能，就需要弄清楚人类是如何控制自己行为的，分析和研究人的行事逻辑，寻找这些行事逻辑背后的“规则”。在研究机器模拟人类行为的过程中，许多研究者主张从“规则”出发，譬如基于波斯特在 1943年提出的产生式规则（张大均，2011）建立的产生式系统，纽厄尔和西蒙开发了一个人类的认知模型。西蒙发现，到20世纪80年代前后，学界普遍意识到研究机器支持的学习系统，并不是要让机器记住大量的知识，而是要让机器实现对知识的组织，因此研究者开始思考如何采用自适应的方式，并研发了基于产生式规则的自适应产生式系统，但自然语言处理却始终是一个复杂的问题（李应潭，1983）。一般认为，进行自然语言处理，首先需要处理的是语言学和语料库相关的准备工作，进而需要处理的是如何基于语言学知识对语料库进行分词、词性标注、句法与语义分析等，然后再利用这些结果处理特定的目标任务（王海宁，2022）。建立的语料库越丰富，对于接受训练的语言处理系统而言，它必然会越逼近人类的需要。但是，面对日益复杂变化的世界，语料库再庞大，也无法满足人类的多样化需要。这就使得研究者在研究人类活动的过程中，不断对规则进行优化。值得注意的是，学习研究领域和AI领域对于“规则”的理解是存在差异的：在AI领域，将基于事先约定的做法称为规则；而在学习研究领域，规则被视作处理问题的方法，越复杂的问题涉及的规则越复杂，处理复杂问题的过程可以看作基于已有规则与设计新规则相结合的过程。参考学习研究领域对于“规则”的理解，我们可以将AI领域处理自然语言目标任务的不同思维方式大致归为两类基本规则：一类是语义预定义型规则，这是事先规定好的规则；另一类是语义生成型规则，这是可以根据特定文本中的前后关系不断生成的规则。运用语义预定义规则处理自然语言，需要事先赋予某些词汇以特定属性，一旦系统在处理相关任务时09中国远程教育CHINESE JOURNAL OF DISTANCE EDUCATION 2023,NO.4CHINESE JOURNAL OF DISTANCE EDUCATION 2023,NO.42023年第4期中国远程教育2023年第4期碰到这些词汇，就会关联相关的属性并产生相应的语义，如果系统事先还预定义了不同语义之间的关系规则，就可以做出相应的推理。运用语义生成型规则，则是基于某些特定文本中出现的词汇的次数或上下文关系来处理自然语言，包括基于词频统计和基于分布式语义假设两类主要方法，在基于分布式语义假设的语义生成式规则中，研究领域中又派生出建立矩阵关系、词义聚类与神经网络等不同的具体规则来处理问题。这些规则的改变，主要是为了帮助解决语言模型的“预训练（Pre-training）”问题（车万翔 等，2022;王海宁，2022）。（三）算法的持续优化推动了预训练语言模型的形成借助于语义生成型规则处理自然语言，我们可以不用对文本进行预先标注，而是直接利用文本自身所包括的许多特征，如有序性、词的同义性或词义的变化性等，让机器不断从输入的文本中分析词汇与语义，以形成对文本的理解，这也推动了深度学习的发展，为人工智能技术的再次腾飞奠定了基础。在此过程中，许多研究团队都构建了基础算法。早期的AI类产品是基于语义预定义规则，因此产品往往局限于专家系统的理解力水平与内容涉及范围，而以Chat-GPT 为代表的新一代 AI 产品则以“生成式”为基础，形成了许多准确度与稳定性较高的产品。基于神经网络的语言处理模型解决了如何借助文本的有序性理解文本的问题，但在建立文本中位置稍远的不同词汇之间的关系等方面，即使通过改进算法就可以进行优化，但通常又需要较强的“算力”来支撑，故成本较高。任何一种AI算法都依赖特定的规则设计，而规则的设计又是以可以转化为“算法”为基础的，因此，我们可以将算法理解成“基于规则的算法”。不断优化对人类认识机制的理解，持续丰富或改变自然语言处理的规则，就可以建立具有更高智能的语言处理系统。许多AI研究团队都致力于优化处理规则与改进算法，既追求研发过程的低成本与高效率，又追求处理系统的少投入与速度快（李舟军 等,2020）。2017 年，有研究者创建了 Transformer 算法模型，该模型加入了自注意力（Self-Attention）机制。自注意力机制是相对于注意力机制而言的。注意力机制类似于生活世界中主体对于外部世界的关注，此时主体会通过对外部世界的粗略扫描，进而专注某些特定的对象。此时可以认为主体在不同对象上的投入程度是不一样的，这种不同的投入程度类似于赋予了对象不同的“权重”。注意力机制需要同时考虑“输入文本”与“输出文本”之间的关系，通过赋予不同的“权重”来增加语言处理的准确度。而“自注意”则类似于主体对自己大脑中所有的内容及其关系的理解，是反映主体大脑中内容关系的“权重”处理方式。将其作为一种规则应用于自然语言处理中，就构建了“自注意力机制”。自注意力机制侧重于对“输入文本”中出现的不同词汇进行语义的相关性判断，并通过赋予不同的权重来区分词义的相关程度，特别关注更具相关性的特征，从而使得在完成相关任务的过程中，让输出的结果更符合输入的要求。类似于人类的基本思考过程，新的算法模型关注的本质依然是“编码”