ChatGPT是人工智能的新进展_周娜.pdf

4 M i c r o c o n t r o l l e r s&E m b e d d e d S y s t e m s 2 0 2 3年第4期w w w.m e s n e t.c o m.c n C h a t G P T是人工智能的新进展周娜1,何铮2,何为民3(1.海口经济学院,海口 5 7 1 1 3 2;2.海南政法职业学院;3.海南久迪物联网科技有限公司)摘要:介绍了人工智能的进程以及C h a t G P T对人工智能的突破点(生成、大模型、训练及标注),关注到国内“类C h a t G P T”的发展,并且讨论了C h a t G P T再次引发的“人类如何应对人工智能的爆发”以及“人类和人工智能二者之间的共处”。关键词:C h a t G P T;人工智能;大模型;算力 中图分类号:T P 3 文献标识码:AC h a t G P T i s a N e w D e v e l o p m e n t i n A IZ h o u N a1,H e Z h e n g2,H e W e i m i n3(1.H a i k o u U n i v e r s i t y o f E c o n o m i c s,H a i k o u 5 7 1 1 3 2,C h i n a;2.H a i n a n V o c a t i o n a l C o l l e g e o f P o l i t i c a l S c i e n c e a n d L a w;3.H a i n a n J i u d i I n t e r n e t o f T h i n g s T e c h n o l o g y C o.,L t d.)A b s t r a c t:T h i s p a p e r b r i e f l y i n t r o d u c e s t h e p r o c e s s o f A I a n d t h e b r e a k t h r o u g h p o i n t s o f C h a t G P T(g e n e r a t i o n,l a r g e m o d e l,t r a i n i n g a n d a n n o t a t i o n)a n d p a y a t t e n t i o n t o t h e d e v e l o p m e n t o f d o m e s t i c C h a t G P T l i k e.T h i s p a p e r d i s c u s s e s t h e h o w t o d e a l w i t h t h e o u t b r e a k o f A I a n d t h e c o e x i s t e n c e b e t w e e n h u m a n a n d A I t r i g g e r e d b y C h a t G P T a g a i n.K e y w o r d s:C h a t G P T;a r t i f i c i a l i n t e l l i g e n c e;l a r g e m o d e l;a r i t h m e t i c a l p o w e r0 引 言C h a t G P T是由O p e n A I推出的一款聊天机器人程序,具有与人类高度接近的语言互动模式,能够做到与真正人类几乎无异的聊天交流(图灵测试)。这是人工智能的一个新的重要突破。(1)1 9 5 6年人工智能诞生1 9 5 6年,在美国达特茅斯大学,1 0名科学家开会讨论用机器来模仿人类学习以及其他方面的智能。约翰 麦卡锡在写提案时创造了“人工智能”一词,(人类)学习的每一个方面或智能的任何其他特征原则上都可以被精确描述,以至于可以用机器来模拟它。人工智能学说诞生后的几十年里,人工智能和连接感知两个方向陷入了停滞。符号演算流派的专家系统不敌台式计算机;连接感知流派研究的人工神经元网络缺乏足够的算力。当时,小模型是人工智能理解人类思想的主流技术,但对自然语言、文字的处理是一个非常严密的推理过程,不仅要识别每个词,还要处理词语间的序列等。(2)2 0世纪9 0年代诞生了循环神经网络(R N N)模型循环神经网络(R NN)是以序列数据为输入、在序列的演进方向进行递归且所有节点按链式连接的递归神经网络,继而发展成为“深度学习”的主要算法之一。循环神经网络在自然语言处理(如语音识别、语言建模、机器翻译等)领域 有 较 多 应 用。深 度 学 习 已 形 成 完 整 体 系,但R NN模型只考虑单词或者上下文信息,常常导致全文句意前后不连贯,或者理解复杂句子时出错。随后,人工智能行业中很多技术领域(比如机器学习等)又进入到一个瓶颈阶段。(3)2 0 1 7年出现自注意力机制学习文本(T r a n s f o r m e r模型)2 0 1 7年,谷歌的研究团队发表“A t t e n t i o n i s A l l Y o u N e e d”,引入自注意力机制学习文本(T r a n s f o r m e r模型)。在该模型下,神经网络需要学会自动判断哪些词语对理解句意最有帮助,而不是“全文死记硬背”,因此,也不再像过去一样需要大量精标样本。T r a n s f o r m e r模型取代R NN成为主流模型。(4)2 0 2 2年C h a t G P T面世C h a t G P T是O p e n A I公司花5年时间研发而推出的对话机器人软件,是基于T r a n s f o r m e r的G P T(G e n e r a t i v e P r e t r a i n i n g T r a n s f o r m e r)大模型。G P T经历了G P T 1、G P T 2、G P T 3、G P T 3.5的演化,并在向G T P 4进军,大模型成为人工智能的必要技术已成共识。G P T进化表如表1所列。敬请登录网站在线投稿(t o u g a o.m e s n e t.c o m.c n)2 0 2 3年第4期 5 表1 G P T进化表版本G P T 1G P T 2G P T 3G P T 3.5I n s t r u c t G P TC h a t G P T推出时间2 0 1 82 0 1 92 0 2 02 0 2 2年2月2 0 2 2年1 2月模型参数1.1 7亿1 5亿1 7 5 0亿1 7 5 0亿1 7 5 0亿特点基 于T r a n s-f o r m e r的 大模型使 用 自 己 收集 的 以 网 页文 字 信 息 为主 的 新 的 数据集全 球 最 大 的预训练模型,实 现 了 生 成类 人 文 本 能力 的 巨 大 飞跃采用人工标记数据对G P T 3以监督式训练进行微调,收集答案样本,使用奖励模型和更多的标注过的 数据继续优化微调 的 语 言 模 型,并 进 行 迭代,该模型善 于 产 出 长 文 章,欠缺口语化的表达使用强化学习对人类测试人员的反馈进行训练,这些测试人员对其表现进行了评分,使其成为流畅、准确且无害的对话者。C h a t G P T能 完 成 包 括写代码、代码改错、翻译文献、写小说、写 商 业 文 案、创 作 菜谱、做作 业、评 价 作 业 等 一 系列常见文字输出型任务,C h a t-G P T更像是在与用户对话 G P T 3已成为全球最大的预训练模型之一。它拥有2 0 2 1年前未经过基础过滤的全网页爬虫数据集(4 2 9 0亿个词符)、维基百科文章(3 0亿词符)、两个不同的书籍数据集(共6 7 0亿词符)。经过人工标注形成标注文集,再进行监督式训练进行了微调并收集答案样本,使用奖励模型和更多标注过的数据继续优化微调过的语言模型,并且进行迭代。强化学习对人类测试人员的反馈进行了训练,这些测试人员对其表现进行了评分,使其成为流畅、准确且无害的对话者。于是O p e n A I于2 0 2 2年1 2月推出了对话机器人C h a t G P T,一经推出就火遍全球。测试结果表明,C h a t G P T能完成回答问题、总结文档,甚至写代码、代码改错、翻译文献、写商业文案、创作菜谱、做作业、评价作业等一系列常见文字输出型任务。当然,它还有欠缺、错误和烦躁,为此O p e n A I又推出了G P T 4。1 C h a t G P T的主要特点(1)生 成生成A I G C(A I G e n e r a t e d C o n t e n t)是C h a t G P T基于A I大模型的训练,利用现有的数据、算法和算力生成更多数据和应用。C h a t G P T能根据问话生成广告、歌曲、程序其生成能力甚至包括对现有数据的创新。这是人工 智 能 所 追 求 的,也 是 人 工 智 能 最 热 门 的 发 展 方 向。A I G C能够以优于人类的制造能力和知识水平承担信息挖掘、素材调用、复刻编辑等基础性机械劳动,从技术层面实现以低边际成本、高效率的方式满足海量个性化需求。利用现有的数据生成更多新数据和应用,就像D NA的突变有可能导致生物质变的进化。(2)大模型大模型的出现很像生物进化的过程,就像大脑容量在不断量变达到一个临界点,然后生物体就产生了高等智能。大模型的特点:一是可以充分利用网上海量的未标注数据,模型的规模和能力得到显著提高;二是大模型具有非常强的通用能力,只需经过少量参数微调,就可以用于机器翻译、人机对话等不同任务。像A l p h a G o这样的人工智能(深度计算1 3层,每一层的神经元数量为1 9 2个)就属于“小模型”,它只能用来下围棋,如果要让它下其他的棋,还需要技术人员重写代码、重新训练。小模型不仅需要大量的手工调参,还需要给机器喂养海量的标注数据,这拉低了人工智能的研发效率,且成本较高。从小模型到大模型的变化,无异于人工智能的“进化”,是弱人工智能向通用智能的跳跃。(3)训 练G P T 3像是两三岁的天才儿童,虽然读完了世界上所有的书,但不知轻重,也没有价值观,需要父母精心教育和启发,要让它在聊天方面发挥潜力,这就是数据训练。为了提升C h a t G P T的聊天能力,引入了一个新的数据训练方法 人类反馈强化学习(R LH F)。O p e n A I引入人类评判 员,创 建 了 一 个 奖 励 模 型 评 判 员 不 断 地 跟C h a t G P T对话,并对它生成的答案按照质量好坏评分,模型收到反馈后进行优化。山姆奥特曼承认让模型以特定方式对人们有所用途,并找出正确的交互范式,取得了惊人的效果。2 0 2 3年2月上旬,斯坦福大学计算心理学教授迈克尔科辛斯基发表论文称,在对几个语言模型进行专业测试后,他发现C h a t G P T的表现接近9岁儿童的心智。(4)标 注标注相当于对小学生的道德和法律教育。大模型充分利用了网上海量的数据(目前利用了2 0 2 1年网上数据),但互联网上有不少谎言、暴力、黄色等内容必须通过标注来剔除,保证聊天机器人过滤不适宜的信息,输出适合日常对话的内容。2 中国的C h a t G P T相比之下,由于各种原因,国内的人工智能滞后了几6 M i c r o c o n t r o l l e r s&E m b e d d e d S y s t e m s 2 0 2 3年第4期w w w.m e s n e t.c o m.c n 十年,但随着改革开放,人工智能纳入国家战略。新世纪中国的人工智能迅起猛追,在语音系统、图像模式识别等人工智能应用领域都取得了较好的成绩。在这次C h a t G P T爆发、谷歌和微软短兵相接时,国内很多公司也都表示在相关领域进行研发和布局。人工智能从小模型到大模型,不是简单在技术