ChatGPT的技术发展路径和带来的影响2023 2.pdf

ChatGPT的技术发展路径和带来的影响2023-扫码进群领取3、最新业报告、公司研究、专业咖分享1、优质研报免费获取，业报告定期打包2、每推送业最新深度研报（精选10篇）01：人工智能和NLP发展路径02：GPT系列模型发展路径03：ChatGPT技术原理解析04：ChatGPT的影响和意义目录CONTENT3人工智能技术发展脉络人工智能诞生最早可以追溯到1956年的感知机模型，经过近70年的发展，已经渗透到各行各业。2011年之前 模型简单受制于当时计算机硬件的发展，模型普遍简单，能力也相对较弱 场景局限模型只能处理单一场景，通用能力非常弱，导致成本过高。2012年至今 大模型得益于底层技术原理的突破和硬件算力的发展，模型越来越大，GPT3（2020年）达到了惊人的1750亿个参数（一般人脑有神经元120到140亿个）大数据庞大的模型需要对应于海量的数据，GPT3使用的数据量已达到45TB，包括了多种主流语言放置示意图 人工干预往往需要如制定规则，词表，标注样本等大量人工工作。多模态语音，文字，图像之间不再存在明显壁垒，模型处理复杂场景的能力明显增加4人工智能的任务类型一般来说，人工智能处理的任务可以分为两类：1.决策式：人工智能回答“选择题”，模型主要处理诸如：判别，分类，排序等任务。2.生成式：人工智能回答“问答题”，需要模型根据输入，自动生成一些新内容（客观世界可能从未出现）。5NLP发展的技术路径自然语言处理（NLP，Natural Language Processing）是研究人与计算机交互的语言问题的一门学科。传统方法(2012年以前)神经网络(2012年2018年)大模型预训练(2018年至今)提示(Prompt)学习(2020至今)典型方法Word2vec的诞生标志着NLP和神经网络的结合，陆 续 出 现 了 FastText、TextCNN、LSTM、Attention等模型特点神经网络的出现，大量减少了人工干预的工作，同义词可以通过向量表征自动学会，句法分析，词性标注等都已经嵌入进模型结构。典型方法常用方法有SVM、TF-IDF、LDA、同义词表、句法解析，语义规则，BP神经网络。特点需要人工进行干预，如制定规则，词表，权重等。应用场景单一，都是针对特定场景进行开发。需要做大量特征工程。典型方法2018年，GPT和Bert的先后出现，标志着大模型时代的到来，后续诞生的Bart、ERNIE，T5等方法不断探索大模型的能力边界。特点模型参数量、数据量均上升了一个台阶，但是大部分模型利用文本自身特点生成训练样本，省去了很多人工标注的工作。在特定场景使用微调技术，降低了大模型跨场景的门槛。典型方法特点将所有任务，都转变为生成式任务。模型不再需要微调，使得零样本和少样本学习成为可能。提示学习将下游任务的建模方式重新定义，通过合适的prompt来实现直接在预训练模型上解决下游任务，如GPT3，T5。01：人工智能和NLP发展路径02：GPT系列模型发展路径03：ChatGPT技术原理解析04：ChatGPT的影响和意义目录CONTENT7GPT系列模型发展路径在这个大模型时代，国内外各大厂商均对大模型积极布局，呈现百家争鸣的现象。Nvidia或成最大赢家。各大厂商的布局三种技术流派 自从2017年，Transformer被提出来后，Google，Meta，OpenAI均在大模型上有所建树，并产生了三种技术流派：1.自编码(Bert等)2.自回归（GPT等）3.二者结合（T5，BART等）底层技术原理8NLP技术发展带来的影响最近10年，是NLP技术和业务场景发展最快的黄金时期，NLP本身的技术体系被重构，所影响的业务领域也不断扩大。技术体系的改变 中间任务的消亡中间任务是指并不直接面向最终目标，而是为了解决最终目标的一些阶段性任务。因为神经网络的发展，诸如语法分析，词性标注，分词等特有的中间任务已经几乎无人问津。使用场景的扩大 搜广推等内容链接领域NLP最成功的的商业化应用场景就是搜索，推荐，广告，技术的发展催生出一系列巨头（谷歌，百度，字节）未来的发展 大模型时代ChatGPT的出现，标志着大模型已经突破了技术的天花板，让大模型这条技术发展路线更为坚定。All you need is Money现在完成一个NLP任务，需要的不仅是技术，而且还包括算力，数据等资源。这背后都是巨额的资金投入。丰富的人机交互各类聊天机器人，语音助手，等人机交互场景趋于成熟。小模型时代大模型对于创业公司和中小企业来说无疑需要倾注大量的资源。轻量化预训练模型，给出了一个新的思考方向。内容领域的变革ChatGPT将会颠覆整个内容生态，内容型公司（如知乎，微博）的重点将从内容分发转变为内容生产。今后互联网将充斥着大量机器产生的内容，这对监管会带来极大的挑战。9OpenAI和ChatGPT的发展路径OpenAI，在美国成立的人工智能研究公司，核心宗旨在于“实现安全的通用人工智能(AGI)”，使其有益于人类。2015年2018年2019年BEGIN2022年2019 年 7 月 22 日，微软宣布将向 OpenAI 投资 10 亿美元，以 共 同 开 发 用 于MicrosoftAzure 云平台的新技术微软率先宣布与OpenAI独家合作打造了一台性能位居全球前五，拥有超过28.5万个CPU核心、1万 个 GPU、每 GPU 拥 有400Gbps网络带宽的超级计算机Azure AI超算平台，主要用于大规模分布式AI模型训练。OpenAI 成立于2015年，是一家非营利性研究机构，它的愿景是构建出安全、对人类有益的通用人工智能（AGI），由 伊隆 马斯克、SamAltman 等人宣布出资 10 亿美元成立。GPT面世，标志着人工智能正式走向大模型时代GPT-3依旧延续自己的单向语言模型训练方式，只不过这次把模型尺寸增大到了1750亿，并且使用45TB数据进行训练。2020年 2022年11月30日，ChatGPT上市。2022年12月5日OpenAI创始 人 山 姆 奥 特 曼 宣 布，ChatGPT的用户已经突破100万人，仅用时5天。2023年1月末 ChatGPT 用户数突破1亿，成为史上用户数增长最快的消费者应用。2023年1月末微软宣布向推出 ChatGPT的OpenAI公司追加投资100亿美元。10GPT-1系列模型发展路径GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。GPT模型结构 GPT-1的无监督预训练是基于语言模型进行训练在GPT-1中，使用了12个transformer块的结构作为解码器，每个transformer块是一个多头的自注意力机制，然后通过全连接得到输出的概率分布。11GPT-1处理相关NLP任务GPT-1稍加处理，就可适配大部分NLP主流任务放置示意图分类任务将起始和终止token加入到原始序列两端，输入transformer中得到特征向量，最后经过一个全连接得到预测的概率分布。推理任务将前提（premise）和假设（hypothesis）通过分隔符（Delimiter）隔开，两端加上 起 始 和 终 止 token。再 依 次 通 过transformer和全连接得到预测结果。语义相似度输入的两个句子，正向和反向各拼接一次，然后分别输入给transformer，得到的特征向量拼接后再送给全连接得到预测结果。问答类将n个选项的问题抽象化为n个二分类问题，即每个选项分别和内容进行拼接，然后各送入transformer和全连接中，最后选择置信度最高的作为预测结果。12GPT-1的使用的数据量和指标GPT-1使用的数据量和参数量在目前看并不算大，但是在2018年时，已经算非常大的突破。数据量和数据集 数据量GPT-1使用了约5GB的数据量。模型结构 数据集GPT-1使用了BooksCorpus数据集，这个数据集包含7000本没有发布的书籍，更能验证模型的泛化能力。使用字节对编码，共有40,000个字节对；词编码的长度为 768；可学习位置编码，位置编码长度为3072；12层的transformer，每个transformer块有12 个头；Attention，残差，Dropout等机制用来进行正则化，drop比例为 0.1；激活函数为GLEU；训练的batchsize为64，学习率为，序列长度为512，序列epoch为100；模型参数数量为1.17亿。13GPT-2相关介绍GPT-2的最大贡献是验证了通过海量数据和大量参数训练出来的词向量模型有迁移到其它类别任务中而不需要额外的训练。数据量和数据集GPT-2的文章取自于Reddit上高赞的文章，命名为WebText。数据集共有约800万篇文章，累计体积约40G。为了避免和测试集 的 冲 突，WebText 移 除 了 涉 及Wikipedia的文章。共计40GB的数据量。模型结构实验结果在8个语言模型任务中，仅仅通过zero-shot学习，GPT-2就有7个超过了state-of-the-art的方法；在“Childrens Book Test”数据集上的命名实体识别任务中，GPT-2超过了state-of-the-art的方法约7%；“LAMBADA”是测试模型捕捉长期依赖的能力的数据集，GPT-2将困惑度从99.8降到了8.6；在阅读理解数据中，GPT-2超过了4个baseline模型中的三个；在法译英任务中，GPT-2在zero-shot学习的基础上，超过了大多数的无监督方法，但是比有监督的state-of-the-art模型要差；GPT-2在文本总结的表现不理想，但是它的效果也和有监督的模型非常接近 同样使用了使用字节对编码构建字典，字典的大小为50257；滑动窗口的大小为1024；batchsize的大小为 512；Layer Normalization移动到了每一块的输入部分，在每个self-attention之后额外添加了一个Layer Normalization；模型参数数量为15亿。14GPT-3相关介绍除了几个常见的NLP任务，GPT-3还在很多非常困难的任务上也有惊艳的表现，例如撰写人类难以判别的文章，甚至编写SQL查询语句，React或者JavaScript代码等。数据量和数据集GPT-3共训练了5个不同的语料，分别是低质 量 的 CommonCrawl，高 质 量 的WebText2，Books1，Books2和Wikipedia，GPT-3根据数据集的不同的质量赋予了不同的权值，权值越高的在训练的时候越容易抽样到。共计45TB的数据量。模型结构实验结果GPT-3超过了绝大多数的zero-shot或者few-shot的state-of-the-art方法。另外GPT-3在很多复杂的NLP任务中也超过了fine-tune之后的state-of-the-art方法，例如闭卷问答，模式解析，机器翻译等。除了这些传统的NLP任务，GPT-3在一些其他的领域也取得了非常震惊的效果，例如进行数学加法，文章生成，编写代码等。GPT-3沿用了GPT-2的结构，但是在网络容量上做了很大的提升，具体如下：GPT-3采用了 96层的多头transformer，头的个数为96 词向量的长度是 12888 上下文划窗的窗口大小提升至2048 个token；使用了alternating dense和locally bandedsparse attention。15技术亮点：Few-shot，one-shot，zero-shot learningGPT-3在很多复杂的NLP任务中也超过了fine-tune之后的state-of-the-art方法，例如闭卷问答，模式解析，机器翻译等。在few-shot learning中，提供若干个（10100个）示例和任务描述供模型学习。one-shot laerning是提供1个示例和任务描述。zero-shot则是不提供示例，只是在测试时提供任务相关的具体描述。作者对这3种学习方式分别进行了实验，实验结果表明，三个学习方式的效果都会随着模型容量的上升而上升，且few shot one shot zero show。16GPT系列总结GPT系列从1到3，通通采用的是transformer架构，可以说模型结构并没有创新性的设计。但是探索出一条路：就是可以通过海量数据，超强算力，让NLP产生质的变化。钞能力在微软的资金支持下，这更像是一场赤裸裸的炫富：1750亿的参数31个分工明确的作者超 强 算 力 的 计 算 机（285000 个 CPU，10000个GPU），1200万的训练费用45TB的训练数据（维基百科的全部数据只相当于其中的 0.6%）。中小企业无法承受的，甚至在训练GPT-3时出现了一个bug，OpenAI自己也没有资金重新训练了。GPT3的一些缺点幻性：对于没有意义的问题，GPT-3无法判断，而是拟合一个没有意义的答案出来；毒性：GPT-3偶尔会生成的文章不包含一些非常敏感的内容，例如种族歧视，性别歧视，宗教偏见等；并且不可控重复性：受限于transformer的建模能力，GPT-3并不能保证生成的一篇长文章或者一本书籍的连贯性，存在下文不停重复上文的问题。长远意义AI的表现并非随着模型规模增加而线性增加，而是在参数规模超过特定临界值后显著提升，甚至涌现出小模型不具备的能力。GPT-3对AI领域的影响无疑是深远的，如此强大性能的语言模型的提出，为下游各种类型的NLP任务提供了非常优秀的词向量模型，在此基础上必将落地更多有趣的AI应用。硬件的性能在飞速发展，而算法的研究似乎遇见了瓶颈，GPT-3告诉各大硬件厂商它们的工作还要加油，只要算力足够强，AI的性能还有不断提升的上界。同时GPT-3如此高昂的计算代价也引发了一些关于AI领域垄断的一些担心，恐怕会形成AI巨头对算力要求高的算法的技术垄断。17Nvidia在GPT3上的工作NVIDIA估算，如果要训练GPT-3，即使单个机器的显存/内存能装得下，用8张V100的显卡，训练时长预计要36年；如果拥有1024张80GBA100，那么完整训练GPT-3的时长可以缩减到1个月。资源消耗3072 张 80GB A100 成本5 亿美金工程化实现 参数规模：1T参数，128 层Transformer 分割策略 64 个 stage 机器资源：每个stage：数据并行，6台DGX-A100（8卡)18Meta开源GPT-3Meta开源了具有1750亿参数个参数的GPT-3，并且还给模型改了个名字OPT，也就是更open的预训练Transformer语言模型。相关论文模型规模论文链接：https:/arxiv.org/abs/2205.01068代码仓库：https:/ Learning from Human Feedback）：即，使用强化学习的方法，利用人类反馈信号直接优化语言模型。它为ChatGPT取得优秀效果的根本原因。RLHF最早可以追溯到Google在2017年发表的Deep Reinforcement Learning from Human Preferences解决痛点 长足发展在过去几年里，基于prompt范式的AI生成模型取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。存在问题为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。解决方案使用强化学习的方法，利用人类反馈信号直接优化语言模型。参考资料：https:/huggingface.co/blog/21RLHF学习的步骤内容简介（18号字体）OR 内容简介（16号字体）,居中或左对齐，行距1.2倍预训练语言模型奖励模型的训练语言模型优化选一个预训练语言模型作为初始模型。例如，OpenAI选择GPT-3;DeepMind 选择 Gopher 模型。人工精心撰写语料，作为对模型的引导：去毒性，真实性，人类偏好。模型在人工语料上进行精调。构造一个奖励模型（可与训练或随机初始化），用来学习人类的主观偏好。再 挑 选 一 个 数 据 集：Anthropic：聊 天 工 具；OpenAI：调用GPT API的用户。人工对初始化（如GPT3）输出的结果进行排序。奖励模型学习人工排序的结果，以便学习到人类的偏好。22参考版式（左右结构1:1）内容简介（18号字体）OR 内容简介（16号字体）,居中或左对齐，行距1.2倍训练过程人工标注数据对GPT-3进行有监督微调，研究发现让模型适当过拟合有助于后面两步的训练。数据集SFT数据一部分来自使用OpenAI的用户，另一部分来自OpenAI雇佣的40名标注工。标注数据需要满足以下三点：简单任务：labeler给出任意一个简单的任务，同时要确保任务的多样性；Few-shot任务：labeler给出一个指示，以及该指示的多个查询-相应对；用户相关的：从接口中获取用例，然后让labeler根据这些用例编写指示。23参考版式（左右结构1:1）内容简介（18号字体）OR 内容简介（16号字体）,居中或左对齐，行距1.2倍数据集RM数据集一定要尽可能全面且真实的对齐我们需要模型生成的内容。通过人工标注的方式来提供这个奖励，通过人工对可以给那些涉及偏见的生成内容更低的分从而鼓励模型不去生成这些人类不喜欢的内容。InstructGPT/ChatGPT的做法是先让模型生成一批候选文本，让后通过labeler根据生成数据的质量对这些生成内容进行排序训练过程训练奖励模型RM，让它的输出更能符合人类的偏好。上一步训练微调好的模型作为初始化，对于每个输入：输出K个答案（4K9）。例如，对模型提问：“中国最漂亮的女明星是谁？”输出答案：刘亦菲 高圆圆 赵丽颖 刘诗诗构造样本：刘亦菲赵丽颖刘亦菲赵丽颖高圆圆刘诗诗赵丽颖刘诗诗24参考版式（左右结构1:1）内容简介（18号字体）OR 内容简介（16号字体）,居中或左对齐，行距1.2倍数据集InstructGPT的PPO数据没有进行标注，它均来自GPT-3的API的用户。既又不同用户提供的不同种类的生成任务，其中占比最高的包括生成任务（45.6%），QA（12.4%），头脑风暴（11.2%），对话（8.4%）等。训练过程目标函数：RM模型结果：保证不偏离SFT：通用语言能力：25ChatGPT的优缺点InstructGPT/ChatGPT的效果非常亮眼，引入了人工标注之后，让模型的“价值观”和的正确程度和人类行为模式的“真实性”上都大幅的提升。模型优点 真实性&无害性InstructGPT/ChatGPT引入了不同的labeler进行提示编写和生成结果排序，并且还是在GPT-3之上进行的微调，这使得我们在训练奖励模型时对更加真实无害的数据会有更高的奖励。无害性存在问题 过分解读因为labeler在进行生成内容的比较时，倾向于给给长的输出内容更高的奖励。容易被诱导对有害的指示可能会输出有害的答复：例如InstructGPT/ChatGPT也会对用户提出的“AI毁灭人类计划书”给出行动方案。GPT-3就具有很强的Coding能力，基于GPT-3制作的API也积累了大量的Coding代码。而且也有部分OpenAI的内部员工参与了数据采集工作。通过Coding相关的大量数据以及人工标注，训练出来的InstructGPT/ChatGPT具有非常强的Coding能力也就不意外了。荒谬性很有可能受限于纠正数据的有限，或是有监督任务的误导，导致它生成内容的不真实。切题性无论回答是否正确真实，但是基本都能做到切题，这说明ChatGPT在理解人类语言上已经非常成功。01：人工智能和NLP发展路径02：GPT系列模型发展路径03：ChatGPT技术原理解析04：ChatGPT的影响和意义目录CONTENT27业界对ChatGPT的评价ChatGPT出现之后，在业界引起了很大轰动，整体来说正面评价为主。但是Yann LeCun 提出了一些不同的观点。模型优点 周鸿祎：“ChatGPT是一种生产力强大的再造工具。任何行业的APP、软件、网站、应用如果再加持上GPT的能力都值得重塑一遍，不要把它当成一个媒体工具、搜索引擎、聊天机器人，这都有点把它看得太小儿科了。李彦宏表示：“我们相信它（大模型）将改变云计算的游戏规则。人工智能正在以一种巨大的方式改变许多行业，我们对即将发生的事情感到非常兴奋”。张勇：全力投入生成式AI大模型建设，为行业发展提供好算力支撑。比尔盖茨：聊天机器人ChatGPT可以对用户查询做出惊人的类似人类的反应，其重要性不亚于互联网的发明。负面评价Yann LeCun 对 GPT 系列的观点数据驱动：GPT 系列模型的能力取决于大量的训练数据，而不是技术本身。泛化能力：GPT 系列模型的泛化能力不佳，在处理复杂任务时容易出错。缺乏理解：GPT 系列模型缺乏对语言和世界的真实理解，不能像人类一样进行推理和思考。不符合人工智能的正确方向：杨乐昆认为，真正的人工智能应该基于知识和概念，而不是大量的数据。28国内外各大互联网公司对ChatGPT积极布局ChatGPT一经推出，在业界引起巨大轰动，国内外各大厂商纷纷布局相关业务。各大互联网厂商的积极布局新闻报道 英国媒体27日报道，美国特斯拉公司首席执行官埃隆马斯克过去数周内接洽人工智能（AI）研究人员，讨论新建一家实验室，致力于研发大语言模型ChatGPT的竞争对手。据 36 氪旗下 职场 Bonus的报道，腾讯类 ChatGPT 对话式产品项目组终于露面 腾讯混元助手项目组（HunyuanAide）。微软宣布将会与 OpenAI 合作带来集成聊天机器人的新版Bing 搜索和 Edge 浏览器，用 AI 带来全新的搜索体验。在刚刚结束的 Google 发布会上，Google 展示了全新 AI 技术，一同展示的 Bard 聊天机器人是对 ChatGPT 最有力的反击，这也宣告了搜索引擎即将进入聊天机器人大战的时代。百度官方发布预告称，百度计划于3月16日14时在北京总部召开新闻发布会，主题围绕ChatGPT项目文心一言。29内容类产品的颠覆Chat对内容生产，内容分发的影响是颠覆性的，这其中包括了AIGC和搜索引擎。各大互联网厂商的积极布局对搜索引擎的影响 搜索结果的质量提高。传统的搜索引擎通过关键词匹配来显示结果，但这种方式可能会出现一些低质量、无关或甚至有害的结果。与之相比，ChatGPT 可以理解用户的意图，并提供更加精确、个性化的结果，从而提高搜索结果的质量。搜索体验的改善。通过 ChatGPT 技术，用户可以使用自然语言进行搜索，而不是受限于简单的关键词匹配。这种方式使得搜索更加直接、快捷，也更加容易使用。跨语言搜索的增强。由于 ChatGPT 可以处理多种语言，因此它使得用户能够更容易地进行跨语言搜索。这将使得全球用户能够更快捷地找到他们需要的信息。产生新的搜索模式。由于 ChatGPT 技术使用对话式交互，它将产生新的搜索模式，例如语音搜索、图像搜索等等。这些新的搜索模式将使得搜索更加方便，也将使得搜索引擎的应用范围更加广泛。ChatGPT的出现，极大促进了AIGC的发展，今后网络上将会大量出现AIGC生产出来的内容。一方面，会创造一条新的赛道和风口。另一方面，如何对生产出来的内容进行审核，识别，版权将会是一个新的问题30元宇宙场景类ChatGPT模型应用虚拟客服和售后支持利用ChatGPT在元宇宙中创建虚拟客服和售后支持，让用户可以在元宇宙中咨询问题、提出意见和建议，并且通过ChatGPT进行智能回答和服务。虚拟产品演示和销售促进元宇宙场景高效生成元宇宙教育和实验利用元宇宙在虚拟空间中创建虚拟产品展示和销售，通过ChatGPT进行自然语言交互，向用户展示产品特点和优势，提供智能化的购买建议和支持。chatgpt赋能元宇宙场景复刻与全面演进：通过ai生成技术实现元宇宙对真实世界的复刻与发展推演，提升多场景元宇宙构建的效率。企业可以利用元宇宙进行虚拟培训和教育，通过ChatGPT进行智能化的交互和学习，提高学习效果和参与度。模拟各种实验的环境，提升实验的便捷性。元宇宙与生成式模型相辅相成技术互相促进，元宇宙能够实现线上化服务入口的行业，在元宇宙中进行场景融合，chatGPT能助力元宇宙场景生成与智能交互。感谢聆听！明确分析向明确分析向明确分析向明确分析向产品分析流程 找报告，上烽研报烽研报全业研报聚合检索平台 明确分析向明确分析向明确分析向明确分析向产品分析流程 找报告，上烽研报烽研报全业研报聚合检索平台