ChatGPT的技术发展路径和带来的影响2023-03www.fhyanbao.com扫码进群领取3、最新⾏业报告、公司研究、专业⼤咖分享1、优质研报免费获取，⾏业报告定期打包2、每⽇推送⾏业最新深度研报（精选10篇）www.fhyanbao.com01：人工智能和NLP发展路径02：GPT系列模型发展路径03：ChatGPT技术原理解析04：ChatGPT的影响和意义目录CONTENTwww.fhyanbao.com3人工智能技术发展脉络人工智能诞生最早可以追溯到1956年的感知机模型，经过近70年的发展，已经渗透到各行各业。2011年之前•模型简单受制于当时计算机硬件的发展，模型普遍简单，能力也相对较弱•场景局限模型只能处理单一场景，通用能力非常弱，导致成本过高。2012年至今•大模型得益于底层技术原理的突破和硬件算力的发展，模型越来越大，GPT3（2020年）达到了惊人的1750亿个参数（一般人脑有神经元120到140亿个）•大数据庞大的模型需要对应于海量的数据，GPT3使用的数据量已达到45TB，包括了多种主流语言放置示意图•人工干预往往需要如制定规则，词表，标注样本等大量人工工作。•多模态语音，文字，图像之间不再存在明显壁垒，模型处理复杂场景的能力明显增加www.fhyanbao.com4人工智能的任务类型一般来说，人工智能处理的任务可以分为两类：1.决策式：人工智能回答“选择题”，模型主要处理诸如：判别，分类，排序等任务。2.生成式：人工智能回答“问答题”，需要模型根据输入，自动生成一些新内容（客观世界可能从未出现）。www.fhyanbao.com5NLP发展的技术路径自然语言处理（NLP，NaturalLanguageProcessing）是研究人与计算机交互的语言问题的一门学科。传统方法(2012年以前)神经网络(2012年~2018年)大模型预训练(2018年~至今)提示(Prompt)学习(2020~至今)典型方法Word2vec的诞生标志着NLP和神经网络的结合，陆续出现了FastText、TextCNN、LSTM、Attention等模型特点神经网络的出现，大量减少了人工干预的工作，同义词可以通过向量表征自动学会，句法分析，词性标注等都已经嵌入进模型结构。典型方法常用方法有SVM、TF-IDF、LDA、同义词表、句法解析，语义规则，BP神经网络。特点•需要人工进行干预，如制定规则，词表，权重等。•应用场景单一，都是针对特定场景进行开发。•需要做大量特征工程。典型方法2018年，GPT和Bert的先后出现，标志着大模型时代的到来，后续诞生的Bart、ERNIE，T5等方法不断探索大模型的能力边界。特点模型参数量、数据量均上升了一个台阶，但是大部分模型利用文本...
