ChatGPT的前世今生-464页-WN5.pdf

ChatGPT的前世今生李丕绩计算机科学与技术学院/人工智能学院南京航空航天大学群内每日免费分享5份+最新资料 群内每日免费分享5份+最新资料 300T网盘资源+4040万份行业报告为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长 全面赋能！添加微信，备注“入群”立刻免费领取 立刻免费领取 200套知识地图+最新研报收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音扫码先加好友，以备不时之需扫码先加好友，以备不时之需行业报告/思维导图/电子书/资讯情报行业报告/思维导图/电子书/资讯情报致终身学习者社群致终身学习者社群关注公众号获取更多资料关注公众号获取更多资料个人介绍4/11/2023Piji Li,LLM&ChatGPT2 教育经历 香港中文大学,博士,2018 自然语言处理 山东大学,本科&硕士,2009&2012 计算机视觉&信息检索 工作经历 北京百度,2012 深圳无觅,2013 深圳腾讯AI Lab,2018 南京航空航天大学,2021 自然语言处理人工智能发展史4/11/2023Piji Li,LLM&ChatGPT3https:/ Li,LLM&ChatGPT4AI十年回顾4/11/2023Piji Li,LLM&ChatGPT5AlexNet00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顾4/11/2023Piji Li,LLM&ChatGPT6201220132014http:/image-net.org/2006-2009,1000 categories and 1.2 million training imagesLi Fei-Fei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顾4/11/2023Piji Li,LLM&ChatGPT7https:/ Li,LLM&ChatGPT8“深度学习三巨头”之称的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖，这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。00.050.10.150.20.250.30.350.4ImageNet Classification ErrorAI十年回顾4/11/2023Piji Li,LLM&ChatGPT9201220132014http:/image-net.org/2006-2009,1000 categories and 1.2 million training imagesLi Fei-Fei:ImageNet Large Scale Visual Recognition Challenge,2014DeeperNetwork in NetworkDeepDNNFirst Blood2015AI十年回顾何恺明4/11/2023Piji Li,LLM&ChatGPT10Kaiming He，本科就读于清华大学，博士毕业于香港中文大学多媒体实验室。2011年加入微软亚洲研究院（MSRA）工作。2016年，加入Facebook AI Research（FAIR）担任研究科学家AI十年回顾4/11/2023Piji Li,LLM&ChatGPT11AlphaGOAI十年回顾 DeepMind成立于2010年，2014年被Google收购。2014年开始开发人工智能围棋软件AlphaGo。2015年10月，分布式版AlphaGo分先以5:0击败了欧洲围棋冠军华裔法籍职业棋士樊麾二段。2016年3月，AlphaGo挑战世界冠军韩国职业棋士李世乭（）九段，对弈结果为AlphaGo 4:1战胜了李世乭。4/11/2023Piji Li,LLM&ChatGPT12AI十年回顾4/11/2023Piji Li,LLM&ChatGPT13AI十年回顾 4:14/11/2023Piji Li,LLM&ChatGPT14AI十年回顾AI绘图4/11/2023Piji Li,LLM&ChatGPT15AI十年回顾4/11/2023Piji Li,LLM&ChatGPT16AI十年回顾4/11/2023Piji Li,LLM&ChatGPT17AlphaFoldAI十年回顾4/11/2023Piji Li,LLM&ChatGPT18https:/ CASP 2018-AF1 2020-AF2 2021-NatureAI十年回顾4/11/2023Piji Li,LLM&ChatGPT19Diffusion ModelStable Diffusion4/11/2023Piji Li,LLM&ChatGPT20Disco Diffusion4/11/2023Piji Li,LLM&ChatGPT21Midjourney v54/11/2023Piji Li,ChatGPT22Diffusion Model4/11/2023Piji Li,LLM&ChatGPT23AI十年回顾4/11/2023Piji Li,LLM&ChatGPT25ChatGPTGPT44/11/2023Piji Li,LLM&ChatGPT26ChatGPT Mar.14,20234/11/2023Piji Li,LLM&ChatGPT27GPT-4AI十年回顾4/11/2023Piji Li,LLM&ChatGPT28AI十年回顾4/11/2023Piji Li,LLM&ChatGPT29人工智能 机器学习 计算机视觉 自然语言处理 语音识别及合成 机器人4/11/2023Piji Li,LLM&ChatGPT30什么是自然语言处理？自然语言 人类使用的语言，如汉语、英语、法语等；特指文本符号(非语音)。如何定义 自然语言处理(Natural Language Processing,NLP)是利用计算机技术来分析、理解和处理自然语言的一门学科,涉及到语言学、计算机科学、人工智能等交叉领域，关注计算机和人类(自然)语言之间的交互。可分为自然语言理解(Natural Language Understanding,NLU)和自然语言生成(NaturalLanguage Generation,NLG)两大部分。属于认知智能 计算智能(能存会算)，感知智能(能听会说，能看会认)认知智能(能理解会思考，需要抽象和推理能力)4/11/2023Piji Li,LLM&ChatGPT31认知智能4/11/2023Piji Li,LLM&ChatGPT32#自然语言处理太难了#4/11/2023Piji Li,LLM&ChatGPT33 歧义性 主观性 创新性 知识性 组合性 上下文 多模态#自然语言处理太难了#4/11/2023Piji Li,LLM&ChatGPT34 歧义性 主观性 创新性 知识性 组合性 上下文 多模态“自然语言处理是人工智能皇冠上的明珠”4/11/2023Piji Li,LLM&ChatGPT35(from：哈工大车万翔)ChatGPT!ChatGPT是怎么诞生的？4/11/2023Piji Li,LLM&ChatGPT36罗马不是一天建成的 向量空间模型 Bm25 Svd Plsa Lda Word2vec Deepwalk transE Cnn句子分类 匹配、摘要等 Seq2seq翻译ChatGPT是怎么诞生的？4/11/2023Piji Li,LLM&ChatGPT37 CnnSeq Transformer Language model Lstm pretrain ELMo GPT BERT xlnet roberta、albert、electra GPT2 GPT3 BART T5 PEGASUS WebGPT RLHF InstructGPT内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT38内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT394/11/2023Piji Li,LLM&ChatGPT40基础技术的故事4/11/2023Piji Li,LLM&ChatGPT41Language Model语言模型语言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT42孙栩，自然语言处理导论语言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT43孙栩，自然语言处理导论语言模型 Language Model4/11/2023Piji Li,LLM&ChatGPT44孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT45孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT46孙栩，自然语言处理导论N-gram LM4/11/2023Piji Li,LLM&ChatGPT47孙栩，自然语言处理导论Evaluation:Perplexity4/11/2023Piji Li,LLM&ChatGPT48 Neural Network based Language ModelNN LM4/11/2023Piji Li,LLM&ChatGPT49NN LM4/11/2023Piji Li,LLM&ChatGPT50孙栩，自然语言处理导论NN LM4/11/2023Piji Li,LLM&ChatGPT51孙栩，自然语言处理导论梯度消失/爆炸4/11/2023Piji Li,LLM&ChatGPT54https:/kexue.fm/archives/7888长程依赖问题循环神经网络在时间维度上非常深！梯度消失或梯度爆炸如何改进？梯度爆炸问题 权重衰减 梯度截断 梯度消失问题 改进模型4/11/2023Piji Li,LLM&ChatGPT55长程依赖问题 改进方法 循环边改为线性依赖关系 增加非线性残差网络？4/11/2023Piji Li,LLM&ChatGPT56Long Short-Term Memory,LSTM4/11/2023Piji Li,LLM&ChatGPT574/11/2023Piji Li,LLM&ChatGPT58I am the GOD Father!4/11/2023Piji Li,LLM&ChatGPT59LSTM现在也没有多少人用了。4/11/2023Piji Li,LLM&ChatGPT60长短期记忆神经网络（Long Short-Term Memory,LSTM）长短期记忆神经网络（Long Short-Term Memory,LSTM）4/11/2023Piji Li,LLM&ChatGPT61https:/kexue.fm/archives/7888LSTM的各种变体 没有遗忘门 耦合输入门和遗忘门 peephole连接4/11/2023Piji Li,LLM&ChatGPT62Gated Recurrent Unit,GRU 顺便讲讲GRU4/11/2023Piji Li,LLM&ChatGPT63Gated Recurrent Unit,GRU4/11/2023Piji Li,LLM&ChatGPT64Gated Recurrent Unit,GRUGated Recurrent Unit,GRU更新门重置门4/11/2023Piji Li,LLM&ChatGPT65RNN LM的应用4/11/2023Piji Li,LLM&ChatGPT69语言模型做生成？4/11/2023Piji Li,LLM&ChatGPT70ICML 2012NIPS2008ICML 201120024/11/2023Piji Li,LLM&ChatGPT71语言模型 序列生成语言模型 文本生成4/11/2023Piji Li,LLM&ChatGPT72ICML2011LSTM4/11/2023Piji Li,LLM&ChatGPT734/11/2023Piji Li,LLM&ChatGPT74生成LINUX内核代码4/11/2023Piji Li,LLM&ChatGPT75作词机 RNN在“学习”过汪峰全部作品后自动生成的歌词 https:/ Li,LLM&ChatGPT76作诗机。4/11/2023Piji Li,LLM&ChatGPT77Yang et al.Stylistic Chinese Poetry Generation via Unsupervised Style Disentanglement.EMNLP 2018.2013、2014、2015 大家一边玩着word2vec，一边训练着rnn-lm做生成，一边影响着其它领域发展 例如：机器翻译继续发展4/11/2023Piji Li,LLM&ChatGPT78统计机器翻译-SMT4/11/2023Piji Li,LLM&ChatGPT79Chinese:我在北京做了讲座讲座PhraseSeg:我在 北京做了讲座讲座English:IBeijingPhraseTrans:Iin BeijingdidPhrase Reorder:Iin Beijinglecturedidlecturedidlecturein张家俊.机器翻译lectures统计机器翻译-SMT4/11/2023Piji Li,LLM&ChatGPT80Chinese:我在北京做了报告 Phrase Seg:我在 北京做了 报告Phrase Trans:Iin Beijinggave atalkPhrase Reorder:Igave a talkinBeijingEnglish:IgaveatalkinBeijing人工人工设设定的定的模模块块和和特征特征数据稀疏数据稀疏复杂结构复杂结构无能为力无能为力强烈依赖先强烈依赖先验知识验知识张家俊.机器翻译lecturesICML 2012NIPS2008ICML 20112002神经机器翻译EMNLP 20134/11/2023Piji Li,LLM&ChatGPT83神经机器翻译Piji Li,LLM&ChatGPT844/11/2023COLING20122013COLING2006神经机器翻译4/11/2023Piji Li,LLM&ChatGPT85NAACL 2012 Best short PaperACL 2014 Best Paper神经机器翻译4/11/2023Piji Li,LLM&ChatGPT86ACL 2014 Best Paper神经机器翻译4/11/2023Piji Li,LLM&ChatGPT87神经机器翻译4/11/2023Piji Li,LLM&ChatGPT88RNNencdec4/11/2023Piji Li,LLM&ChatGPT89RNNencdec4/11/2023Piji Li,LLM&ChatGPT90RNNencdec4/11/2023Piji Li,LLM&ChatGPT91Cho et.al.Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.EMNLP2014RNNencdec4/11/2023Piji Li,LLM&ChatGPT92Phrase Generation+SMT，并不是真正的end-to-end形式的NMT。RNNencdec4/11/2023Piji Li,LLM&ChatGPT93Problem？Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT94Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT95Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT96Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT97Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT98bidirectional recurrent neural network(BiRNN)Softmax(Ws,y,c+b)Teacher Forcing！Attention calculation4/11/2023Piji Li,LLM&ChatGPT99Decoding Strategy4/11/2023Piji Li,LLM&ChatGPT100Greedy SearchBeam SearchSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT101Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT102Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT103Seq2seq-lstm(no attention)4/11/2023Piji Li,LLM&ChatGPT104 Seq2seq-attention之后，大厂开始业务上线翻译落地4/11/2023Piji Li,LLM&ChatGPT105在线翻译（谷歌、微软、百度、有道、搜狗等）翻译机（科大讯飞、准儿、百度、搜狗等）同传机器翻译（微软、讯飞、腾讯、搜狗等）基于PowerPoint的语音同传（微软，TAUS 3.22-23）面向自由说话人的语音同传（腾讯，博鳌亚洲论坛）爆发seq2seq应用 Research 例如：华为诺亚-Lifeng的dialogue generation，Jiatao的copy mechanism，Zhaopeng的coverage,baotian的matching,etc.Hang Li,Zhengdong LvStartups 大多倒闭了Seq2seq-attention4/11/2023Piji Li,LLM&ChatGPT106Google NMT4/11/2023Piji Li,LLM&ChatGPT107-Deep-Residual-Parallel-Wordpiece(subwords)-Length-normalization-Coverage penalty-Reinforcement learning for BLEUSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT108Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT109Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT110Lingpeng Kong,NLP LecturesSeq2seq-attention4/11/2023Piji Li,LLM&ChatGPT111Lingpeng Kong,NLP LecturesConvS2S4/11/2023Piji Li,LLM&ChatGPT112ICML2017ConvS2S4/11/2023Piji Li,LLM&ChatGPT113ConvS2S4/11/2023Piji Li,LLM&ChatGPT114Google:Google说：那怎么行？放大招！ConvS2S4/11/2023Piji Li,LLM&ChatGPT115Transformer4/11/2023Piji Li,LLM&ChatGPT116Transformer4/11/2023Piji Li,LLM&ChatGPT117Transformer4/11/2023Piji Li,LLM&ChatGPT118Transformer4/11/2023Piji Li,LLM&ChatGPT119Transformer Multi-headed self-attention Models context Feed-forward layers Computes non-linear hierarchical features Layer norm and residuals Makes training deep networks healthy Positional embeddings Allows model to learn relative positioningVaswani,Ashish,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.Gomez,ukaszKaiser,and Illia Polosukhin.Attention is all you need.In NIPS,pp.5998-6008.2017.4/11/2023Piji Li,LLM&ChatGPT120Transformer-self-attention4/11/2023Piji Li,LLM&ChatGPT121TransformerTransformer:Multi-Head Attention4/11/2023Piji Li,LLM&ChatGPT122Transformer-multi-head self-att4/11/2023Piji Li,LLM&ChatGPT123Transformer-multi-head self-att4/11/2023Piji Li,LLM&ChatGPT124 Position embedding relative position 很多后续研究Transformer-The Order of The Sequence4/11/2023Piji Li,LLM&ChatGPT125Transformer-Input4/11/2023Piji Li,LLM&ChatGPT126Transformer4/11/2023Piji Li,LLM&ChatGPT127 Add Residual Connection NormTransformer Add&Norm4/11/2023Piji Li,LLM&ChatGPT128Transformer4/11/2023Piji Li,LLM&ChatGPT129Transformer-fflayer4/11/2023Piji Li,LLM&ChatGPT130 Cross-attention Masked-self-attentionTransformer-decoder4/11/2023Piji Li,LLM&ChatGPT131Transformer-decoder4/11/2023Piji Li,LLM&ChatGPT132Transformer-results4/11/2023Piji Li,LLM&ChatGPT133Transformer4/11/2023Piji Li,LLM&ChatGPT134内容基础技术预训练技术ChatGPT未来展望4/11/2023Piji Li,LLM&ChatGPT1354/11/2023Piji Li,LLM&ChatGPT136预训练的故事 匹配 检索 分类 聚类4/11/2023Piji Li,LLM&ChatGPT138语义分析-向量表示VSMLDA(2003)Google Word2vec(2013/14)Google LSTM-LM(2015)AI2 ELMo(2017)OpenAI GPT(Jun 2018)Google BERT(Oct 2018)OpenAI GPT2(2019)Google XLNet(2019)OpenAI GPT3(2020)TF-IDF向量表示4/11/2023Piji Li,LLM&ChatGPT139语义分析-向量表示-VSM 缺点 稀疏性:对于大词典，尤其是包括了生僻字的词典，文档稀疏性不可避免；多义词:BOW模型只统计单词出现的次数，而忽略了一个词可能存在多种含义，一词多义；同义词(Synonym):多个单词可以表示同一个意思，一义多词；从同义词和多义词问题可以看到：单词也许不是文档的最基本组成元素，在单词与文档之间还有一层隐含的关系，我们称之为主题(Topic)，我们更关注隐藏在词之后的意义和概念。在写文章时首先确定的是文章的主题，再根据主题选择合适的单词来表达观点。所以，在这里我们需要将单词向量空间转变成话题向量空间，这里也就是从词袋模型转变成LSA模型语义分析-向量表示-VSM4/11/2023Piji Li,LLM&ChatGPT140https:/ Li,LLM&ChatGPT141Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT142Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT143Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT144奇异值跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT145Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT146保留前5项保留前50项原图https:/ LSI是最早出现的主题模型了，它的算法原理很简单，一次奇异值分解就可以得到主题模型，同时解决词义的问题，非常漂亮。将文档表示到话题向量空间的过程就是SVD奇异值分解和降维的过程。降维是LSA分析中最重要的一步，通过降维，去除了文档中的“噪音”，也就是无关信息（比如词的误用或不相关的词偶尔出现在一起），语义结构逐渐呈现。缺点：不好解释Latent Semantic Indexing(LSI)4/11/2023Piji Li,LLM&ChatGPT147pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT148LSA概率意义上的解释https:/ 联合概率分布pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT149https:/ Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT150https:/ Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT151https:/ Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT152 对于一个新的文档而言，我们无法得知它对应的P(d)究竟是什么，因此尽管 PLSA 模型在给定的文档上是一个生成模型，它却无法生成新的未知的文档。该模型的另外的一个问题在于，随着文档数量的增加，P(z|d)的参数也会随着线性增加，这就导致无论有多少训练数据，都容易导致模型的过拟合问题。这两点成为了限制 PLSA 模型被更加广泛使用的两大缺陷。pLSA(Probabilistic Latent Semantic Analysis)4/11/2023Piji Li,LLM&ChatGPT153缺点：https:/ Latent Dirichlet Allocation(LDA)被提出Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT154Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT155 LDA模型涉及很多数学知识，这也许是LDA晦涩难懂的主要原因。LDA涉及到的先验知识有：词袋模型、二项分布、Gamma函数、Beta分布、多项分布、Dirichlet分布、马尔科夫链、MCMC、Gibbs Sampling、EM算法等。Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT156 Dirichlet分布 Dirichlet的概率密度函数为：其中：狄利克雷(Dirichlet)分布是多项式分布的共轭分布。Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT157 Dirichlet分布Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT158Latent Dirichlet Allocation(LDA)4/11/2023Piji Li,LLM&ChatGPT159Rickjin LDA数学八卦 主题模型-Latent Dirichlet allocation d-z z-w4/11/2023Piji Li,LLM&ChatGPT160语义分析-向量表示-LDA Natural Language Processing Information Retrieval Recommendation Systems4/11/2023Piji Li,LLM&ChatGPT161LDA-主流语义建模技术 Wang,Yi,Xuemin Zhao,Zhenlong Sun,Hao Yan,Lifeng Wang,Zhihui Jin,Liubin Wang,Yang Gao,Ching Law,and Jia Zeng.Peacock:Learning long-tail topic features for industrial applications.ACM Transactions on Intelligent Systems and Technology(TIST)6,no.4(2015):1-23.Large LDA-Peacock4/11/2023Piji Li,LLM&ChatGPT162 Yuan,Jinhui,Fei Gao,Qirong Ho,Wei Dai,Jinliang Wei,Xun Zheng,Eric Po Xing,Tie-Yan Liu,and Wei-Ying Ma.Lightlda:Big topic models on modest computer clusters.InProceedings of the 24th International Conference on World Wide Web,pp.1351-1361.2015.Large LDA-LightLDA4/11/2023Piji Li,LLM&ChatGPT163 Deep Learning悄悄发展 2006 2011 2012,AlexNet RNN,LSTM4/11/2023Piji Li,LLM&ChatGPT164LDA如火如荼Unsupervised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT165Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT166 Mikolov,Tomas,Kai Chen,Greg Corrado,and Jeffrey Dean.Efficient estimation of wordrepresentations in vector space.ICLR(2013).-Large improvements in accuracy,lower computational cost.-It takes less than a day to train from 1.6 billion words data set.Unsupervised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT167man-woman+queen=kingDeepWalk,TransX,腾讯AI Lab开源800万中文词的NLP数据集Problem？Unsupervised Representation Learning Word2Vec-20144/11/2023Piji Li,LLM&ChatGPT168Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT169Unsupervised Representation Learning Semi-Supervised Sequence Learning,Google,NIPS 20154/11/2023Piji Li,LLM&ChatGPT170 Semi-Supervised Sequence Learning,Google,NIPS 2015Unsupervised Representation Learning4/11/2023Piji Li,LLM&ChatGPT171Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.2017.NAACL.4/11/2023Piji Li,LLM&ChatGPT172Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.2017 NAACL 2018 best paper4/11/2023Piji Li,LLM&ChatGPT173Unsupervised Representation Learning ELMo:Deep Contextual Word Embeddings,AI2&University of Washington,Jun.20174/11/2023Piji Li,LLM&ChatGPT174NAACL 2018 best paper预训练语言模型 GPT14/11/2023Piji Li,LLM&ChatGPT175ChatGPT研究框架（2023）-国泰君安Ilya采访：2017年，谷歌发表Transformer论文的第二天，OpenAI的研发团队就豁然开朗了，意识到Transformer可以完全解决机器不断预测文本的问题，这最终造就了GPT-3以及迄今为止的一切；Unsupervised Representation Learning Im