04行业专题研究 ：ChatGPT - 生成式AI迎来拐点 商用落地前景可期.pdf

ChatGPT生成式AI迎来拐点，商用落地前景可期2023年02月07日行业专题研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新2ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明01ChatGPT市场反应热烈，国内外巨头纷纷入场据统计，ChatGPT日活跃用户数的增速远超Instagram，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的两倍多；国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI，国内厂商（百度、腾讯等）也高度关注ChatGPT，积极探索前沿技术，相关深度应用也即将推出。020304摘要ChatGPT经历多类技术路线演化，逐步成熟与完善ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟以后，使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟，随后GPT-1、GPT-2、GPT-3模型持续演化升级，最终孵化出ChatGPT文本对话应用。AIGC跨模态产业生态逐步成熟，商用落地未来可期AIGC产业生态当前在文本、音频、视频等多模态交互功能上持续演化升级，奠定了多场景的商用基础。跨模态生成技术也有望成为真正实现认知和决策智能的转折点。ChatGPT乘东风，商业架构日益清晰随着ChatGPT Plus发布，商业化序幕已经拉开。ChatGPT在传媒、影视、营销、娱乐以及数实共生助力产业升级等领域均可产生极大助益，提升生产力曲线，多维度赋能虚拟经济和实体经济。获取更多最新资料请加微信：ch e n s a s a 6663诚信 责任 亲和 专业 创新ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明目录/CONTENTS市场概况：ChatGPTAI平民化里程碑01技术路径：基于人类反馈系统，ChatGPT助力跨模态AI生成应用02行业进程：AIGC多模态交互功能持续演化，奠定多场景商用基础03商业方向：多领域多功能应用密集落地，ChatGPT商用前景可期03获取更多最新资料请加微信：ch e n s a s a 6664诚信 责任 亲和 专业 创新ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明01市场概况：ChatGPTAI平民化的里程碑获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新5ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明OpenAI在成立之初便备受资本瞩目，与微软合作加速商业化进程01ChatGPT是由OpenAI 团队研发创造，OpenAI是由创业家埃隆马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司，拥有多位硅谷重量级人物的资金支持，启动资金高达10亿美金；OpenAI的创立目标是与其它机构合作进行AI的相关研究，并开放研究成果以促进AI技术的发展2019年7月2020年6月2020年9月OpenAI发展的里程碑OpenAI宣布从”非盈利“性质过度到”封顶盈利“性质，利润上限为任何投资的100倍（创立了OpenAILP公司）微软向OpenAI投资了10亿美金，并获得了OpenAI技术的商业化授权。从此，OpenAI的一些技术开始出现在微软的产品和业务上OpenAI发布了OpenAIAPI，这是OpenAI第一个商业化产品，OpenAI正式开始了商业化运作OpenAI授权微软使用GPT-3模型，微软成为全球首个享用GPT-3能力的公司2019年3月图1：OpenAI发展势头强劲，商业化趋势明显资料来源：OpenAI官网，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新6ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明OpenAI 的ChatGPT是生成式人工智能技术（AIGC）浪潮的一部分01资料来源：中国信息通信研究院，国泰君安证券研究AIGC发展特点人工智能总体阶段早期萌芽阶段（20世纪50年代-90年代中期）沉淀积累阶段（20世纪90年代-21世纪10年代中期）快速发展阶段（21世纪10年代中期-至今）受限于技术水平，AIGC仅限于小范围实验AIGC从实验性向实用性转变，受限于算法瓶颈，无法直接进行内容生成深度学习算法不断迭代，人工智能生成内容百花齐放AIGC典型事件1950年，艾伦图灵提出著名的“图灵测试”，给出判断机器是否具有“智能”的方法1966年，世界第一款可人机对话机器人“Eliza”问世80年代中期，IBM创造语音控制打字机“Tangora”2012年，微软展示语全自动同声传译系统，可将英文语音自动翻译成中文语音2007年，世界上第一部完全由人工智能创作的小说1 The Road问世2014年，Lan J.Goodfellow提出生成式对抗网络GAN2018年，英伟达发布StyleGAN模型用于自动生成高质量图片2019年，DeepMind发布DVD-GAN模型用于生成连续性视频2022年，OpenAI发布ChatGPT模型用于生成自然能语言文本图2：随着算法的不断迭代，生成式人工智能技术（AIGC）不断发展获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新7ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明ChatGPT是在GPT基础上进一步开发的自然语言处理模型01GPT模型是一种自然语言处理（NLP）模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本从 GPT-1 到 GPT-3 智能化程度不断提升，ChatGPT 的到来也是 GPT-4 正式推出之前的序章资料来源：CSDN，国泰君安证券研究GPT-1（1.17亿参数）GPT-1 有一定的泛化能力，能够用于和监督任务无关的 NLP 任务中2018201920202022.01GPT-2（15亿参数）除了理解能力外，GPT-2 在生成方面表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至可以生成假新闻、钓鱼邮件或在线进行角色扮演GPT-3（1750亿参数）GPT-3 作为一个自监督模型，可以完成自然语言处理的绝大部分任务：将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本，甚至模仿已故的哲学家预测生命的真谛InstructGPTInstructGPT是一个经过微调的新版 GPT-3，可以将有害的、不真实的和有偏差的输出最小化ChatGPTChatGPT 是 InstructGPT 的衍生产品，它将人类的反馈纳入训练过程，更好地使模型输出与用户意图保持一致2022.12图3：ChatGPT由GPT-1到InstructGPT模型的不断成熟而逐步形成获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新8ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明ChatGPT发布后用户数持续暴涨，市场影响力迅速提升01 根据UBS发布的研究报告显示，ChatGPT在1月份的月活跃用户数已达1亿，成为史上用户数增长最快的消费者应用 相比之下，TikTok花了九个月的时间月活跃用户数才破亿，而Instagram则花费了两年半的时间，同时，根据Similar Web的披露信息，Spotify在四年半后仅积累了1亿月活跃用户 根据Similar Web的数据，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的两倍多资料来源：UBS，Similar Web，ARK Invest，第一财经，国泰君安证券研究2个月9个月30个月54个月图4：ChatGPT日活跃用户数的增速远超Instagram图5：对比各大热门平台月活跃用户数破亿所需时长，ChatGPT的成长速度惊人42个月54个月90个月资料来源：第一财经，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新9ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明ChatGPT已能覆盖较多能力域01 由于ChatGPT包含了更多主题的数据，能够处理更多小众主题。ChatGPT能力范围可以覆盖回答问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务。资料来源：ChatGPT，国泰君安证券研究用鲁迅口吻写一篇评价新冠疫情的散文用Python写一段CCI量化投资策略写一篇信创产业的研究报告用藏文、俄罗斯语、韩语和日文说一句话用C+写一段爬虫代码图6：ChatGPT的使用案例如下所示代码阅读理解和Debug获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新10ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明ChatGPT具备诸多先进性特征01 ChatGPT嵌入了人类反馈强化学习以及人工监督微调，因而具备了理解上下文、连贯性等诸多先进特征，解锁了海量应用场景 当前，ChatGPT所利用的数据集只截止到2021年。在对话中，ChatGPT会主动记忆先前的对话内容信息(上下文理解)，用来辅助假设性的问题的回复，因而ChatGPT也可实现连续对话，提升了交互模式下的用户体验。同时，ChatGPT也会屏蔽敏感信息，对于不能回答的内容也能给予相关建议。资料来源：知乎，国泰君安证券研究图7：ChatGPT提升的核心点如下所示连续对话能力用户意图有效捕捉上下文理解敢于质疑承认不知道提升准确度ChatGPT算法屏蔽连续对话人类意图获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新11ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明科技巨头不断下注AI行业，ChatGPT带动新一轮AI发展浪潮01 2023年初，微软和谷歌均宣布裁员计划，但都加大了在AI行业的投入资料来源：UBS，财富，华尔街见闻，国泰君安证券研究 1月18日，微软宣布将于3月底前在全球裁员1万人，约占公司员工总数的5%1月23日，微软宣布对 ChatGPT 创建者 OpenAI 进行第三轮投资，将向OpenAI进行为期多年、金额达数十亿美元的投资，以加速其在人工智能领域的技术突破 此外，微软还计划在未来几周内发布其 Bing 搜索引擎的 GPT-4 版本，预计该版本将比ChatGPT 模型更快、更强大 1月20日，谷歌母公司Alphabet宣布将裁员约1.2万人，占公司员工总数的6%以上，同时公司CEO表示，公司将会进一步聚焦AI技术核心业务的研发投入 2月4日，谷歌注资3亿美元投资ChatGPT竞品Anthropic，和Open AI一样，Anthropic也在开发生成式人工智能图8：科技巨头纷纷加大ChatGPT相关投入获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新12ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明国内外科技巨头积极布局生成式AI，部分公司已有成型产品01 国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI国外公司公司名称相关布局谷歌面对ChatGPT构成的威胁，注资3亿美元投资竞品Anthropic微软作为OpenAI的最大投资方，利用ChatGPT提高产品竞争力亚马逊ChatGPT受到重点关注，已广泛运用在各种工作职能中国内公司百度预计在3月份完成其ChatGPT产品文心一言（ERNIE Bot）的内测，并面向公众开放腾讯目前已经公布一项人机对话专利，能够实现机器与用户之间自然且顺畅的沟通表1：国内外科技公司积极布局生成式AI资料来源：各公司公告，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新13ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明谷歌：面对ChatGPT构成的威胁，注资3亿美元投资竞品Anthropic01在ChatGPT发布后，谷歌CEO在公司内部发布了“红色警报”(Code Red)，敦促团队解决ChatGPT对公司搜索引擎业务构成的威胁，同时批准了在谷歌搜索引擎中加入AI聊天机器人的计划2月4日，谷歌注资3亿美元投资ChatGPT竞品Anthropic，谷歌将获得约10%的股份，Anthropic计划将次轮资金用于购买谷歌云计算部门的计算资源；Anthropic开发了一款名为Claude的智能聊天机器人，据称可与ChatGPT相媲美（仍未发布）Anthropic和Open AI渊源颇深，其联合创始人曾担任OpenAI 研究副总裁资料来源：腾讯新闻，国泰君安证券研究图9：Anthropic的联合创始人曾担任OpenAI 研究副总裁图10：聊天机器人Claude据称可与ChatGPT相媲美资料来源：新浪财经，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新14ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明微软：OpenAI的最大投资方，开始利用ChatGPT提高产品竞争力01微软将ChatGPT视为新一代技术革命，将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams程序等产品中微软近期宣布推出视频会议及远程协作平台的高级付费版Microsoft Teams Premium，订阅者可享用OpenAI GPT提供支持的大型语言模型技术，用AI自动生成会议笔记，此举或对Zoom、谷歌会议等平台形成巨大冲击。资料来源：微软官网，国泰君安证券研究图11：Microsoft Teams Premium 使用 ChatGPT 做笔记，使远程协作更高效图12：集成了ChatGPT的新版 Bing 曾短暂上线，搜索框类似一个聊天框资料来源：Windows Central，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新15ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明亚马逊：ChatGPT受到重点关注，已广泛运用在各种工作职能中01ChatGPT 已经被亚马逊用于各种不同的工作职能中，包括回答面试问题、编写软件代码和创建培训文档等公司内部员工在 Slack 表示，亚马逊Amazon Web Services（AWS）云部门已经成立了一个小型工作组，以更好地了解人工智能对其业务的影响。资料来源：Business Insider，新浪科技，国泰君安证券研究图13：ChatGPT 已经被亚马逊用于各种不同的工作职能中资料来源：Encaptechno，国泰君安证券研究图14：亚马逊AWS云部门的职能与人工智能联系紧密获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新16ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明美国新媒体巨头Buzzfeed踩准ChatGPT风口，两天内股价飙升3倍011月29日，美国新媒体巨头Buzzfeed宣布计划采用ChatGPT协助内容创作，其股价一夜间暴涨近120%，两天内飙升逾300%，成交量突破4.38亿股（其月平均成交量不足2500万股）消息公布后同类型公司股票成交量也迎来历史高峰：C3.ai本月成交量超过7200万股，为自去年6月以来最多；语音AI软件公司SoundHound AI的成交量约为6450万股，几乎是其月平均值的三倍资料来源：腾讯新闻，国泰君安证券研究图16：Buzzfeed宣布计划采用ChatGPT协助内容创作后，股票成交量暴涨图15：Buzzfeed宣布计划采用ChatGPT协助内容创作后，股价一夜间暴涨近120%资料来源：澎湃新闻，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新17ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明Stability AI：Stable Diffusion大热，Open AI在图片生成AI大有可为01Stability AI有着与Open AI相同的创业理念：构建开源AI项目，促进AI发展，其成功证明Open AI在图片生成领域同样大有可为 公司的开源模型Stable Diffusion可以根据文字生成图片，只需要几秒钟，就可以生成分辨率、清晰度高，同时不失真实性和艺术性的图片。资料来源：网易新闻，国泰君安证券研究图17：用户使用基于Stable Diffusion算法构建的工具创建了数百万张图像图18：Stability AI有着与Open AI相同的创业理念，其成功证明Open AI在图片生成领域同样大有可为资料来源：Stability AI官网，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新18ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明Jasper：采用同类底层技术，进一步证明ChatGPT的巨大商业潜力01文案自动生成平台Jasper，其技术底层是 OpenAI 的 GPT-3，在成立仅 18 个月后就达到了 15 亿美元的高估值 IBM、Autodesk等巨头公司均是Jasper的付费用户，足以证明ChatGPT底层技术具备巨大的商业潜力。ChatGPT出现后，其技术领先性和受欢迎程度对Jasper形成了强烈冲击。资料来源：搜狐新闻，Jasper 官网，国泰君安证券研究图19：ChatGPT的出现，对采用同类底层技术的热门公司Jasper形成强烈冲击图20：相比ChatGPT的免费开源，Jasper需要付费使用资料来源：Jasper 官网，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新19ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明国内厂商（百度&腾讯）：高度关注ChatGPT，积极探索前沿技术01百度：1月10日，百度宣布将升级百度搜索的“生成式搜索”能力，智能解答用户的搜索提问；2月7日，百度宣布将在3月份完成其ChatGPT产品的内测，面向公众开放，该项目名字为文心一言（ERNIE Bot）百度指出，生成式AI和搜索引擎是互补关系而不是替代；据路透社报道，百度计划于 3 月将类似 ChatGPT 的 AI 对话服务作为独立应用推出，之后再逐步将其合并到搜索引擎中。腾讯：2月3日，腾讯公布一项人机对话专利，能够实现机器与用户之间自然且顺畅的沟通图22：腾讯发布相关专利，积极涉足ChatGPT领域资料来源：腾讯新闻，国泰君安证券研究图21：百度研发的ChatGPT产品“文心一言”将于3月份问世资料来源：中国经济网，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新20ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明AIGC创业公司大比拼，国外ChatGPT的优势遥遥领先并有望延续01 国内对比国外AIGC创业公司的相关产品，国外ChatGPT的优势遥遥领先并有望延续公司名称主要AIGC产品产品领域OpenAIGPT-3、ChatGPT文本、图片Stability AIStable Diffusion、Dreamstudio图片、音频MidjourneyMidjourney图片JasperJasper文本Copi.aiCopi.ai文本CopysmithCopysmith文本表2：国外创业公司涉及的AIGC产品领域十分丰富，相关应用日渐成熟资料来源：各公司官网，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新21ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明AI 需要大量资金、人力投入和数据积累，国内市场中巨头更具优势01人工智能不仅需要巨大的投入，还需要庞大的用户数据基础，只有互联网巨头才有这个能力产出伟大的产品国外是微软、谷歌、亚马逊，而国内则是百度、腾讯等互联网巨头最具潜力；相比国外巨头，国内巨头正投入大量资金和人力成本快速发展人工智能技术，在没有硝烟的人工智能竞赛中，中国企业也将异军突起资料来源：腾讯AI LAB官网，国泰君安证券研究图24：腾讯的AI 产品在游戏场景中不断提升人机协作与内容生成能力图23：百度构建了云智共生的生态，助力AI发展资料来源：百度官网，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 66622诚信 责任 亲和 专业 创新ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明02技术路径：基于人类反馈系统，ChatGPT助力跨模态AI生成应用获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新23ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明2022年ChatGPT经历多类技术路线演化，逐步成熟与完善02资料来源：真格基金，国泰君安证券研究ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累GPT-1GPT-2GPT-3Instruc-tGPTChatGPTT5BARTM2m-100BigBirdBERTRoBERTaXLMALBERTELECTRATransfo-rmerCNNRNN神经网络Machine Learning基于规则的少量数据处理1950年开始1980年开始1990年开始；2006年获得突破2017年2018年2019年2020年基于模板和规则的前深度学习阶段根据一定范围的数据进行参数分类开始模仿人脑进行大量数据的标记和训练对人脑学习过程进行重点关注进行海量数据学习训练，人类的反馈信息成为模型学习的内容图25：ChatGPT经过多类技术积累，最终形成针对人类反馈信息学习的大规模预训练语言模型GAN获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新24ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明资料来源：ChatGPT，国泰君安证券研究ChatGPT模型在以往模型的基础上有了多方面的显著提升02更大的语料库ChatGPT使用了更大的语料库，以更好地捕捉人类语言的复杂性。更高的准确性ChatGPT的训练效果比以往的大语言模型更好，因此它的准确性更高。更加通用的预训练ChatGPT的预训练是通用的，因此它可以更好地适应各种不同的任务。更强的自我学习能力ChatGPT具有自我学习能力，可以在不断接触新语料的过程中持续提高自己的性能。图26：ChatGPT是基于Transformer架构的语言模型，它在以往大语言模型（如ELMo和GPT-2）的基础上有诸多性能提升更高的计算能力ChatGPT使用了更高的计算资源，以获得更好的训练效果。更高的适应性ChatGPT具有较高的适应性，可以根据不同的场景和任务进行微调，以提高其在特定领域的效果。获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新25ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明Transformer的应用标志着基础模型时代的开始02转移学习(Transfer Learning)使基础模型成为可能 技术层面上，基础模型通过转移学习(Transfer Learning)(Thrun 1998)和规模(scale)得以实现。转移学习的思想是将从一项任务中学习到的“知识”（例如，图像中的对象识别）应用于另一项任务（例如，视频中的活动识别）。在深度学习中，预训练又是转移学习的主要方法：在替代任务上训练模型（通常只是达到目的的一种手段），然后通过微调来适应感兴趣的下游任务。转移学习(Transfer Learning)使基础模型成为可能。大规模化(scale)使基础模型更强大，因而GPT模型得以形成 大规模需要三个要素：（i）计算机硬件的改进例如，GPU吞吐量和内存在过去四年中增加了10倍；（ii）Transformer模型架构的开发（Vaswani et al.2017），该架构利用硬件的并行性来训练比以前更具表现力的模型；以及（iii）更多训练数据的可用性。基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等，这些例子的逐步形成使得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。例如，GPT-3（Brown et al.2020）与GPT-2的15亿参数相比，GPT-3具有1750亿个参数，允许上下文学习，在上下文学习中，只需向下游任务提供提示（任务的自然语言描述），语言模型就可以适应下游任务，这是产生的一种新兴属性。资料来源：Attention Is All You Need 论文，国泰君安证券研究获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新26ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明Transformer奠定了生成式AI领域的游戏规则02资料来源：Attention Is All You Need,Ashish Vaswani et.al 2017Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、更易于并行化，所需训练时间明显更少Transformer通过成功地将其应用于具有大量和有限训练数据的分析，可以很好地推广到其他任务 2017年，在Ashish Vaswani et.al 的论文Attention Is All You Need中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积神经网络，性能最好的模型被证明还是通过注意力机制（attention mechanism）连接编码器和解码器，因而Attention Is All You Need中提出了一种新的简单架构Transformer，它完全基于注意力机制，完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并且需要的训练时间明显更少。Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基础。（RNN缺陷正在于流水线式的顺序计算）图27：Transformer模型架构如下所示获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新27ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明Transformer实现的不同技术场景对应的不同技术原理02资料来源：量子位智库，国泰君安证券研究Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT，偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成）首先通过词嵌入(Word Embedding)将字、词、句进行区分，然后基于特征评分、序列标注、分类模型等提取内容特征计算相关文本单元权重其次洗择相应的文本单元子集组成摘要候洗集，完成内容选择，最后针对字数要求等限定条件，对候选集的内容进行整理形成最终摘要，完成内容组织。其细分路径又包含生成式文本摘要(AATS)，即形成抽象认知并创造新词灵活概括，和抽取式文本摘要(EATS)，即直接抽取原始素材并拼接成简单概要摘要/标题生成内容续写（例如文章续写）文本风格迁移整段文本生成产品特色通过随机Mask(即遮挡)数据库文本中的词语或语段，让神经网络自主学习复原被遮挡部分，从而拥有“猜测”缺失内容的能力，产出预训练模型。再通过大规模预训练模型理解上文或给定条件，从概率层面推测最符合要求的输出结果。其本质是借助超大规模的训练参数猜测上下文的过程主流思路是分离文本属性及文本内容隐式方法即使用某类无监督学习学习或强化学习模式将文本属性及内容自动分离，常见的有生成对抗方式，即通过GAN实现目标属性和文本量性完全由不同的编码控制的状态。对话式文本生成适用于智能客服等任务型和闲聊型机器人等非任务型人机交互场景，可分类为管道模式及端对端模式。结构性的文本生成，首先通过注意力机制、多层感知器等系统进行语句内容预选，对数值、时间等类型数据进行推理。增强数据间的结构信息。其次通过Transformer等模式结合上下文进行推导，生成最终文本。图28：Transformer典型技术场景下的原理介绍如下所述获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新28ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明GPT-1：借助预训练，进行无监督训练和有监督微调02资料来源：Improving Language Understanding by Generative Pre-Training 论文，稀土掘金，国泰君安证券研究GPT-1模型基于Transformer解除了顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有效学习的能力，这对于减轻自然语言处理（NLP）中对监督学习的依赖至关重要 GPT（Generative Pre-training Transformer）于2018年6月由OpenAI首次提出。GPT模型考虑到在自然语言理解中有大量不同的任务，尽管大量的未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据却很少，这使得经过区分训练的模型很难充分执行。同时，大多数深度学习方法需要大量手动标记的数据，这限制了它们在许多缺少注释资源的领域的适用性。在考虑以上局限性的前提下，GPT论文中证明，通过对未标记文本的不同语料库进行语言模型的生成性预训练，然后对每个特定任务进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输，同时对模型架构的更改最小。图29：GPT-1模型的核心手段是预训练（Pre-training）无监督预训练（Unsupervised pre-training）不需要标注数据集，即大规模自学阶段，在保证AI算力充足的条件下，根据attention机制进行自学有监督微调（Supervised fine-tunning)微调，用来修正模型理解力。即小规模指导过程，让AI在小样本数据下进行调整结合形成了一种使用无监督预训练和有监督微调相结合的语言理解任务的“半监督方法”获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新29ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明GPT-1：模型更简化、计算加速，更适合自然语言生成任务（NLG）02资料来源：Improving Language Understanding by Generative Pre-Training 论文，稀土掘金，国泰君安证券研究GPT相比于Transformer等模型进行了显著简化 相比于Transformer，GPT训练了一个12层仅decoder的解码器（原Transformer模型中包含Encoder和Decoder两部分）。相比于Google的BERT(Bidirectional Encoder Representations from Transformers,双向编码生成Transformer)，GPT仅采用上文预测单词（BERT采用了基于上下文双向的预测手段）。注：ChatGPT的表现更贴近人类意图，部分因为一开始GPT是基于上文的预测，这更贴近人类的话语模式，因为人类言语无法基于将来的话来做分析。VS图30：GPT-1模型相比于Transformer模型有了显著简化Transformer架构GPT-1架构GPT用于对不同任务进行微调的输入转换的示意图获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新30ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明GPT-2：采用多任务系统，基于GPT-1进行优化02资料来源：Language Models are Unsupervised Multitask Learners论文，国泰君安证券研究GPT-2在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情况下执行数量惊人的任务 在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。大模型GPT-2是一个1.5B参数的Transformer，在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。模型中，Transfomer堆叠至48层。GPT-2的数据集增加到8 million的网页、大小40GB的文本。GPT-2的核心抓手采用多任务模型（Multi-task）GPT-2要实现的目标GPT-2调整优化的目的是为了解决零次学习问题（zero-shot）（注：zero-shot问题，就是针对AI在面对不认识的事物时，也能进行推理）多任务模型的特点：跟传统ML需要专门的标注数据集不同（从而训练出专业AI），多任务模型不采用专门AI手段，而是在海量数据喂养训练的基础上，适配任何任务形式。转向更通用的系统，使其可以执行许多任务，最终无需为每个任务手动创建和标记训练数据集。机器学习系统通过使用大型数据集、高容量模型和监督学习的组合，在训练任务方面表现出色，然而这些系统较为脆弱，对数据分布和任务规范的轻微变化非常敏感，因而使得AI表现更像狭义专家，并非通才。GPT-2要解决和优化的问题图31：GPT-2通过调整原模型和采用多任务方式来让AI更贴近“通才”水平获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新31ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明GPT-2仍未解决应用中的诸多瓶颈02资料来源：Language Models are Few-Shot Learners论文，国泰君安证券研究GPT-2聚焦在无监督、zero-shot（零次学习）上，然而GPT-2训练结果也有不达预期之处，所存在的问题也亟待优化 在GPT-2阶段，尽管体系结构是任务无关的，但仍然需要任务特定的数据集和任务特定的微调：要在所需任务上实现强大的性能，通常需要对特定于该任务的数千到数十万个示例的数据集进行微调。存在的问题02：预训练加微调范式中，可能在这种范式下实现的泛化可能很差，因为该模型过于特定于训练分布，并且在其之外无法很好地泛化。微调模型在特定基准上的性能，即使名义上是人类水平，也可能夸大基础任务的实际性能。存在的问题03：因为人类学习大多数语言任务不需要大型受监督的数据集，当前NLP技术在概念上具有一定的局限性。存在的问题01：从实用的角度来看，每一项新任务都需要一个标记示例的大数据集，这限制了语言模型的适用性；对于其中的许多任务（从纠正语法到生成抽象概念的示例，再到评论一个短篇故事等等），很难收集一个大型的监督训练数据集，特别是当每个新任务都必须重复该过程时。问题 02问题01问题03GPT-2阶段存在的问题点图32：GPT-2尚未解决诸多瓶颈问题获取更多最新资料请加微信：ch e n s a s a 666诚信 责任 亲和 专业 创新32ChatGPT生成式AI迎来拐点，商用落地前景可期请参阅附注免责声明GPT-3取得突破性进展，任务