AIGC全方位解析与投资展望-兴业证券-2023-WN5.pdf

请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 海海外外研研 究究 行行业业深深度度研研究究报报告告 证券研究报告证券研究报告 互联网互联网 investSuggestion investSuggestion 推荐推荐 (维持维持 ）相关报告相关报告 海外海外 TMT 研究研究 分析师：洪嘉骏 SFC：BPL829 SAC：S1010519080002 联系人：翁嘉源 投资要点投资要点 我们看到我们看到 AIGC（人工智能生成内容），有望成为互联网下一阶段的增长驱（人工智能生成内容），有望成为互联网下一阶段的增长驱动。动。Gartner 预计，2022 年 AIGC 占全球数字数据量为 1%，到 2025 年，这一比例将提升至10%。应用领域广泛，如软件编程，医药研发，精准营销，影视娱乐等，除了内容产出的变革外，AIGC 也将有效的提高工作效率，减少工时。而根据 Acumen Research and Consulting数据显示，21年通用 AI市场规模为 79 亿美元，预计 2030年将超 1,108亿美元，22-30 年 CAGR 为 34%。AIGC 的核心建立在三个关键能力之上，算法、算力、数据。的核心建立在三个关键能力之上，算法、算力、数据。由于算法、算力瓶颈的解决，AIGC 的发展速度日新月异，近期发布的 GPT-4 在许多任务上的表现已经非常接近人类的表现水平，被视为 AGI（通用人工智能）的早期版本。海外：大厂纷纷布局，商业化速度快于预期。海外：大厂纷纷布局，商业化速度快于预期。除了 OpenAI 的 ChatGPT外，海外各家大厂，如谷歌推出聊天机器人 Bard，英伟达推出 AI Foundation 云服务。而在商业化方面，OpenAI 携手微软，已经在多个方面进行布局尝试，如搜索、Office 365 Copilot、Azure OpenAI 服务、Plugins、订阅等。此外 Meta发布通用图像分割模型 SAM，有望加速自动驾驶发展。国内：国内：投资、研发加速，算力成为关键。投资、研发加速，算力成为关键。我们看到，国内各家厂商也纷纷加速研发与投资进度。百度于 3 月份上线文心一言。此外，华为、阿里、商汤、京东、同花顺均将于 4 月份举办大模型发布会或产品发布会。由于大语言模型的开源，如 Meta 的 LLaMA，使得大语言模型开发在算法上的门槛降低，算力、数据、落地场景成为各家大厂重要看点。互联网行业影响展望：互联网行业影响展望：短期来看，云计算厂商受益于训练需求大增。短期来看，云计算厂商受益于训练需求大增。由于大模型训练与调用需要庞大的算力资源，而千亿参数的模型需要一个面向 AI 高度优化的云计算平台才可训练。因此，随着大模型训练需求量以及未来 AIGC 应用的增加，云计算厂商将迎来增量的需求。长期来看：工作效率的提升、内容产能增加、新的流量渠道将深远的影长期来看：工作效率的提升、内容产能增加、新的流量渠道将深远的影响响互联网互联网，如搜索、物联网、应用商店、办公软件、外包行业、游戏、影视、电商等互联网行业均会发生变革。投资建议：投资建议：大模型开发，算力、云计算需求增加方面，建议关注英伟达（NVDA.O）,微软（MSFT.O），谷歌（GOOGL.O），Meta（META.O），亚 马 逊（AMZN.O），百 度 集 团-SW（09888.HK），阿 里 巴 巴-SW（09988.HK），腾讯控股（00700.HK），联想集团（00992.HK）、与商汤-W（00020.HK）。长期应用层上，建议关注拥有清晰落地场景的金山软件（03888.HK），以 及 受 益 于 效 率 提 升 带 来 的 利 润 释 放 的 网 易-S（09999.HK）。风险提示：风险提示：政策监管风险；国际情势影响商务合作；政策监管风险；国际情势影响商务合作；AIGC 发展不及预期发展不及预期 title AIGC 全方位解析与投资展望全方位解析与投资展望 2023 年年 4 月月 15 日日 群内每日免费分享5份+最新资料 群内每日免费分享5份+最新资料 300T网盘资源+4040万份行业报告为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长 全面赋能！添加微信，备注“入群”立刻免费领取 立刻免费领取 200套知识地图+最新研报收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音扫码先加好友，以备不时之需扫码先加好友，以备不时之需行业报告/思维导图/电子书/资讯情报行业报告/思维导图/电子书/资讯情报致终身学习者社群致终身学习者社群关注公众号获取更多资料关注公众号获取更多资料 请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -2-海外公司深度研究报告海外公司深度研究报告 Overweight（Maintained）TMT Assistant Analyst Weng Jiayuan Analyst Hong Jiajun SFC：BPL829 SAC：S1010519080002 AIGC(Artificial Intelligence Generated Content)is likely to be the next key driver for the Internet sector.Gartner predicts that by 2022,AIGC will account for 1%of the global digital data volume,and by 2025,it will increase to 10%.The application areas are extensive,including software programming,pharmaceutical research and development,precision marketing,film and entertainment,etc.In addition to transforming content output,AIGC will also effectively improve work efficiency and reduce man-hours.According to data from Acumen Research and Consulting,the generative Al market size was$7.9 billion in 2021,and it is expected to exceed$110.8 billion by 2030,with a CAGR of 34%from 2022 to 2030.The core of AIGC is built upon three key capabilities:algorithm,computing power,and data.Due to the resolution of algorithm and computing power bottlenecks,the development of AIGC is advancing rapidly.The recently released GPT-4 has demonstrated performance levels very close to human levels in many tasks,and it is regarded as an early version of AGI(Artificial General Intelligence).Overseas:Major companies are actively positioning themselves,and the pace of commercialization is faster than expected.In addition to OpenAIs ChatGPT,other major companies abroad,such as Google,have launched chatbot Bard,and NVIDIA has introduced AI Foundation cloud services.In terms of commercialization,OpenAI has partnered with Microsoft and is already attempting to position itself in various areas,such as search,Office 365 Copilot,Azure OpenAI services,plugins,subscriptions,etc.Furthermore,Meta has released a general image segmentation model called SAM,which is expected to accelerate the development of autonomous driving.Domestic:Investment and R&D are accelerating.Computing power has become crucial.We observe that various domestic manufacturers are also accelerating their R&D and investment progress.Baidu launched Ernie Bot in March.Moreover,Huawei,Alibaba,SenseTime,JD.com,and Hexin Flush are all set to hold LLM,release conferences or product launches in April.Due to the open-sourcing of LLM,such as Metas LLaMA,the development of LLM has seen a lowered threshold in terms of algorithms.Computing power,data,and practical applications have become important focal points for major companies.Outlook of the impact on the internet industry:In the short term,cloud service providers benefit from the significant increase in demand of computing power.LLM training and invocation require massive computing power resources,and a highly AI-optimized cloud computing platform is needed to train models with hundreds of billions of parameters.As a result,with the increase in demand for LLM training and the future growth of AIGC applications,cloud service providers will see incremental demand.In the long term:Improvements in work efficiency,increased content production capacity,and new traffic channels will profoundly impact the internet,including sectors such as search,Internet of Things(IoT),app stores,office software,outsourcing,gaming,film and television,and e-commerce.All of these internet industries will undergo transformations.Investment Recommendations:In terms of LLM development and increased demand for computing power and cloud service,we recommend paying attention to NVIDIA(NVDA.O),Microsoft(MSFT.O),Google(GOOGL.O),Meta(META.O),Amazon(AMZN.O),Baidu Group-SW(09888.HK),Alibaba-SW(09988.HK),Tencent Holdings(00700.HK),Lenovo Group(00992.HK),and SenseTime-W(00020.HK).In the long term,on the application layer,we recommend focusing on Kingsoft(03888.HK),which has clear practical application scenarios,and NetEase-S(09999.HK),which stands to benefit from the profit release brought about by efficiency improvements.Potential risks:1)Policy and regulatory uncertainties;2)International geopolitical situations impacting business collaborations;3)AIGC development falling short of expectations.AIGC Comprehensive Analysis and Investment Outlook 04/15/2023 请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -3-海外公司深度研究报告海外公司深度研究报告 目录目录 一、为什么是 AIGC？.-6-为什么是 AIGC：易用性、生产力、适配广.-6-为什么是现在：算力、算法突破瓶颈.-9-1、构建 AIGC的三大核心能力.-10-1.2.1、算法：Transformer奠定基础.-10-1.2.2、算力：驱动大模型的燃料.-12-1.2.3、数据：语料库丰富度与数据标注缺一不可.-14-1.2.4、其他 AIGC模式.-16-二、OpenAI：AIGC领军者.-17-2.1、ChatGPT 发展历史.-18-2.2、GPT-4：AGI（通用人工智能）的早期版本.-22-2.3、探索中的盈利模式.-25-2.4、特殊的股权投资协议：目前与微软深度绑定.-29-2.5、其他海外大厂争先追赶.-31-三、中国 AIGC 现状与展望.-32-3.1、政策端扶持.-32-3.2、国内 AIGC 进展：多头并进，百花齐放.-33-3.3、中国深度学习之路：任重而道远.-35-3.4、百度：国内深度学习先锋.-36-3.5、国内其他大厂 AIGC进展.-38-四、AIGC 短期与长期对互联网行业的影响.-39-4.1、搜索：New Bing 撼动搜索垄断格局.-39-4.2、物联网：交互方式进一步革新.-41-4.3、应用商店：ChatGPT Plugins 或带来流量分发新渠道.-42-4.4、办公软件：解放生产力的重要一步.-44-4.5、外包：效率提升带来需求减少.-45-4.6、游戏：效率提升带来成本下降与产能提升.-46-4.7、影视：降本增效助力利润空间释放.-47-4.8、电商：智能导购新形式.-49-五、投资建议.-50-六、风险提示.-51-图目录图目录 图 1、AIGC 框架一览.-8-图 2、AIGC 三个发展阶段.-9-图 3、Transformer模型架构.-11-图 4、语言大模型预训练后引入人工微调进行模型优化.-11-图 5、RLHF三个步骤使用数据集规模.-12-图 6、GPT-3 模型训练参数量及数据量.-13-图 7、大模型训练算力消耗逐步攀升.-13-图 8、用于训练 GPT-3 的数据集.-15-图 9、主要数据集规模.-15-图 10、RLHF人工标注环节.-15-图 11、模型回答满意度量表.-15-请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -4-海外公司深度研究报告海外公司深度研究报告 图 12、OpenAI历史沿革.-17-图 13、OpenAI产品架构.-18-图 14、GPT-1 模型架构.-19-图 15、GPT 的迭代历史.-19-图 16、Chat.openai 周网页访问量.-20-图 17、Midjourney 周网页访问量.-20-图 18、RHLF 算法的训练流程.-21-图 19、GPT-3 模型依靠强大的算力.-22-图 20、GPT-4 所展现的部分 AGI 相关能力.-23-图 21、GPT-3.5与 GPT-4在推理、速度、答案明晰性方面对比.-23-图 22、GPT 在各种基准测试中优于其他大模型.-24-图 23、GPT-4 在学术和专业考试中的表现.-24-图 24、MMLU 测试中 GPT-4 拥有优于其他模型的英语表现.-24-图 25、GPT-4 的不正确行为率及与前代对比.-25-图 26、GPT-4 面对敏感问题的响应变化.-25-图 27、企业通过 OpenAI 提供的 API 建立应用程序.-25-图 28、ChatGPT订阅服务.-27-图 29、多邻国利用 GPT-4提高用户学习体验.-29-图 30、Be My Eyes利用 GPT-4改善视觉辅助功能.-29-图 31、Open AI公司架构.-29-图 32、公司股权投资协议四个阶段.-31-图 33、美国处于半导体创新的前沿（2019）.-35-图 34、顶尖 AI 人才分布（按国家）.-35-图 35、2022年各国作者发表的 AI论文数量.-36-图 36、美国企业对 AI的投资是中国的两倍(2020).-36-图 37、文心一言主要能力.-36-图 38、文心千帆 3分钟制作 PPT.-37-图 39、文心千帆财报分析助手.-37-图 40、全球搜索引擎市场份额（%）.-39-图 41、Google网页流量.-40-图 42、Bing 网页流量.-40-图 43、Google APP WAU.-40-图 44、Bing WAU.-40-图 45、全球数字广告市场规模（分类型）.-40-图 46、全球数字广告类型及趋势.-40-图 47、全球物联网支出.-41-图 48、全球物联网终端连接数.-41-图 49、小度音箱应用文心一言模型.-42-图 50、PaLM-E 机器人将薯片取出抽屉.-42-图 51、天猫精灵 AI 平台技术内核.-42-图 52、天猫精灵打造智能家居.-42-图 53、App Store 应用数量变化.-44-图 54、App Store 平台应用程序下载量与收入.-44-图 55、Google Play平台应用程序下载量与收入.-44-图 56、金山软件-办公软件及服务营收.-45-图 57、金山办公-办公软件月度活跃及付费用户.-45-图 58、Upwork营收.-46-图 59、Teleperformance 营收.-46-图 60、逆水寒智能 NPC聊天场景.-47-图 61、逆水寒智能 NPC聊天场景.-47-请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -5-海外公司深度研究报告海外公司深度研究报告 图 62、全球主要游戏公司研发费用率.-47-图 63、中国剧集发行总数减少，但剧集总成本和部均成本上升.-48-图 64、剧集制作成本随项目浮动，但长期占据销售成本 90%以上.-48-图 65、Dramatron工作模式.-48-图 66、去你的岛海报.-48-图 67、人力成本在特效制作中占比超 60%.-49-图 68、Shopify 智能导购功能展示.-49-图 69、2020年天猫 618 大促“3D购”成果.-50-图 70、电商将受益于快速增长的智能客服市场，降低运营成本、增强消费者沟通流畅度.-50-表目录表目录 表 1、生成式 AI三大特性.-6-表 2、AIGC 发展历史上的代表事件/产品.-9-表 3、大模型微调方法差异.-12-表 4、GPT历代参数量以及训练量.-13-表 5、国外主要 AIGC预训练模型一览.-13-表 6、AI芯片主要代表 GPU、ASIC、FPGA对比.-14-表 7、主要数据集规模（单位：GB）.-15-表 8、多种 AIGC生成类别.-16-表 9、GPT版本迭代.-19-表 10、ChatGPT文本资料来源.-21-表 11、语言模型 API token 定价（截止 2023 年 4月 12 日）.-26-表 12、聊天模型定价（截止 2023年 3月 15 日）.-26-表 13、GPT-4 API token 定价（截止 2023 年 4 月 12日）.-26-表 14、音频生成模型定价（截止 2023年 4月 12 日）.-26-表 15、图像生成模型定价（截止 2023年 4月 12 日）.-26-表 16、图像生成模型 API的单价.-27-表 17、Microsoft 365 Copilot服务.-28-表 18、Open AI高管背景.-30-表 19、微软与海外其他大厂大语言模型的进展.-31-表 20、中国 AI 相关扶持政策.-32-表 21、国内 AIGC模型领先企业.-33-表 22、国内代表大模型.-33-表 23、部分国内开源框架.-34-表 24、部分 AI 芯片代表企业.-34-表 25、部分中文训练数据集.-34-表 26、To-B端 文心千帆大模型平台.-37-表 27、百度与国内其他大厂大语言模型的进展.-38-表 28、ChatGPT Plugins.-43-表 29、App Store 发展历史.-43-表 30、AIGC相关部分海外公司一览表（日期：2023 年 4月 13 日）.-50-请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -6-海外公司深度研究报告海外公司深度研究报告 报告正文报告正文 一、为什么是一、为什么是 AIGC？AIGC（Artificial Intelligence-Generated Content）即）即“人工智能自动生成内容人工智能自动生成内容”，是利用是利用 AI 来生成各种形式和风格的内容，如文本、图像、音频和视频等。来生成各种形式和风格的内容，如文本、图像、音频和视频等。与传统基于数据分析和推荐系统的内容处理方式相比，AIGC 可以直接根据用户需求来生成最合适的内容，具有更强的主动性和创造性。根据根据 Gartner 预计，预计，2022 年年 AIGC 占全球数字数据量为占全球数字数据量为 1%，到，到 2025 年，这一年，这一比例将提升至比例将提升至 10%。应用领域广泛，如软件编程，医药研发，精准营销，影视娱乐等，涉及行业的广度和深度远超从前。而根据 OpenAI 研究论文预计，除了内容产出的变革外，AIGC 也将有效的提高也将有效的提高工作效率，减少工时工作效率，减少工时。以美国为例，OpenAI 预计未来将有 80%的工人至少 10%的任务会受到影响，19%的工人有超一半的任务会受到影响。为什么是为什么是 AIGC：易用性、生产力、适配广：易用性、生产力、适配广 我们看到，AIGC（1）用人类最熟悉的自然语言作为媒介，简单易用；（2）替代人类的重复思考与工作，有效地释放了生产力；（3）下游应用广泛，适用性强，各行各业都有适配 AIGC 的场景与需求。这三大特性使得 AIGC 不同于过往互联网概念的炒作，而是真正有望大幅度提高人类的生产力和创造力，推动产业发展与创新，成为互联网新发展的助推剂。成为互联网新发展的助推剂。表表 1、生成式、生成式 AI 三大特性三大特性 “开箱即用开箱即用”，用自然语言沟通，用自然语言沟通 中文自然语言沟通 英文自然语言沟通 通过深度学习，替代人类的重复思考通过深度学习，替代人类的重复思考 代替人写代码（例如写贪吃蛇的 Java代码）代替人画图（图源 Midjourney AI 作画）请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -7-海外公司深度研究报告海外公司深度研究报告 下游应用广泛，适用性强下游应用广泛，适用性强 搜索 医药 游戏 自动驾驶 资料来源：Bing，网易，Discord，Simulations Plus，搜狐，兴业证券经济与金融研究院整理 请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -8-海外公司深度研究报告海外公司深度研究报告 图图 1、AIGC 框架一览框架一览 资料来源：Deep Generative Modeling，Enabling AI-Generated Content(AIGC)Services in Wireless Edge Networks，兴业证券经济与金融研究院整理 请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -9-海外公司深度研究报告海外公司深度研究报告 为什么是现在：算力、算法突破瓶颈为什么是现在：算力、算法突破瓶颈 制约制约 AIGC 发展的两座大山，算力以及算法，获得解决。发展的两座大山，算力以及算法，获得解决。中国信通院将 AIGC 的发展划分为三个阶段，即（1）早期萌芽阶段（）早期萌芽阶段（90 年代之前）年代之前），这一阶段科技水平落后，受限于算力，仅能进行小范围实验；（2）沉淀积累阶段（）沉淀积累阶段（1990s-2010s），），AIGC 从实验性向实用性逐渐转变，到 2006 年，深度学习算法取得重大突破，图形处理器（GPU）和张量处理器（TPU）等硬件性能持续提升，互联网的普及为人工智能算法提供了大量训练数据，使人工智能大幅进步，但这一阶段，囿于算法瓶颈，内容生成效果较差，产品有待迭代；（3）快速发展阶段）快速发展阶段（2010s-至今），至今），深度学习算法不断迭代，人工智能生成内容逐步迈向成熟，人工智能生成内容的应用百花齐放，目前 Text-to-text（文本到文本）、Text-to-Image（文本到图像）、Text-to-3D（文本到 3D）等 AIGC应用已初崭头角。图图 2、AIGC 三个发展阶段三个发展阶段 资料来源：中国信息通信研究院，IA，CSDN，COBRA，兴业证券经济与金融研究院整理 表表 2、AIGC 发展历史上的代表事件发展历史上的代表事件/产品产品 事件名称事件名称 事件描述事件描述 历史意义历史意义 1 The Road（2007 年）2007年，纽约大学人工智能研究员 Ross Goodwin 装配的人工智能系统撰写出小说1 The Road。1 The Road是世界上首本由人工智能(AI)创作的小说。微软同声转译系统（2012 年）深度神经网络（DNN）是一种使用深度学习技术的人工神经网络。DNN由多个相互连接的节点的隐藏层组成，DNN能够以显著的准确性执行图像识别、自然语言处理和语音识别等任务。具体应用是微软基于 DNN推出了同声转译系统，该系统可将英文演讲者的内容自动翻译成中文语音。深度神经网络（DNN）是一项开创性进展，深度神经网络(DNN)目前是许多现代 AI应用的基础，证明了深度神经网络的有效性。生成式对抗网络（2014 年）生成对抗网络（GANs）是由 Ian J.Goodfellow在 2014 年提出的。GANs是一种深度学习架构，由两个神经网络组成：一个生成器网络和一个鉴别器网络。生成器网络被训练来生成与训练集相似的新数据，而判别器网络被训练来区分训练集的真实数据和生成器生成的假数据。GANs被认为是深度学习领域的一个强有力的工具。StyleGAN（2018 年）StyleGAN是英伟达在 2018年发布的生成式对抗网络模型，它能够生成高质量的人脸和其他物体的图像，其独特之处在于生成具有一致风格和多样化外观的图像。StyleGAN已被计算机视觉和机器学习界广泛采用，并已 请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -10-海外公司深度研究报告海外公司深度研究报告 StyleGAN采用分层结构，可以对生成的图像进行更精细的控制，产生的结果比以前的模型更真实，也更多样化。被用于各种应用，包括视频游戏设计和虚拟现实。DVD-GAN（2019 年）DeepMind的研究人员在 2019 年推出名为 Dual Video Discriminator GAN（DVD-GAN）的 AI模型，该 DVD-GAN能通过学习 YouTube 视频的数据集，产出 256 x 256 像素的连续视频，最长可达 48帧。DVD-GAN模型在几个基准数据集中取得了先进的结果，证明了它在计算机视觉领域的有效性和多功能性。证明了 AIGC应用到不同的场景（草地、广场）和任务（文本照片视频）中的能力大幅提升。DALL-E（2021 年）OpenAI于 2021 年 1 月 5 日推出了 DALL-E的人工智能程序，DALL-E可以通过文本描述生成图像。DALL-E通过 120 亿参数版本的 GPT-3 Transformer模型来理解自然语言输入并生成相应的图像，且 DALL-E不仅可生成现实的对象，也能创作现实中不存在的对象。DALL-E因执行图像创作的先进能力而备受关注。ChatGPT（2022 年）ChatGPT（Chat Generative Pre-trained Transformer）是 OpenAI于 2022年 11 月推出的是一款的对话式 AI模型，能够以如此高的准确度执行自然语言生成（NLG）任务，因其快速、详细的响应和能提供跨多个知识领域的回答而火速受到全世界关注。AIGC 第一次在消费端市场大放异彩，截止 2023年 1 月末，月活跃用户已达 1 亿，是历史上增长最快的消费应用。资料来源：中国信息通信研究院，CSDN，IA，兴业证券经济与金融研究院整理 1、构建、构建 AIGC 的三大核心能力的三大核心能力 AIGC 的核心建立在三个关键能力之上，分别为算法、算力、数据。以下我们以文本生成模型为例进行分析。1.2.1、算法：、算法：Transformer 奠定基础奠定基础 目前语言大模型的核心底层算法为目前语言大模型的核心底层算法为 Transformer，于2017年由谷歌大脑团队推出并奠定了大模型时代基础，当前流行的大模型大多都是基于当前流行的大模型大多都是基于 Transformer 的变体的变体或扩展，或扩展，例如 2020年的 ViT（Vision Transformer）与DDPM（Denoising Diffusion Probabilistic Models），2021 年的 InstructGPT，及 2022 年的 ChatGPT。自Transformer之后底层算法未有较大突破，业界将目光更多集中于算法的具体落地、算力芯片与数据集升级等方面。Transformer 是一种自然语言处理（NLP）模型，用于翻译、文本生成、摘要等任务。相比于传统的循环神经网络模型，Transformer 模型使用了一种名为“自注意力机制”(Self-Attention)的新型计算方式，即对于输入序列中的每个单词或字符，计算其与其他单词或字符之间的相似度，并根据相似度来分配注意力权重。然后，使用这些权重来加权计算每个单词或字符的表示，使得模型在处理长文本时效果更好且速度更快。通过多层堆叠自注意力机制和前馈神经网络，Transformer模型可以同时对输入文本的所有部分进行处理，并学习输入序列之间的关系，从而获得更好的语言表示。请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -11-海外公司深度研究报告海外公司深度研究报告 图图 3、Transformer 模型架构模型架构 资料来源：CSDN，兴业证券经济与金融研究院整理 除底层算法选择外，模型微调在大语言模型训练中也至关重要。除底层算法选择外，模型微调在大语言模型训练中也至关重要。不同语言模型在训练数据、模型和微调方面存在差异，但共性是都遵循用户指令进行模型优化。通常而言，最初仅经过预训练的模型所生成的内容会不符合用户意愿，因此模型开发者会使用指令调整的方法来优化模型，比如利用指令微调（Instruction Fine-Tuning,IFT）、监督微调（Supervised Fine-tuning,SFT）、思维链（Chain-of-thought，CoT）等微调方法对模型进行优化，提高模型性能。再借助人类反馈强化学习（Reinforcement learning from human feedback,RLHF），生成更符合人类期望的内容。图图 4、语言大模型预训练后引入人工微调进行模型优化、语言大模型预训练后引入人工微调进行模型优化 资料来源：CSDN，兴业证券经济与金融研究院整理 请务必阅读正文之后的信息披露和重要声明请务必阅读正文之后的信息披露和重要声明 -12-海外公司深度研究报告海外公司深度研究报告 表表 3、大、大模型模型微调方法差异微调方法差异 LaMDA BlenderBot 3 Sparrow ChatGPT/InstructGPT Claude 组织机构 Google Meta DeepMind OpenAI Anthropic 访问权限 封闭 公开 封闭 有限 封闭 参数规模 1370亿 1750亿 700 亿 1750亿 520 亿 基础模型 未知 OPT Chinchilla GPT-3.5 未知 语料库规模 2.81 万亿 1000亿 1.4万亿 未知 4000亿 访问网络 监督微调 微调数据规模 高质量：6.4K；安全性：8K；落地性：4K；IR:49K 20个 NLP数据集，范围从 18K到1.2M 未知 InstructGPT：12.7K ChatGPT可能更多 150K+LM 生成的数据 RLHF 人工安全规则 生成内容评估标准 1.质量(理智、精确、有趣)2.安全性(包括偏见)3.有根据的 1、质量(参与性、知识运用)；2.安全性(毒性、偏见)1.Alignment(有帮助，无害，正确)；2.有根据的(来自网站)；3.是否违反规则；4.是否生成偏见和刻板印象；5.值得信任 1.Alignment(有帮助，无害，正确)；2.是否存在偏见 1.Alignment(有帮助，无害，正确)2.是否存在偏见 资料来源：Github，兴业证券经济与金融研究院整理 人类反馈强化学习（人类反馈强化学习（RLHF）微调）微调：由于网络数据来源千差万别，存在一个提示将会对应许多“正确答案”的问