ChatSEC：中信建投证券“类ChatGPT”技术研究与探索.pdf

栏目编辑：梁丽雯 E-mail:liven_2023年第9期5656Research|技术应用一、技术背景生成式AI（Generative AI）技术是使用各种机器学习算法，从海量的数据集中学习特征要素，使模型能生成全新的文本、图像、音视频等内容的技术。该技术的发展得益于基于深度学习的大模型技术研究的突破、真实场景海量数据的积累以及计算成本的下降。2022年11月，OpenAI公司发布的ChatGPT引爆了AI界对自然语言处理领域生成式AI的热情，国内外各大AI科技公司相继宣布跟进。ChatGPT是基于GPT3.5（Generative Pre-trained Transformer 3.5）架构开发的对话式AI模型，这是一种基于互联网可用数据训练的文本生成深度学习模型，可用于问答、机器翻译、文案生成等。ChatGPT技术取得突破性进展的同时，聚焦到金融领域，中信建投证券也在积极探索“ChatGPT+金融”新模式，以此助力金融服务创新场景。根据金融科技发展规划（2022-2025年）“全面推进数字化转型升级”的要求，近年来，该公司致力于研究大规模预训练语言模型，基于多年研究成果和最新技术研发了智能对话模型ChatSEC，并积极探索落地应用场景，ChatSEC：中信建投证券“类ChatGPT”技术研究与探索 中信建投证券股份有限公司潘建东孙冰刘国杨摘要：近年来，人工智能已成为推动证券行业数智化转型的重要力量，2022年更被认为是人工智能生成内容（AIGC）元年。随着诸如ChatGPT等模型的问世，证券行业也在积极跟进、广泛探讨类似技术如何赋能各业务领域。中信建投证券一直紧跟人工智能发展浪潮，致力于研究探索自然语言处理（NLP）领域的“生成式AI”技术，并基于开源大规模语言模型框架，利用ChatGPT类似技术研发了面向证券行业的智能对话模型ChatSEC，目前正积极开展可落地应用场景的研究与探索，文章对此进行了详细介绍。关键词：ChatGPT；生成式AI；大规模预训练模型；自然语言处理作者简介：潘建东（1968-），男，北京人，工学硕士，研究方向：智能应用、大数据、系统架构；孙冰（1992-），男，北京人，工学硕士，研究方向：人工智能、自然语言处理；刘国杨（1982-），男，北京人，工学硕士，研究方向：人工智能、系统架构。收稿日期：2023-05-24栏目编辑：梁丽雯 E-mail:liven_2023年第9期5757Research|技术应用为更多人工智能前沿技术赋能业务发展提供思路。二、技术探索与场景实践（一）ChatSEC模型原理ChatSEC是基于开源预训练模型架构GLM（General Language Model），依靠公司容器云平台GPU计算资源，利用10.2万条高质量的指令监督数据集微调训练出的面向证券行业智能对话模型。不同于BERT、GPT的架构，ChatSEC是一个包含多目标函数的自回归预训练模型，并融入有监督指令微调、基于人类反馈的强化学习（RLHF）等技术。60亿个参数的ChatSEC虽然规模不及千亿模型，但其定位于证券垂直领域，已经能生成符合业务偏好的回答，并且大大降低了模型训练和部署的成本。“蜻蜓点金App”是中信建投证券一款手机应用，模型能充分理解用户意图，并给出合理的回复，如图1所示。任务也能够理解并尝试响应。2.基于人类反馈的强化学习。为了降低训练成本，先标注适量的数据集，人工给出偏好标注，再基于这个数据集训练一个奖励模型，用来自动生成人类对一个问题的偏好问答。加入强化学习后，大模型能够理解用户的指令以及背后的含义，根据人类反馈来判断答案的质量，给出可解释的答案，并对不合适的问题给出合理的回复，形成一个可迭代反馈的闭环。如图2所示，ChatSEC对于“股票趋势预测”这类其无法处理的问题，会明确拒绝并作出解释。图1ChatSEC有效解决用户需求的示例图2ChatSEC尝试拒绝并给予解释的示例得益于大规模预训练模型的发展，ChatSEC的核心思想是引入有监督指令微调和基于人类反馈的强化学习来进行持续训练和优化。1.有监督指令微调。指令微调技术使用提示（prompt）来为模型提供一系列指令或者命令，这些指令会告诉模型应该如何进行特定任务的处理。不同于通用语言模型，ChatSEC指令微调中的提示是针对证券行业特定任务和特定模型进行设计的，所以能更好地指导模型完成业务场景中的指定任务。有监督指令微调技术提升了模型的学习能力，模型对于未见过的（二）数据集特点最近几年，该公司在智能客服场景下，先后建成了全渠道智能客服、智能外呼、智能语音识别、智能语义标签等AI平台，极大地提升了业务系统的智能化水平、运营效率和用户满意度。与此同时，随着平台长期运行，系统产生了大量的历史客服对话数据。通过设计“机器学习算法+规则”的自动化处理流程，并组织具有专业知识背景的业务运营人员进行标注，公司积累了大量高质量的客服业务场景数据；再结合员工赋能平台的底层知识库和金融通用知识库，用作模型的微调数据。笔者从中抽取整理了10.2万条数据作为有监督的指令微调数据集，格式见表1所列。数 据 集旨在 通 过有监 督 微 调 等 技 术（例 如P-Tuning、LoRA等低成本、低资源的大模型微调技术），赋予已学会通用领域知识的预训练模型理栏目编辑：梁丽雯 E-mail:liven_2023年第9期5858Research|技术应用解证券行业意图的能力。此外，结合强化学习技术，ChatSEC大模型能够理解用户的指令以及背后的含义，生成符合业务偏好的内容。在ChatSEC语言模型中，提示（prompt）指用户的输入，用于发起对话或生成响应，包括：instruction（指令），即用户希望模型执行的特定任务；context，可以包含外部信息或额外的上下文，这些信息可以引导模型做出更好的响应；input，输入数据，即用户输入或是对指令的补充。提示并不需要以上所有组件，其格式取决于具体任务。模型使用输入提示作为输出响应的基础，要尽量使响应与用户的提示保持一致或相关。响应的质量和准确性取决于提示的质量、任务的复杂度、模型训练数据集的质量以及设置的超参数等。因此，有监督微调数据集是有效发挥模型能力的关键。（三）超参数设置如图1所示，在调用ChatSEC模型时，通过调整下面几个常用的超参数控制生成式模型输出结果的多样性和质量。1.Maximum_Length（最大长度）。用户可以通过修改Maximum_Length参数来控制生成文本的最大返回长度。在实际应用中，会根据任务类型设置不同的数值。2.Temperature（温度）。该超参数用来控制语言模型输出的随机性、创造性的程度，取值范围在0-1之间。将其设置为较低的值（如0.2）将导致输出更偏向固定、重复，而较高的值（如0.9）会导致输出更具多样性、发散性，理想值取决于具体任务和上下文。因此，需要通过实验来找到合适的取值。在证券行业具体应用中，笔者认为对基于行业知识事实的QA等任务使用较低的Temperature，以生成更稳定、简洁的回答；而对于研报、文案或其他创造性任务，提高Temperature可能更有帮助。3.Top_P（概率）。当使用语言模型生成文本时，通常会根据模型已学到的知识和当前上下文环境输出最可能（概率最高）的单词或词序列。ChatSEC实际使用的不是top_k采样，而是其改进版top_p采样，而top_p表示模型只考虑概率最高的top_p的词，取值范围在0-1之间，可以理解为是使用温度的另一种选择。top_p通常设置为比较高的值（如0.8），目的是限制低概率长尾词。应用中建议不要同时修改temperature和top_p。ChatSEC模型构建架构如图3所示。（四）典型场景实践在ChatGPT表现出惊艳效果的同时，金融行业也在积极探讨类似技术的落地业务场景和商业价值。基于自研成果ChatSEC模型，笔者开展了初步的探索与实践，下面列举几个典型场景。1.文本数据增强。金融领域内与特定任务相关的真实应用场景常常面临样本少的困境，即缺乏标注数据，以及数据分布不均衡导致模型鲁棒性差、模型性能不IDinstructioninputoutput1请解释卖空的概念“卖空”是一种投资策略，它涉及出售投资者目前并未拥有但已从另一投资者处借来的金融工具，如股票、债券或期权。其目的是在价格下跌时回购证券，从而.2为客户介绍三种潜在投资产品客户是一位风险偏中的个人投资者1.交易型开放式指数基金(ETF):是一种在交易所上市交易的、基金份额可变的开放式基金，由一篮子股票、债券等组成。2.股票:投资个别股票可以.3解释系统风险和非系统风险区别系统性风险是指与整个市场波动相联系的风险，它是由影响所有同类股票价格的因素.4请写一篇关于股市的文章股票市场是一种投资形式，投资者购买和出售公司的股票。一股公司的股票代表了所有权的一部分，可以在公开交易所上交易，为投资者.表1ChatSEC有监督指令微调数据集示例栏目编辑：梁丽雯 E-mail:liven_2023年第9期5959Research|技术应用佳的问题。单纯依靠人工标注数据费时费力，尤其在处理金融领域的问题时，还需要业务人员甚至金融分析师的参与才能实现相对准确的数据标注，这进一步增加了数据标注成本。数据增强技术作为一种低成本的杠杆，可以拓展更多的数据，使得AI模型在原始数据集的基础上进一步提升性能。随着NLP领域的大规模预训练模型取得突破性进展，相关技术被应用到数据增强任务中。笔者已通过充分的实验验证，通过ChatSEC生产更多高质量的标注数据，能有效提升公司智能客服系统中的客户意图识别、情绪识别等模块的效果。2.知识生产与管理。ChatSEC模型已经学习到了大量证券行业以及公司的业务知识，因此可以将其作为专业易用的员工知识生产与管理系统，帮助领域内的专家快速完成对服务产品的数字化管理，帮助企业内部对现有产品进行标准化梳理。ChatSEC能有效帮助一线员工记录零碎的业务知识，降低知识生产门槛，并根据客户需求有针对性地提供服务。借助AI手段，员工能及时发现新的业务机会，真正成为某个业务领域的实践专家。3.智能文案生成。ChatSEC可以生成符合用户偏好的文案，辅助人工写作。在文案生成任务中，目前较为成熟的方法有基于规则模板和基于深度模型两大类。ChatSEC的智能 对 话 场 景和文案生 成 场 景具 有诸多相似之处，其核心思想在于让模型生成内容是对齐人类偏好，而文案生成也有类似诉求。考虑到泛化性强、解耦专业知识的优势，笔者探索将ChatSEC模型用于解决可控文案生成问题。数据格式为：，即输入提示为用户提供的一系列结构化属性，模型生成具有此约束的文案。三、更多探索和局限性（一）更多场景探索1.客户服务。凭借ChatSEC天然的智能对话能力，顺理成章地将其应用于智能客服场景，与机器人、数字人等先进技术相结合，打造虚拟数字员工形象。通过融入公司特定知识库来加强定制化训练，不断提升金融场景下的语义理解、对话管理、专业服务等能力，从而提升问题回答的准确性、专业性，全方面提升用户体验，并进一步降低人工客服运营成本。2.财富管理。助力证券行业财富管理数字化转型。一方面，通过人机交互的方式，深度挖掘客户的金融认知、风险偏好、产品偏好、交易模式等个性化特征，再结合客户基本信息、持仓交易等数据，持续完善客户画像，做到真正“懂客户”；另一方面，可服务于投资者教育，借助类ChatGPT模型强大的知识储备和语图3中信建投证券自研ChatSEC模型构建架构栏目编辑：梁丽雯 E-mail:liven_2023年第9期6060Research|技术应用言理解能力，加强对客户全方位财富理念的教育，向不同偏好的客户推送精准个性化的深度内容。3.金融投研。在持续提升券商的投研能力方面，类ChatGPT可用于研报内容创作，通过向模型输入市场走向、行业趋势、财务数据等，模型理解之后生成内容丰富、规范可读的文本，辅助研究员进行研报撰写等工作。此外，可用作买方投研与传导，买方投研以客户需求为驱动