智能文本生成：进展与挑战_万小军.pdf

99STUDY 研究智能文本生成：进展与挑战万小军北京大学王选计算机研究所，北京 100080摘要智能文本生成是人工智能与自然语言处理领域的前沿研究方向，也是AI生成内容（AIGC）的关键技术支撑，能够大幅提升文本内容的生成效率，近年受到学术界和产业界的高度关注，在媒体出版、电子商务等多个行业与场景均已得到应用。对智能文本生成的应用现状与主要方式进行系统概述，重点介绍基于深度学习的智能文本生成技术，同时阐述现有技术面临的挑战。关键词智能文本生成；自然语言生成；机器写作；自然语言处理中图分类号：TP39 文献标志码：A doi:10.11959/j.issn.2096-0271.2023014Intelligent text generation:recent advances and challengesAbstractIntelligent text generation is one of the advanced research directions in the fields of artificial intelligence and natural language processing.It is one of key technologies for making AIGC successful,and it has been highly concerned by both academia and industry in recent years.The technology has been deployed and used in many application areas including media publishing and e-commerce,and it can much improve the efficiency of text content production.The systematic overview of the applications of intelligent text generation and the mainstream ways of text generation were given.And the recent deep learning techniques for text generation were introduced.Lastly,the challenges faced by neural text generation were summarized.Key wordsintelligent text generation,natural language generation,machine writing,natural language processingWAN XiaojunWangxuan Institute of Computer Technology,Peking University,Beijing 100080,China2023014-1BIG DATA RESEARCH 大数据1000 引言随着深度学习技术的发展和应用，AI生成内容（AI-generated content，AIGC）的能力得到显著提升。文本、图像、视频、音频等内容的自动生成已成为人工智能领域的热门研究方向，同时也备受产业界的关注，在各行各业均具有重要的应用价值。语言文字是人类最重要的交流工具和思想文化载体，实现语言智能是人工智能走向成熟的重要标志，智能文本生成则是语言智能的关键支撑技术。智能文本生成又称自然语言生成或机器写作，其目的是根据给定的输入数据（如报表数据、视觉信息、意义表示、文本素材等）自动生成高质量的不同类型的自然语言语句或篇章（如标题、摘要、新闻、故事、诗歌、评论、广告等）。对于自动生成的文本，一般要求可读性好，同时内容准确可靠。需要指出的是，由于语言表达的多样性，文本生成的结果通常是不唯一的，特别是对于开放式文本生成任务（如文本复述、故事生成等）而言，同一输入生成的输出可以有成百上千种可能。举例来说，对于文本复述任务而言，针对输入语句“梅西是足坛的GOAT”，该语句可以被改写为“梅西是足坛历史最佳”，或者“足坛历史第一人是梅西”，或者“梅西的成就超越了足坛所有其他球员”，等等。文本生成的困难之处主要有两点。一是搜索空间巨大。文本自动生成可以看作一个搜索问题，对于长度为L的文本（即文本包含L个词），假设词表大小为W（即共有W个词语），考虑到文本的每个位置都可以从W个词语中任选一个词语进行填充，那么总共有WL种可能的组合。W通常很大（一般为几万到几十万的规模），因此这个搜索空间巨大，这给文本生成算法带来了严重挑战。二是文本质量难以客观评价。尽管我们能够主观判断一个语句或一篇文章的优劣，但是很难找到一个自动评价指标对文本质量进行客观、准确的评估。目前业界使用的基于N元词重叠程度的评价指标（如BLEU、ROUGE等）与模型驱动的评价指标（如BERTScore、BARTScore等）均难以可靠地评价文本质量（特别是开放式文本生成任务及长文本生成任务），导致文本生成任务的优化目标难以准确定义和形式化，现有的基于最大似然的优化目标与文本生成的总体质量目标之间存在相当大的差异，这也是现有文本生成模型一个不可忽视的缺陷。本文后续章节将对智能文本生成的应用现状、主要方式进行概述，重点介绍基于深度学习的智能文本生成技术，同时指出智能文本生成技术面临的挑战，最后进行总结与展望。1 智能文本生成的应用现状近几年智能文本生成技术有了突破性发展，各类智能写作需求广泛崛起，智能文本生成应用呈现出行业广、场景多、需求大等特点。智能文本生成已经在媒体出版、电子商务、人机交互、电子政务、智慧 教育、智慧医疗、智慧司法 等多个行业和领域得到了落地应用。国内外数十家单位和企业（如OpenAI、ARRIA、AutomatedInsights、NarrativeScience、Google、Microsoft、阿里、百度、腾讯、京东等）将文本生成能力作为核心竞争力之一，已相继推出各类文本内容生成工具与服务，能够自动化生产或辅助人工生产各类文本内容（包括新闻、财报、考虑到绝大部分文本生成任务与应用属于有条件文本生成范畴，本文只关注有条件文本生成，而忽略无条件 文 本 生 成（根据随机噪声生成文本）。2023014-2101STUDY 研究天气预报、文摘、会议纪要、综述、公文、产品说明、广告文案、对话回复、评论等），大幅提升了内容生产效率和覆盖率。特别是在OpenAI推出ChatGPT之后，业界对文本生成模型的强大能力有了更深刻的认识，因而对智能写作技术的应用有了更大的想象空间，例如辅助写论文、发言稿、小说等。下面以媒体出版和电子商务两个典型领域为例具体介绍智能文本生成技术的应用情况。媒体出版是智能文本生成最重要和最典型的应用领域。首先，许多传统媒体单位（如报社）逐步采用智能文本生成技术进行新闻稿件的自动或辅助创作，主要面向结构和表达相对简单的天气预报、赛事简讯、财经简讯等新闻类型，同时为新闻自动生成标题、摘要等，方便读者快速浏览新闻内容。例如，美联社自2014年7月开始采用新闻写作软件自动撰写新闻稿件报道公司业绩，大大降低了记者的工作量。2019年，笔者与科学网进行了面向科技新闻类型文本生成的全新尝试与合作，研制推出了小柯写作机器人。小柯是一个跨语言科技新闻生成系统，能够基于机器翻译和文本摘要技术自动根据英文学术论文生成简短的中文科技新闻。目前小柯机器人已覆盖物理科学、地球科学、生命科学、化学科学4个学科，撰写科技新闻1万多篇，总阅读量超过1 000万次。考虑到科学网的专业性和严肃性，所有自动生成的稿件在发布前均需编辑进行人工审核。其次，互联网上出现越来越多的新媒体平台，为广大网民提供新闻资讯服务，这类平台通常采用信息推荐技术将不同话题的新闻推荐给不同用户，从而增强用户对平台的黏性和忠诚度，提高平台流量。由于新媒体平台的用户数量庞大，用户感兴趣的话题也不尽相同，因此对新闻稿件的需求量也会很大，采用人工编辑撰写新闻的传统方式已无法满足用户需求，亟须采用智能文本生成技术批量生产大量新闻稿件并进行分发。可以看到，目前很多新媒体、自媒体平台上均有大量新闻由算法生成，覆盖民生、娱乐、体育、财经、社会等各领域。考虑到新媒体用户对新闻质量的容忍度较高，自动生成的新闻通常不需要人工审核即可发布。例如，2016年里约热内卢奥运会期间，笔者与字节跳动合作研制了小明写作机器人，该款机器人主要撰写体育赛事新闻，是业界首款既能创作简讯又能创作长篇报道的写作机器人。其中体育赛事简讯基于体育赛事数据自动生成，长篇报道则基于体育直播文字进行智能筛选与组合而成。小明机器人撰写的体育新闻自动发布到今日头条平台，服务亿万用户。此外，部分出版社尝试利用智能文本生成技术进行书籍的自动编写，目前主要用于编写与科技进展介绍相关的书籍。例如，2019年施普林格出版社与德国法兰克福大学合作，开发算法自动编写了一本介绍锂离子电池最新研究进展的书籍，该算法主要对该学科大量现有的学术论文进行聚类和摘要自动生成。智能文本生成技术能够驱动媒体出版行业的流程变革，节约人力和成本，而随着智能文本生成技术的快速发展，写作机器人将有能力撰写结构更复杂、更有深度的新闻稿件，进一步扩大应用范围。电子商务是智能文本生成另一个应用比较成熟的领域。首先，主流电商网站（如京东、淘宝）会定期上线大量的全新商品，这些商品通常需要对应的标题及描述，从而方便用户浏览和购买。考虑到商品数量巨大，人工撰写的成本会很高，而且效率低下，因此主流电商网站通常会采用智能文本生成技术基于商品的基本参数进行商品标题和描述的自动撰写。目前电商网站上的商品标题和描述大多是通过算法自动生成的，一般具有较高的质量。其次，电商 小明机器人的写稿类型后续进一步拓展到财经新闻，并且覆盖 10 多种语言。2023014-3BIG DATA RESEARCH 大数据102网站为了应对用户在购物、售后等方面的交流需求，通常会部署智能客服系统回复用户的问题。智能客服系统需要精准理解用户意图，并利用文本生成技术生成相应的回复文本。同时，部分电商网站会基于对话摘要技术对客服与用户的对话交流进行总结，生成简短的摘要。最后，为了对商品和服务进行推广和营销，很多商家会采用智能文本生成技术自动为商品生成广告和营销类文本，然后发布到众多媒体平台，吸引用户的注意，从而提升商品销量。可以看到，智能文本生成技术已渗透、应用到电子商务的众多流程环节，成为电子商务发展的助推器。在智能文本生成技术的应用过程中，需要甄别真需求，避免伪需求。真需求即高频率的写作需求，伪需求则是低频率的写作需求。某些场景下年均只需要撰写少数几篇稿件，这种写作需求并不需要采用智能文本生成技术来应对，因为智能写作系统带来的效益会低于开发智能写作系统的投入。在甄别出真实的智能写作需求之后，智能写作系统的开发方通常需要与应用方进行深入沟通和合作，因为智能写作系统的成功离不开应用方的数据和经验。此外，目前智能写作的技术水平与若干智能写作应用需求之间存在较大的差距，也就是说，目前的智能文本生成技术无法满足若干复杂的智能写作需求，例如，自动撰写爆款网络小说、自动撰写长篇科普文章等。2 智能文本生成的主要方式从文本生成输入和输出之间的关系出发，本文将智能文本生成的主要实现方式归为以下3类。其一，基于文本扩写的智能文本生成。文本扩写即文本从无到有，或者从少到多，该方式以非文本信息或少量文字信息为输入进行文本生成。基于数据的文本生成（Data2Text）、基于AMR的文本生成（AMR2Text）、基于视觉的文本生成（Visual2Text，主要包括图像描述生成和视频描述生成）、故事/作文生成（基于标题或关键词的篇章生成）等属于文本扩写方式。该方式的特点是输出文本中的大量或全部文字需要由算法模型进行补充或创作。其二，基于文本缩写的智能文本