腾讯-2019人工智能时代数字内容治理的机遇与挑战-2019.9-24页.pdf

腾讯安全战略研究中心Tencent Security and Strategy Research Center腾讯安全战略研究中心Tencent Security and Strategy Research Center人工智能时代数字内容治理的机遇与挑战 本报告版权属于出品方共同所有，并受法律保护。转载、摘编或利用其它方式使用报告文字或者观点的，应注明来源。违反上述声明者，本单位将追究其相关法律责任。版权声明 01 出品方：腾讯安全战略研究中心 上海赛博网络安全产业创新研究院总顾问：马 利 中国互联网发展基金会理事长 谢 呼 腾讯公司副总裁报告编写组：韩李云 腾讯安全战略研究中心高级研究员 赵玉现 腾讯安全战略研究中心高级研究员 刘巧霞 腾讯安全战略研究中心高级研究员 唐巧盈 上海赛博网络安全产业创新研究院高级研究员 石英村 上海赛博网络安全产业创新研究院研究员咨询专家:惠志斌 上海社会科学院互联网研究中心主任 戴丽娜 上海社会科学院新闻研究所副所长 田 丽 北京大学互联网发展研究中心主任 王 蔚 上海社会科学院新闻研究所新媒体研究中心主任 方师师 上海社会科学院新闻研究所互联网治理研究中心主任 周 斌 腾讯产业安全平台部总监 鞠 奇 腾讯信息安全部技术总监 刘 鑫 腾讯安全管理部高级专家 钟广君 腾讯微信安全风控副总监 曹建峰 腾讯研究院法律研究中心高级研究员 樊晓芳 机器之心产业服务负责人 李 雯 机器之心智慧文娱产业分析师 本报告中技术应用和案例部分得到腾讯公司安全管理部、信息安全部、微信安全风控中心、腾讯安全联合实验室、优图实验室、腾讯安全天御团队、守护者计划安全团队、安全标准团队、网络安全与犯罪基地等多个安全团队的鼎力支持，特别鸣谢赵文俊、王京婕、杨晓光、王永霞、杨晶、左书臣、姚晓波、王翔、郭佳楠、康晓辉等诸位专家、研究员对本报告编写给予的宝贵建议。02 腾讯安全战略研究中心Tencent Security and Strategy Research Center目 录前言 1 人工智能时代数字内容产业繁荣发展 1.1 人工智能时代 1.1.1 新兴技术集合驱动人工智能普及落地 1.1.2 政策引导促进人工智能产业融合应用 1.2 人工智能时代数字内容产业发展概况 1.2.1 技术持续演进推动数字内容产业业态变革 1.2.2 人工智能时代数字内容产业规模庞大、向垂直领域纵深 1.3 人工智能时代数字内容产业新趋势 1.3.1 内容生产：“人-机”协同生产模式将进一步解放生产力 1.3.2 内容传播：算法精准推荐占据信息流分发主导地位 1.3.3 内容消费：沉浸式体验与交互式反馈提供个性化选择 1.3.4 内容载体：万物皆媒环境中数字内容嵌入各行业场景 1.3.5 内容质量：“内容为王”成为数字内容产业核心竞争力 1.3.6 内容安全：各类治理难题凸显下机遇与挑战长期并存 2 人工智能时代数字内容治理面临的挑战 2.1 数字内容极大丰富，内容审核能力不足矛盾凸显 2.2“算法偏见”与“算法黑箱”影响数字内容公正性，技术攻关存难度 2.3 内容造假滋生灰色产业，深度伪造威胁国家社会稳定 2.4 智能化内容生产权责归属困难，版权保护亟待健全法规体系 2.5“信息茧房”循环强化，或引发网络社群“部落化”“极群化”2.6 无序数据挖掘泄露个人隐私，跃升数字内容治理突出问题 2.7 信息资源竞争催生新数字鸿沟，将成数字内容治理新难题 3 人工智能时代数字内容治理的政策与举措 3.1 美国：重点治理内容造假，多手段规制算法 3.2 欧盟：多方应对歧视言论，强调伦理与隐私 3.3 英国：重视技术赋能作用，鼓励企业自律 3.4 新加坡：加强媒体内容治理，战略布局产业 3.5 日本：关注算法公平，探索知识产权保护 3.6 中国：侧重垂直行业监管，探索应对新兴问题 3.7 小结 05 06060607070809101111111212131414151618191919212122242526262830 3030303232323333343535353636363737383940404041414141424343444 人工智能时代数字内容治理的企业实践与探索 4.1 内容审核 4.1.1 安全风险 4.1.2 AI+4.2 事实核查 4.2.1 安全风险 4.2.2 AI+4.3 版权保护 4.3.1 安全风险 4.3.2 AI+4.4 打击诈骗 4.4.1 安全风险 4.4.2 AI+4.5 舆情监测 4.5.1 安全风险 4.5.2 AI+4.6 破除信息茧房 4.6.1 安全风险 4.6.2 AI+4.7 小结 5 总结与展望 5.1 总结 5.2 展望 5.2.1 人工智能技术将继续促进数字内容产业繁荣发展 5.2.2 人工智能时代下数字内容机遇与挑战将长期并存 5.2.3 综合统筹社会协同，形成数字内容治理良好环境 5.2.4 大力推动国际合作，构建数字内容治理国际机制 5.2.5 探索创新应用落地，形成“人-机”良好协同路径 6 附录 6.1 近年来主要国家和地区人工智能战略或政策文件列表 6.2 各主要国家和地区关于数字内容产业界定 03 腾讯安全战略研究中心Tencent Security and Strategy Research Center 04 1.1 人工智能时代 人工智能（Artificial Intelligence，AI）概念自提出以来，经历了长期而又波折的算法演进和应用检验。直至5G、大数据、云计算、物联网等新一代信息技术的飞速发展，人工智能得到了超强算力、优质算法、海量数据和广泛连接的支持，逐渐演化为融合信息技术、机械、生物等一系列现代科学技术的集成体系，成为推动经济社会发展的新引擎。近年来，美国、中国、欧盟、日本、新加坡、印度等主要国家和地区不断加强战略布局，大力推动人工智能技术在各行业的普及应用。一个集聚庞大的数据流、信息流、技术流和基于万物互联、跨界融合、人机共生的人工智能时代已经到来。1 人工智能时代数字内容产业繁荣发展 1.1.1 新兴技术集合驱动人工智能普及落地 自1950年阿兰图灵（Alan Turing）预言智能机器的出现并提出判断标准以来，人工智能六十多年的发展和突破多集中于概念和科研领域。2016年，以围棋机器人“AlphaGo”战胜世界顶尖围棋选手李世石为标志，人工智能在产业落地和商业应用上呈现出爆发式发展，广泛应用于汽车、医疗、金融、家居、教育等各垂直行业，人工智能时代正式拉开帷幕。强大的算力、精进的算法、海量的数据和广泛的连接是人工智能技术转化落地的主要驱动力。算力层面，云计算架构的广泛部署和硬件芯片水平的提升，极大减少了人工智能模型计算的时间和成本；算法层面，以深度学习为代表的基于大量数据分析和自我训练的机器学习模型日益成熟，成为人工智能最重要的技术方向；数据层面，5G为代表的新一代通讯技术将创造更加海量的异构数据，大幅提升传输速度，大数据技术的不断优化，能够将海量数据充分转化成人工智能可用训练数据的效能；连接层面，物联网极大地拓展了互联网连接广域和深度，重塑现实与网络关系，人工智能技术将更加深刻地影响人类社会。以数字内容发展为例，基于专家系统（Expert System，ES）的“媒体大脑”等应用，能够对海量异构数据进行高效的预处理和标准化管理，管理内容资源库，充分挖掘内容素材和文化创意；自然语言处理（Natural Language Processing，NLP）和计算机视觉（Computer Vision，CV）能够完成对各种形式和场景下数字内容含义的辨识理解，实现内容的精准匹配和个性化定制；机器学习（Machine Learning，ML）技术在对内容主体进行要素画像和标签设定方面表现突出，使得数字内容能够突破媒介限制，充分延伸到消费者和其他产业。前言 人工智能作为一项具备颠覆性变革潜力的使能技术，引领着新一代信息技术的集合发展，助力传统行业升级，也创造着新的业态。本报告用“人工智能”来命名互联网新启时代，以体现其新科技生产力的本质。在这一时代背景下，蓬勃发展的数字内容产业是前沿科技与创意文化高度融合的产物，天然兼具科技与文化两种属性，是互联网时代人类文化的主要载体和社交传播的内核，甚至凝聚各个共同体的理念价值,将创造新的个体精神世界。人工智能与数字内容发展相辅相成，人工智能促进了数字内容产业迭代演进，数字内容产业也成为人工智能技术发挥其作用的主要场景之一，甚至成为信息技术研发应用的重要导向。然而，任何新技术的变革必然伴生着风险，出现一些始料未及的问题，但同时也存在新的机遇。本报告重点研判人工智能时代数字内容产业在内容生产、传播、消费、载体、质量、安全等六方面的发展新趋势，剖析新形势下数字内容治理正在或即将面临的内容爆炸、算法弊端、内容造假、版权保护、信息茧房、隐私泄露、数字鸿沟七类风险问题，梳理总结美、欧、英、日、新、中六个主要国家和地区围绕人工智能时代数字内容治理的政策创新。最后，报告从安全应用的视角重点考察国内外业界应用人工智能促进数字内容治理的技术落地与产业实践，相关案例涵盖了内容审核、事实核查、版权保护、打击诈骗、舆情监测、破除信息茧房等多种场景。基于此，报告认为数字内容治理应成为鼓励和推动人工智能技术应用与产业发展的重要领域，并提出前瞻性建议，以期各方能够成功应对挑战，把握人工智能时代数字内容治理的机遇。腾讯安全战略研究中心Tencent Security and Strategy Research Center 05 06 本报告所探讨的数字内容及其产业，是指依托各类数字化信息技术、数字基础设施和数字化网络平台，向用户提供数字化图像、字符、影像、语音等形式载体的内容信息、产品与服务，并由此形成的新兴产业集群。其核心特点表现为文化内容创意与数字化信息技术高度融合，产品/服务以多种内容载体形式呈现，基于各类数字化平台广泛传播，并不断延伸到其他垂直行业。概念所指既涉及到数字出版、数字广播、数字电视、数字电影、数字音乐、数字动漫、数字游戏等多个细分行业，也关联到数字内容产品与服务的生产（UGC、PGC等）、研发、经营、传输、技术支持等产业综合体的多项复杂环节。国际广电和媒体技术供应商贸易协会（IABM）最新的用户调查数据显示，全球数字内容产业中仅有8%的企业部署并使用了人工智能技术应用，处于技术应用曲线的起点，但是人工智能对于数字内容产业的影响和促进作用已不容忽视并且前景可观。随着人工智能时代的推进，AI、5G、大数据、云计算、物联网等各类新技术交织融合，新应用突破发展，以全程媒体、全息媒体、全员媒体、全效媒体 为代表的全媒体将崛起发展。未来，万物互联、万物皆媒，万物成为数字内容的载体和出口，数字内容产业必将产生巨大变化。1.2.1 技术持续演进推动数字内容产业业态变革 以阿帕网建立为标志开启的早期互联网时代（1969-20世纪90年代），数字技术以大型计算机为核心，数字内容的主要载体形态有限，电视新闻、电影、广播音频、单机游戏等是这一阶段数字内容产业形态的主要构成。在PC互联网时代（20世纪90年代-2008年），特别是WEB2.0革新和一系列门户网站、论坛等的建立推动数字内容实现了质的升级和量的拓宽。人们通过门户网站与搜索链接来阅读新闻、欣赏电影、聆听音乐等，依托论坛、博客等开放性网络介质生产用户的原创数字内容。移动互联网时代（2008年以来），3G、4G信息基础设施迭代升级，Apple Inc、Google等公司推出智能手机与应用市场，为社交网络、手机游戏、网络音视频等数字内容产品的蓬勃发展奠定了良好的软硬件基础，数字内容产业的消费者与生产者边界不在。IABM：The future is artificial:AI adoption in broadcast and media EB/OL.https:/www.ibc.org/tech-advances/the-future-is-artificial-ai-adoption-in-broadcast-and-media/2549.article.习近平：推动媒体融合向纵深发展 巩固全党全国人民共同思想基础EB/OL.http:/ intelligence is the future of growthEB/OL.https:/ 1.1.2 政策引导促进人工智能产业融合应用 2017年，我国相继发布新一代人工智能发展规划促进新一代人工智能产业发展三年行动计划(2018-2020年)，制定了到2030年我国人工智能“三步走”的战略目标。2018年，中共中央总书记习近平在中共中央政治局第九次集体学习时进一步强调，人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的“头雁”效应。国际咨询公司埃森哲研究了人工智能在12个发达经济体产生的影响，预测到2035年，人工智能对经济总量增加值的额外贡献最高接近40%，可使年度经济增长率提高一倍，并有潜力将中国的劳动力生产率提升27%，以及推动中国经济预期增长率提升1.6%。当前，世界各国正在紧锣密鼓地布局其人工智能战略，推进人工智能产业融合应用。据不完全统计，2016年以来各主要国家和地区发布的人工智能战略或政策文件超过40份（见附录表1）。各国政策共性表现为，一是加大人工智能产业政策扶持和创新平台建设力度，竞相争夺全球人工智能市场与人才，加快人工智能的应用化、产业化与融合化，产生显著融合反应的产业之一就是数字内容产业；二是关注人工智能伦理和安全问题，积极探索应对之法。1.2 人工智能时代数字内容产业发展概况 数字内容（Digital Content），是指以数字形式产生、存储、流通且具备一定意义的信息存在，包括文本、图像、影音等各种载体。由此，数字内容产业（Digital Content Industry）就是指以提供数字内容产品或服务的产业门类。目前，国际上尚无数字内容产业的通用定义，我国国民经济分类中亦没有单独划分出数字内容产业，其分散包含在“电信和其他信息传输服务业”“新闻出版业”“广播、电视、电影和音像业”“文化艺术业”等相关行业中。我国于2006年首次在国家文件国民经济和社会发展第十一个五年规划纲要中使用“数字内容产业”的概念。2016年12月，国务院颁布了“十三五”国家战略性新兴产业发展规划，将数字创意产业纳入五大新型支柱产业。12腾讯安全战略研究中心Tencent Security and Strategy Research Center 0708 随着人工智能时代（2016年以来）的到来，终端不断升级，能提供更加便利的移动网络接入，任何智能设备都有可能成为信源或信息终端，即将迎来万物皆媒的新传播景象。信息的及时性、创新性和多态性在新技术的加持下得到增强，写作机器人、虚拟主播出现在日常新闻内容中，以AR、VR为代表的虚拟现实、增强现实技术成为新兴的内容业态而且新技术应用门槛和成本的降低将极大助推用户生成内容（UGC）的激增，加之云技术泛化和5G商用普及的步伐加快，数字内容的生成和传播触手可及，无处不在，这些又将刺激人们对数字内容精准化和个性化服务的消费热情，最终回归到对人工智能创造崭新精神文明的期许上。表1 互联网时代与人工智能时代数字内容产业比较 1.2.2 人工智能时代数字内容产业规模庞大、向垂直领域纵深 人工智能时代，数字内容产业规模获得突破性发展。新兴技术与先进网络基础设施为数字内容应用与服务提供了创新扩容支持。美国标普公司的报告显示，全球数字内容产业的直接总产值在2018年达到1896亿美元，预计到2025年底将达到3438亿美元。我国国家统计局数据显示，2017年，以“互联网+”为主要形式的文化信息传输服务业营业收入7990亿元，增长34.6%。另据我国工信部统计，2017年我国以IP为核心的网络文学、动漫、影视、游戏和音乐等泛娱乐产业约为5484亿元，同比增长32%，占数字经济的比重超过20%。综上可见，数字内容产业规模增速极快，涉及的相关行业众多，是数字经济的核心组成部分，涉及到科技转化、国民就业、产业结构等国家经济重要领域，也是全球贸易中主要的文化产品服务类型。Global Digital Content Market Size,Status and Forecast 2018-2025 EB/OL.https:/ 、搜索引擎移动客户端、社交媒体AI+场景应用信息/数字内容主要特点信息单向、单点传播，开启人-网连接信息单向、多点传播，信息获取渠道拓宽，开启人-网络-人连接信息多向、多点传播，互联网成为平台，开启人-平台-人连接。信息多向、多点、多屏、实时传播，开启万物互联，趋向跨界融合、人机共生。数字内容产业主要形态电视新闻、广播、单机游戏等以pc端为主的门户新闻、PC游戏等基于移动端的移动新闻、手机游戏、移动音/视频、问答社区、社交应用等云+屏幕、万物皆媒下的短视频、AI直播、VR、AR、自动化生成内容等表2 2017.12-2018.12 我国网民使用率最高的TOP10互联网应用10 人工智能时代，数字内容细分领域呈现蓬勃发展态势。互联网用户规模特别是移动用户的快速増长为数字内容产业的发展提供了核心动力，催生了短视频、AI直播、VR、AR等新兴业态，以及基于算法推荐的个性化信息服务商业模式，共同促进数字内容产业繁荣发展。从用户规模看，我国网民使用率最高的TOP10互联网应用中，80%以上的应用与数字内容产业直接相关，平均用户规模超过6亿。从具体行业看，网络视频、网络游戏已成为数字内容产业中的热点领域；社交媒体继续保有数字内容产业产值和用户数量领先的地位；短视频、网络直播和垂直知识平台增长迅猛，投资火热；数字音乐市场快速增长，全球付费订阅音乐服务的营收也增长到了34.98亿美元；虚拟现实和增强现实（VR/AR）技术改变了数字内容产业的产品形态和传播方式，在新闻、旅游、娱乐等领域纷纷落地应用。892017.122017.122018.122018.12应用即时通讯搜索引擎网络新闻网络视频网络购物网上支付网络音乐网络游戏网络文学网上银行用户规模（万人）72023639566468957892533325311054809441613777439911网民使用率93.30%82.80%83.80%75.00%69.10%68.80%71.00%57.20%48.90%51.70%年增长率9.90%6.50%4.30%5.70%14.40%13.00%5.00%9.60%14.40%5.20%用户规模（万人）79172681326747361201610116004057560483844320141980网民使用率95.60%82.20%81.40%73.90%73.60%72.50%69.50%58.40%52.10%50.70%1.3 人工智能时代数字内容产业新趋势 数字内容产业整体发展趋势体现为纵向延伸、垂直整合、跨界布局、生态融合，行业边界逐渐消弭，数字内容产业不断分化新的社会化分工，孵化出一个新的产业价值体系，在内容生产、传播、消费、载体、质量、安全等各环节或方面都呈现出新的趋势。CNNIC.第43次中国互联网发展报告EB/OL.http:/ Research公布的一份调查报告.数据来自CNNIC的第43次中国互联网发展报告.叶蓁蓁：人工智能催生“内容科技”EB/OL.http:/ Security and Strategy Research Center 09 10 美国纽约时报的Blossom、路透社的OpenCalais、英国卫报的Open001、新华社的“媒体大脑”都是算法用于新闻生产的典型应用。其中，“媒体大脑”是由新华智云自主研发的国内首个媒体人工智能平台，为媒体机构提供线索发现、素材采集、编辑生产、分发传播、反馈监测等服务，其业务流程囊括线上线下业务环节，记者则在业务各关键节点做出价值判断和决策，形成“人机”协调的智能生产模式。1.3.2 内容传播：算法精准推荐占据信息流分发主导地位 算法能够实现分类、过滤、搜索、优先、推荐、判定等功能，可根据用户的属性、行为、偏好等个性化特征和大数据画像进行数字内容聚合和精准推荐，快速匹配信息与人，实现“信息找人”“千人千面”。比如，智能机器人可以用于跨语言、跨业态的沟通和搜索信息，情感识别技术可帮助改变僵硬固化的标签设置，使定推更加感性和灵活，等等。根据 CNNIC 发布的2016年中国互联网新闻市场研究报告数据显示，算法分发逐渐超越编辑分发，成为网络新闻主要的分发方式。随着人工智能技术的进一步成熟运用，这种模式的主导性地位将愈发明显。1.3.3 内容消费：沉浸式体验与交互式反馈提供个性化选择 人工智能时代的人们对于精细分工和个性化服务的需求大幅增长，用户将在数字内容消费中扮演更为主动的角色，泛娱乐业与媒体行业势必为满足用户日益增长的多元信息需求而纷纷大显神通。预计未来五年，全球个性化支出平均每年增长4.3，2023年创造的收入将达到2.6万亿美元。CNNIC.2016 年中国互联网新闻市场研究报告EB.OL.http:/ personal-putting the me in entertainment EB.OL.https:/ 1.3.1 内容生产：“人-机”协同生产模式将进一步解放生产力 内容生产的决策和流程日趋智能化。数字内容生产正在形成一种互补性的“人机协同”关系，机器将替代信息挖掘、数据检索、媒体资源管理等基础性机械劳动，进一步得到劳动力解放的人类将更能在文化创意革新中发挥更大优势。正如近年来新闻写作机器人正在成为数字新闻智能生产的应用方向。1.3.4 内容载体：万物皆媒环境中数字内容嵌入各行业场景 新技术普及应用将带来巨大的数据量和广泛的连接终端，人工智能保证了海量异构数据的高效和有效转化。万物互联、万物皆媒的未来，金融、家居、汽车、教育、医疗等各类场景均正在或将成为数字内容新的载体、传播渠道和信息终端，数字内容产业正在发展成与其他各类产业深度融合的横向结合体，未来的数字世界里，“只要有屏，就有数字内容产业”。如AI+直播领域，“克拉克拉”直播平台结合表情驱动算法和原生3D技术在移动端推出“捏脸”直播、虚拟形象定制等服务；而在AI+游戏领域，法国游戏公司Ubisoft不仅开发了智能AI游戏助手Sam，能为玩家在角色互动、游戏攻略等方面提供帮助，还通过人工智能技术在游戏中虚拟建构巴黎圣母院场景，甚至能为其损毁后的现实复原提供支持。此外，人工智能在知识产权保护、数字营销、广告宣传等各领域均有结合应用，极大地拓展了数字内容的外延。1.3.5 内容质量：“内容为王”成为数字内容产业核心竞争力 用户面对爆炸式增长的海量信息难免无从甄别，各类软文广告、虚假新闻和不良信息不断侵害用户的时间线；数字内容的生产者与用户间的界限日渐模糊为治理带来更多复杂性和不确定性；基于人工智能的智能生产和精准匹配仍存很大提高空间，多种因素导致当下数字内容质量良莠不齐。数字内容消费反馈的实时性随之增强，生产者与用户间信息交互无处不在。交互将成为数字内容产业的基本要素，人工智能文本和音频转换、自动翻译等技术的精进可帮助用户与内容生产者、用户与用户间的互动体验更上层楼。用户将拥有更多机会并具备能力更深层地参与到数字内容的文化创意、内容生产过程中，单向的信息流动链条将转变为充分交互的内容社区。数字内容产业形式将从音频、视频向更具真实性的场景沉浸式体验融合发展。具体来看，内容消费将不仅限于传统的文本、图片、音乐、视频形式，VR、AR、MR、立体影像、智能音响等搭载智能交互功能后形成的沉浸式体验产品/服务，将成为数字内容产业未来融合发展的主要业态，预测将在游戏、社交、影音、教育行业大放异彩。腾讯安全战略研究中心Tencent Security and Strategy Research Center 11 12 1.3.6 内容安全：各类治理难题凸显下机遇与挑战长期并存 以人工智能为代表的新兴技术集合不断推动数字内容产业的繁荣发展的同时，也带来了一系列治理挑战。一方面，固有顽疾与新生挑战交织，风险复杂泛化，传统监管模式滞后于产业新业态，各类风险不断冲击着现有法律政策体系和公众道德认知，很大程度制约了数字内容产业的优质发展。另一方面，风险挑战本身亦是安全应用的广阔发展前景，对人工智能技术本身的优化，以及对其在治理各环节应用的积极探索，能够为治理机制的完善提供技术支撑，保障数字内容产业健康高质量发展。数据来源：搜狐科技，http:/ rise:https:/ 在此背景下，人们的消费数字内容的核心需求将升级为对优质内容的深度体验，更具创意的成熟内容以及更为合理的商业模式，成为未来数字内容产业的核心竞争力。正如全球范围内以知乎、Quora为代表的知识性平台正迅猛发展，知识消费也在不断增长，知乎2018上半年商业广告营收额相比去年同期增长340%,注册用户数量年增长达到95.12%，知乎大学的付费人次达到600万，而Quora平台在2017年完成D轮8500万美元融资后，估值达到18亿美金，2018年9月平均每月用户突破3亿。15142 人工智能时代数字内容治理面临的挑战 人工智能助推数字内容产业颠覆性发展，难免伴随着现有治理模式及监管体系与新业态的不匹配：既存在现行治理手段滞后带来的治理失效和力不从心，也体现为数字内容治理问题与其他社会问题及风险的交织泛化，具体包括内容爆炸、算法风险、内容造假、版权保护、信息茧房、隐私泄露、数字鸿沟等各类技术问题、信息问题和社会问题。2.1 数字内容极大丰富，内容审核能力不足矛盾凸显 人工智能技术极大地促进数字内容产业的繁荣。据不完全统计，截止2018年，每天约有2.5万亿字节的数据被创建，过去两年里生成的数据占到了全球总数据的90%。预计到 2022年，全球互联网流量将达到每秒 7.2 PB，未来数字内容必将继续呈指数级增长。Facebook每天上传的照片超过3亿张，每分钟发布51万条评论，30万条新状态；Instagram每天分享的照片和视频量达到9500万次；2018微信年度数据报告显示2018年，微信每月有10.82亿用户保持活跃，每天有450亿次信息发送出去，每天有4.1亿音视频呼叫成功；2017年头条号账号总数超120万，平均每天发布50万条内容，创造内容消费达48亿次。以每个账号每天投稿5条内容保守估计，仅头条每天的投稿内容就高达600万条。然而，面对庞大的数字内容洪流和各国日趋严格的内容审核政策，试图依靠传统审核模式实现内容含义的准确判断并及时应对信息爆炸引发的各类问题，越发捉襟见肘。内容审核能力不足的问题将会更加凸显，集中表现为人工审核难以应对海量负面信息和算法审核机制尚不完善。内容审核因工作量繁重，工资偏低，海量负面内容轰炸以及高准确率的内容审核要求，对从业人员产生不小的精神以及身体创伤。数据来源：http:/ Facebook content reviewers in India complain of low pay,high pressureEB/OL https:/ Facebook在印度的内容审查外包公司Genpact合同工，平均每分钟需审核4篇贴文，日审核量2000篇以上。一名前Facebook合同工Selena Scola曾在2018年9月向美国加州法院提起诉讼，指控因长期审查平台可怕图片后而导致精神创伤，却未曾受到公司适当保护。18腾讯安全战略研究中心Tencent Security and Strategy Research Center 13 14 尽管机器审核能够有效缓解人工审核压力，却可能存在因算法审核机制不完善而导致的结果歧视。比如，审核算法样本数据的偏差可能使不同语言内容在同一平台出现不同审核结果。NLP工具通常用于解析英语文本，在解析非英语文本则表现出明显差异，包括流程更长、精度降低或标准苛刻，甚至由此带来文化或地域歧视。因此，如何建立良好、协调、及时和高效的审核机制，尚需时间探索。其中具体包括人工审核与机器审核的关系、跨国公司审核标准和业务统一规范，内容审核从业者工作环境优化，公司审核成本与从业者工资矛盾等问题。192.2“算法偏见”与“算法黑箱”影响数字内容公正性，技术攻关存难度 作为人工智能核心之一的算法，“偏见”和“黑箱”是普遍存在的问题。训练数据不完全、算法本身设计不健全、技术开发或是与人类交互过程中存在偏见观念等问题因素，误导或投射到算法输出结果中，使之带有歧视性，即为“算法偏见（Algorithm of Prejudice）”。算法在数字内容领域应用风险之一体现为算法推荐的歧视结果导致用户接收不公正、片面加强或偏差的信息。2015年，Google因图片搜索识别结果将黑人错误标记为大猩猩而备受批评，其后更被质疑在检索与黑人有关姓名时，结果呈现出较多的犯罪记录检测广告或枪支广告 ；Google推送招聘广告服务中，男性与女性、白人与黑人的招聘广告也存在职业、薪水上的明显差距。再比如，据非营利组织ProPublica研究透露，亚马逊公司购物推荐系统一直偏袒其自己及合作伙伴的商品，通过隐瞒商品运费来误导消费者，使其在购物比价服务中得到错误的比价结果。Center for Democracy&Technology:Mixed Messages?The Limits of Automated Social Media Content AnalysisEB/OL https:/cdt.org/files/2017/12/FAT-conference-draft-2018.pdf.BBC:Google apologises for Photos apps racist blunderEB/OL.https:/ searches expose racial bias,says study of namesEB/OL.https:/ Guardian：Women less likely to be shown ads for high-paid jobs on Google,study shows EB/OL.https:/ BIAS Investigating Algorithmic InjusticeEB/OL.https:/www.propublica.org/series/machine-bias.19202122 2320212223 “算法黑箱”（Algorithm Black-Box）或算法不透明的产生既有商业机密保护的原因，也有因技术门槛高导致普通用户难以理解算法的情况,还存在由于算法模型依赖的组件、模块和数据库过于复杂，而导致开发人员也很难说清楚每个决策的影响因子和判定依据。算法在数字内容产业各环节的普遍应用，不可避免的会遭遇算法黑箱风险：一方面表现为公众难以或无法理解内容生产、推送和传播背后的流程逻辑，无从对推荐内容做出反馈和干预，甚至对推荐内容产生反感、质疑情绪；另一方面，受决策不可解释的局限，政府部门针对算法输出的错误结果归因问责困难，从而采取更加严苛的数字内容监管措施。“算法偏见”和“算法黑箱”问题是人工智能技术体系内嵌的安全问题，解决其带来的数字内容治理风险，不仅需要考虑算法设计层面的公正性，还需要充分认识到技术的现实局限性，从算法攻关上寻求突破。2.3 内容造假滋生灰色产业，深度伪造威胁国家社会稳定 人工智能生成内容取得显著进步的同时，事实上也为滥用或恶意利用人工智能进行内容造假提供了温床，以炮制虚假新闻（Fake News）和深度伪造（Deepfake）为典型风险。政治或经济利益驱动下的内容造假，大范围地广泛传播或是针对特定人群的精准推送，将恶化数字内容质量，破坏信息传播秩序，误导用户判断，甚至催生或煽动社会极化情绪,诱发各种社会问题。恶意利用人工智能技术炮制虚假新闻，威胁新闻真实性和中立性。路透研究院发布的2019年全球新闻行业报告显示，公众对新闻的总体信任程度下降至42，过半数受访者忧虑自己对网络上真/假新闻的甄别能力，32的人表示他们因此正在主动拒绝阅读新闻。麻省理工学院传媒实验室针对虚假新闻在Twitter上的传播情况展开长达12年的调查研究，研究表明假新闻往往更具惊奇性和爆炸性，因此传播得更远、更快、更深、更广，传播速度是真实信息的6倍。2019年，OpenAI为实现“语言建模”任务开发了一种算法，该算法能够根据已有单词预测接下来的文本内容，类似于输入法中的自动补充文本信息，可用于执行翻译、开放式问答任务，检查语法错误，帮助作家寻找创意或者生成对话，为企业或者政府决策者提炼总结性文本。然而，类似于此的人工智能算法，一旦被恶意利用，只需为其提供只言片语的信息，就能编写逼真的虚假新闻，大大降低虚假新闻制作门槛，且逼真度极高。Nic Newman etc:Reuters Institute Digital News Report 2019EB/OL.https:/reutersinstitute.politics.ox.ac.uk/sites/default/files/2019-06/DNR_2019_FINAL_1.pdf.Katie Langin etc:Fake news spreads faster than true news on Twitterthanks to people,not botsEB/OL.https:/www.sciencemag.org/news/2018/03/fake-news-spreads-faster-true-news-twitter-thanks-people-not-bots.24252425腾讯安全战略研究中心Tencent Security and Strategy Research Center 15 16 虚假新闻精准投放，人为操纵网络舆论，影响用户观念。美国伊隆大学数据科学家奥尔布赖特（Jonathan Albright）的研究显示，人工智能技术在美国2016年总统大选中的应用几乎达到了操纵局势的级别，美左右翼势力均试图使用一种基于数据驱动算法模型和人工智能技术训练的“微宣传机器网络”（Micro-Propaganda Machine Network）以此影响选举。具体做法包括通过数据心理分析模型和广告定位算法对网民画像，基于政治话题和新闻事件大规模制造具备误导性、有偏见甚至虚假不实的热点信息，再依靠精准推送和分发系统，达到深度影响选民观念的政治目的。2017年1月，美国国家情报总监办公室公布的评估俄罗斯在近期美国总统大选中的活动与意图报告 披露了在国家机器掌控下的兼具微观瞄准和情绪操纵的政治舆论操控机制：敏感信息披露、虚假不实信息制造、热点设置和舆论引导、精准定向分发等多种方式融合，依托主流媒体、新闻门户网站、第三方转载网站及应用、社交平台、视频直播平台、搜索引擎以及电子邮件组等渠道“组织”全方位宣传轰炸，以达到国家级别的政治目的。机器人水军刷单评论，滋生灰色产业链，破坏网络社群规则。另外，内容造假亦可利用机器在社交平台建立大量的虚假账号，进行自动化造假，使得虚假新闻生产产业化。据网络安全公司Trend Micro的数据显示，能对大选结果产生影响的虚假新闻全程服务费用在40万美元左右，能煽动民众上街游行的虚假新闻服务费用在20万美元左右。另据美国纽约时报2018年1月28日报道，美国Devumi公司专门在Facebook、Twitter等社交网络上制造“机器人水军”帐号，再卖给电视演员、企业家、运动员等“想出名或者想在互联网上施加影响力的人。”Jonathan Albright：Welcome to Fake NewsEB/OL.https:/ 深度伪造是内容造假在人工智能时代的升级版，其更加逼真且难以辨识的特点引起了各国政府的高度重视。这种基于生成对抗网络（GAN）的深度伪造技术应用在视频制作中，能够“换脸”“换声”和模仿行为举止，未来甚至能虚构环境场景，其与虚假新闻最大区别在于，人们基本无法从内容本身做出真伪判断。据研究称，三名以色列研究人员利用深度伪造技术通过医院放射科的网络篡改甚至生成伪造的MRI/