计算机深度学习-人工智能的“神奇魔杖”.pdf

1 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。深度学习深度学习：人工智能的“神奇魔杖”人工智能的“神奇魔杖”深度学习深度学习的的三个特点：三个特点：1、与传统计算机软件不同，并不要人为的提取所需解决问题的特征或者总结规律，能够从输入的大量数据中自发的总结出规律，自适应调整自身结构从而举一反三泛化至从未见过的案例中；2、人工神经网络最基本单元功能是分类，所以在分类识别领域的应用是最直接的，近期语音识别、图像识别等领域取得重大突破印证了这一判断；3、人工神经网络从最基本的单元上模拟了人类大脑的结构和运行机制（虽然目前还是低级的模仿），理论上讲人脑能够实现的智能它应该也都能实现。深度学习多个领域的直接应用取得显著成效。深度学习多个领域的直接应用取得显著成效。深度学习刚引入语音识别、图像识别等领域就带来了识别率的巨大进步，同时其在搜索引擎、广告系统、机器翻译、杀毒软件等领域的应用都带来了应用性能的飞跃性提升，这种性能的提升为新的商业应用奠定了基础。深度学习不但代替人工实现视频智能化处理，而且开创视频电商与新型广告深度学习不但代替人工实现视频智能化处理，而且开创视频电商与新型广告植入等新商业模式。植入等新商业模式。传统电视和视频网站对于节目的编辑、卡段以及审核全部是人工的，花费时间长，效率也低，而深度学习的应用会让整个过程实现自动化。此外通过深度学习可以自动在视频中产生信息、标签、商品等内容，一方面能够增加商品的点击率和销售，另一方面也可以实现更精确的广告精准匹配，增加广告投放，最终实现将流量转换成营收的目标。深度学习深度学习在医疗行业在医疗行业应用应用广泛。广泛。深度学习提供的互动、发现、决策能力均延伸出相应的医疗行业应用公司，在互动能力方面诞生了包括虚拟护士在内的新创公司，在发现能力方面多家公司利用人工智能从事医疗影像智能识别和药物研发，在决策能力方面，IBM 沃森已经在辅助医疗诊断方面取得了成熟应用。深度学习深度学习是目前人工智能投资基金常用技术。是目前人工智能投资基金常用技术。相对于以往仅仅依靠传统交易数据，深度学习驱动基金开始考虑引入新闻，政策，社交网络中的丰富文本并运用自然语言处理技术分析，将非结构化数据结构化处理，并从中探寻影响市场变动的线索，此外深度学习还能显著提升互联网金融风控和征信的能力。深度学习在无人驾驶及无人机中具有广泛应用。深度学习在无人驾驶及无人机中具有广泛应用。无人驾驶的感知、局部路径规划、决策控制等领域深度学习都能够发挥重要作用，此外在无人驾驶内部人机交互、高精度地图的自动生成等领域深度学习也是必不可少的技术。此外深度学习也推动了无人机的智能飞行、协同任务等领域的智能化发展。投资建议投资建议：深度学习极大推动了人工智能发展的发展，我们看好以下几个方向：第一，视觉感知技术领域；第二，以金融和医疗为代表的行业应用；第三，无人驾驶及服务机器人领域，重点推荐东方网力、同花顺、科大讯飞、北部湾旅、浙大网新、思创医惠、和而泰、汉邦高科。风险提示：风险提示：行业应用落地不及预期。Table_Title 2016 年年 10 月月 07 日日 计算机计算机 Table_BaseInfo 行业深度分析行业深度分析 证券研究报告 投资投资评级评级 领先大市领先大市-A 维持维持评级评级 Table_FirstStock 首选股票首选股票 目标价目标价 评级评级 300367 东方网力 40.00 买入-A 603869 北部湾旅 40.00 买入-A 300033 同花顺 100.00 买入-A 300078 思创医惠 35.00 买入-A 002230 科大讯飞 36.00 买入-A Table_Chart 行业表现行业表现 数据来源：Wind资讯%1M 3M 12M 相对收益相对收益 1.58 2.52 0.09 绝对收益绝对收益-0.26 5.67 1.66 胡又文胡又文 分析师 SAC 执业证书编号：S1450511050001 021-35082010 吕伟吕伟 分析师 SAC 执业证书编号：S1450516080010 021-35082935 相关报告相关报告 计算机行业 2016 年中报总结：业绩快速增长大数据与人工智能表现突出 2016-09-03 习主席 B20 主旨演讲强调人工智能新科技战略制高点呼之欲出 2016-09-03 如何防范日益猖獗的电信诈骗 计算机行业周报（8 月 28 日）2016-08-28 网络借贷管理办法出台，去伪存真利好普惠金融 2016-08-24“健康中国”里程碑智慧医疗新起点 2016-08-21 -12%1%14%27%40%53%66%79%2015-092016-012016-05计算机 沪深300 行业深度分析/计算机 2 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。目录目录 1.解密深度学习解密深度学习.3 1.1.人工智能的发展一直随同人工神经网络研究的进展而起伏.3 1.2.什么是人工神经网络.3 1.3.深度学习迅猛发展的历史背景.6 1.4.深度学习技术为何引领这一轮人工智能的浪潮？.7 2.深度学习的直接应用深度学习的直接应用.8 2.1.语音识别.8 2.2.图像识别.9 2.2.1.深度学习推动计算机图像识别率大幅提升.9 2.2.2.计算机视觉已经成为最吸引投资的人工智能技术方向.9 2.2.3.深度学习推动多个领域图像识别广泛应用.10 2.3.搜索引擎.12 2.4.邮件自动回复.13 2.5.机器翻译.14 2.6.杀毒软件.16 3.深度学习在视频行业的应用深度学习在视频行业的应用.16 3.1.视频的智能化处理.16 3.2.深度学习开创新的商业模式：视频电商与新型广告植入.18 4.深度学习在医疗行业的应用深度学习在医疗行业的应用.20 4.1.医疗行业数据处理要求远远超出人类个体信息处理能力.20 4.2.从 IBM 沃森系统在医疗行业的应用来看，深度学习主要体现在互动、发现和决策三个方面.22 5.深度学习在金融行业的应用深度学习在金融行业的应用.28 5.1.金融大数据特性决定了引入人工智能技术的必然性.28 5.2.人工智能投资基金表现优异.29 5.3.机器学习和自然语言处理是目前人工智能投资基金常用技术.29 5.4.国内以同花顺、资配易为代表的人工智能投资机器人已初露锋芒.30 5.5.深度学习显著提升互联网金融风控和征信的能力.31 6.深度学习在无人驾驶及无人机中的应用深度学习在无人驾驶及无人机中的应用.32 6.1.深度学习在无人驾驶技术中的应用.32 6.2.深度学习在无人机上的应用.33 7.投资建议投资建议.35 7.1.东方网力：携手商汤科技，打 造深度学习专用芯片体系.36 7.2.同花顺：“人工智能+互联网金融”核聚变.37 7.3.科大讯飞：打造中国“最强大脑”.37 7.4.北部湾旅：收购博康智能，切入“智慧安全、智慧交通”领域.38 7.5.浙大网新：轻装上阵，踏上人工智能新征程.39 7.6.思创医惠：人工智能+医疗新星升起.39 7.7.和而泰：智能家居入口价值日益凸显.40 7.8.汉邦高科：进军无人驾驶战略制高点.40 7.风险提示风险提示.41 行业深度分析/计算机 3 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。1.解密深度学习解密深度学习 1.1.人工智能人工智能的的发展发展一直一直随随同同人工神经网络研究人工神经网络研究的进展而起的进展而起伏伏 整个人工智能发展历史，几乎一直随同人工神经网络研究的进展而起起伏伏。近期引发人工智能新一轮热潮的深度学习，其名称中的“深度”某种意义上就是指人工神经网络的层数，深度学习本质上是基于多层人工神经网络的机器学习算法。图图 1：人工智能：人工智能的的发展发展一直随同一直随同人工神经网络研究的进展人工神经网络研究的进展而起而起伏伏 数据来源：艾瑞咨询，安信证券研究中心 1.2.什么是人工神经网络什么是人工神经网络 人类大脑神经的信息活动与目前的计算机相比有三个不同的特性:第一，巨量并行和容错特性。第一，巨量并行和容错特性。人脑约有 1000 亿个神经元，神经元之间约有上万亿的突触连接，形成了迷宫般的网络连接，大量的神经元信息活动是同时进行的，而非目前计算机按照指令一条条执行。此外人脑的这种巨量并行特性也使得其具有极好的容错特性，坏掉一个晶体管就能毁掉一块微处理器，但是大脑的神经元每时每刻都在死亡。第二，信息处理和存储单元结合在一起。第二，信息处理和存储单元结合在一起。目前计算机普遍采用冯洛伊曼架构，存储器和处理器分离，通过总线传递数据。随着处理的数据量海量地增长，总线有限的数据传输速率被称行业深度分析/计算机 4 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。为“冯 诺依曼瓶颈”，严重影响计算机的计算效率和功耗，人脑信息处理和存储单元结合在一起，拥有极低的功耗（约 20W 左右）。第三，自组织自学习功能。第三，自组织自学习功能。大脑在与外界互动的同时也会进行学习和改变，而不是像现在计算机遵循预设算法的固定路径和分支运行。基于以上几点不同，人们基于以上几点不同，人们一直一直尝试模仿人类大脑神经元的信息活动机制来设计算法：尝试模仿人类大脑神经元的信息活动机制来设计算法：信号通过突触进入神经元细胞，神经细胞利用一种方式把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过某个阀值，就会激发神经元细胞进入兴奋状态，这时就会有一个电信号通过轴突发送出去给其他神经细胞。如果信号总和没有达到阀值，神经细胞就不会兴奋起来，不会传递信号。图图 2：生物神经元的结构：生物神经元的结构 图图 3：人工神经元数学模型：人工神经元数学模型 数据来源：CNKI，安信证券研究中心 数据来源：CNKI，安信证券研究中心 简单的人工神经元数学模型就是让每一个输入到神经元的信号加权求和，相加后如果超过设定的阈值，就输出“1”，没有就输出“0”。这样若干个最简单的神经元输入输出相连接，就构成了复杂的人工神经网络。图图 4：单层人工神经网络：单层人工神经网络 图图 5：多层（深度）人工神经网络：多层（深度）人工神经网络 数据来源：CNKI，安信证券研究中心 数据来源：CNKI，安信证券研究中心 通过训练，人工神经网络能实现基本分类功能。比如输入一张狗的图片信号，假定输出 1 表明计算机判断这是一只狗。我们首先用标记过的狗的图片输入人工神经网络进行训练，如果输出的结果是 0，就调节每个输入信号的权重等参数，使得输出为 1，这样大量标记过的狗行业深度分析/计算机 5 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。的图片训练后，人工神经网络就自己掌握了判断狗的特征，并且具备了泛化能力：我们输入一张它从未见过的狗的图片，它也能识别出来这是一只狗，输出 1。图图 6：深度学习实际上是建立输入和输出数据之间的映射关系：深度学习实际上是建立输入和输出数据之间的映射关系 数据来源：安信证券研究中心整理 通过人工神经网络的原理探究我们可以总结以下结论：1、人工神经网络算法能够从输入的大量数据中自发的总结出规律。人工神经网络算法与传统计算机软件不同，并不要人为的提取所需解决问题的特征或者总结规律。它能够从输入的大量数据中自发的总结出规律，自适应调整自身结构从而举一反三，泛化至从未见过的案例中；2、人工神经网络最基本的单元功能是分类，所以在分类识别是最直接的应用。以百度为例，其深度学习应用包括搜索、用户画像、语音、图像四大方向，本质上都是实现的分类识别的功能。图图 7：百度深度学习的四大直接应用本质上都是实现分类识别功能：百度深度学习的四大直接应用本质上都是实现分类识别功能 数据来源：百度，安信证券研究中心 行业深度分析/计算机 6 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。3、人工神经网络从最基本的单元上模拟了人类大脑的结构和运行机制（虽然目前还是低级的模仿），理论上讲人脑能够实现的智能它应该也都能实现。数学上也证明了用 3 层以上人工神经网络模型，理论上可逼近任意函数。1.3.深度学习迅猛发展的历史背景深度学习迅猛发展的历史背景 深度学习名称的由来深度学习名称的由来。人工神经网络算法在 60 年代曾经遭遇低谷，著名人工智能专家明斯基当时提出了人工神经网络的两个局限性：1、单层的人工神经网络甚至连最简单的异或运算都无法实现；2、多层更复杂的人工神经网络当时的计算能力却无法支撑。20 世纪 90 年代开始，随着处理器计算能力突飞猛进和云计算技术使得大量计算机并行计算成为可能后，限制大规模人工神经网络的计算能力瓶颈开始逐步消除。即便如此，主流机器学习界对于人工神经网络仍然兴趣寡然，一直坚持人工神经网络研究的加拿大多伦多大学教授、机器学习领域的泰斗 Geoffrey Hinton 后来为了改变大众对于人工神经网络的长期的消极态度，干脆将其改名为深度学习（deep learning），而其多层抽象的数据学习过程一定程度上借鉴了人类的视觉机制。图图 8：人类视觉从原始信号摄入开始（瞳孔摄入像素），接着做初步处理（大脑皮层某些人类视觉从原始信号摄入开始（瞳孔摄入像素），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状），然后进一步抽象（大细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状），然后进一步抽象（大脑进一步判定该物体是人脸）脑进一步判定该物体是人脸）数据来源：cnki，安信证券研究中心 一篇论文引发新的浪潮。一篇论文引发新的浪潮。2006 年，Geoffrey Hinton 和他的学生 RuslanSalakhutdinov 在国际顶级期刊科学上发表了一篇文章，被认为是深度学习取得突破的重要节点。这篇文章实质上一是讲明了深度学习在描述数据本质上广泛的应用前景，二是给出了多层深度神经网络的很好的训练方法，让大众充分认识到深度学习大规模应用的时代开始来临，开启了深度学习在学术界和工业界的浪潮。而 Geoffrey Hinton 连同他的实验室DNNresearch很快被谷歌收购。深度学习在谷歌各项业务中迅速应用效果惊人。深度学习在谷歌各项业务中迅速应用效果惊人。在谷歌内部，深度学习从少数的产品组应用起步，一开始就取得了非常大的突破（首次应用到语音识别错误率就降低了 30%），更多的团队开始采纳深度学习算法，目前谷歌内部使用深度学习的产品有：安卓、Apps、药品发现、行业深度分析/计算机 7 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。Gmail、图片理解、地图、自然语言、图片、机器人、语音翻译等。全球著名的谷歌大脑其实质上就是一个大规模的人工神经网络，它实现了对谷歌各项业务的智力支撑。图图 9：深度学习已经应用到谷歌的各项业务中去：深度学习已经应用到谷歌的各项业务中去 数据来源：谷歌，安信证券研究中心 优异的深度学习算法和人才、丰富的数据资源、强大的计算能力被认为是在深度学习领域取得突出成绩的三个条件，谷歌三者兼具，所以在引入深度学习后，谷歌率先取得全球瞩目的成就，更激发了整个产业界对于深度学习的追逐，从而开启了这一轮人工智能热潮。1.4.深度学习技术为何引领这一轮人工智能的浪潮？深度学习技术为何引领这一轮人工智能的浪潮？第一，深度学习首先直接应用于多个通用基础功能模块：语音，文字，搜索词，图片，视频，标签，实体，短语，音频特性等，能够在多个领域具备通用性。图图 10：深度学习具备非常好的通用性：基础模块、端到端的简单模型：深度学习具备非常好的通用性：基础模块、端到端的简单模型 数据来源：谷歌，安信证券研究中心 行业深度分析/计算机 8 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。第二，深度学习区别于传统机器学习算法，不需要人为提取数据特征的环节，具备非常简单的“端到端”训练特性，能够快速迁移到各个领域，因而具备极为广泛的应用空间；第三，深度学习作为一种数据驱动的机器学习算法，其训练效果能够随着数据量的增长显著提升，在大数据时代将发挥更大的作用。图图 11：深度学习效果随着数据规模增加显著提升：深度学习效果随着数据规模增加显著提升 数据来源：百度，安信证券研究中心 实质上人类很多智能或者技能都是先通过学习经验积累（即可抽象为大量数据训练的过程），再举一反三应用到其他领域（泛化至其他输入数据），这一点跟深度学习的基本功能非常类似，所以随着深度学习的进一步完善，人类诸多需依靠经验积累的能力都可以逐步依靠深度学习来实现。2.深度学习的直接应用深度学习的直接应用 2.1.语音识别语音识别 谷歌内部第一个部署深度神经网络的小组首先将深度学习引入语音识别领域，一开始的版本就把语音识别错误率降低了 30%，国内的科大讯飞将深度学习引入，语音识别错误率近几年明显降低。图图 12：谷歌首次引入深度学习语音识别错误率就降低：谷歌首次引入深度学习语音识别错误率就降低 30%图图 13：科大讯飞语音识别近几年错误率明显降低：科大讯飞语音识别近几年错误率明显降低 数据来源：谷歌，安信证券研究中心 数据来源：科大讯飞，安信证券研究中心 行业深度分析/计算机 9 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。2.2.图像识别图像识别 2.2.1.深度学习推动计算机图像识别率深度学习推动计算机图像识别率大幅大幅提升提升 ImageNet 图片库有 100 多万张图片，是计算机视觉领域最大的图片库，包含 1000 种不同分类，每一类有 1000 张图片。在深度神经网络使用之前，最好的识别错误率记录是 26%，2014年 Google 错误率降低到 6.66%取得冠军，到 2015 年错误率下降到 3.46%，甚至低于人类的错误率（人类花了 24 小时训练后错误率是 5.1%）。图图 14：ImageNet 是全球最大的计算机视觉图片库是全球最大的计算机视觉图片库 图图 15：Google 在在ImageNet 图片识别准确率快速提升图片识别准确率快速提升 数据来源：imagenet，安信证券研究中心 数据来源：谷歌，安信证券研究中心 图图 16：国际权威测试：国际权威测试 IMAGENET 各公司图像识别错误率已各公司图像识别错误率已接近人类肉眼水平接近人类肉眼水平 图图 17：LFW 库中不少公司人脸识别识别错误率已经低于人类库中不少公司人脸识别识别错误率已经低于人类肉眼肉眼 数据来源：安信证券研究中心 数据来源：LFW,安信证券研究中心 2.2.2.计算机视觉已经成为最吸引投资的人工智能技术方向计算机视觉已经成为最吸引投资的人工智能技术方向 根据艾瑞咨询统计，目前在人工智能领域，超过一半的技术类企业投资是在计算机视觉方面。行业深度分析/计算机 10 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。图图 18：55%的人工智能技术类企业投资集中在计算机视觉领域的人工智能技术类企业投资集中在计算机视觉领域 数据来源：艾瑞咨询，安信证券研究中心 2.2.3.深度学习推动多个领域图像识别广泛应用深度学习推动多个领域图像识别广泛应用 1、人脸识别领域：、人脸识别领域：深度学习技术推动下，人脸识别可以实现任意脸部遮挡及视角下的实时检测，一次性克服了人脸检测中的几项难题：侧脸、半遮挡、模糊人脸，极大提升了各种现实情况中的人脸检出效果。同时可以识别性别、年龄、表情及多种脸部生理特征，不仅可以准确识别照片中人物的性别和年龄，也提供表情、颜值（美貌指数）、戴眼镜、化浓妆、涂口红、戴帽子、头发颜色、胡须样式等超过 40 种属性，平均准确率超过 90%，年龄预测平均误差小于 3 岁。图图 19：实现任意脸部遮挡及视角下的实：实现任意脸部遮挡及视角下的实时检测时检测 图图 20：人脸特征识别：人脸特征识别 数据来源：商汤科技，安信证券研究中心 数据来源：商汤科技，安信证券研究中心 2、视频监控领域：、视频监控领域：基于深度学习的行人检测算法能够在各类遮挡的情况下精确找出行人位臵，并能够进一步分析行人姿态和动作，可应用于交通监控、辅助驾驶、无人驾驶等。可以在行车场景、交通监控场景、卡口场景中检测多种不同角度的车辆，并同时给出车牌号码、汽车品牌、型号、颜色等物理特征。行业深度分析/计算机 11 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。图图 21：行人检测：行人检测 图图 22：车辆检测：车辆检测 数据来源：商汤科技，安信证券研究中心 数据来源：商汤科技，安信证券研究中心 3、图像搜索、场景识别：、图像搜索、场景识别：可以实现语义驱动的互联网规模图像搜索及排序、拥有千类物体的集合上达到世界最高准确率的物体检测算法、可在上百类的室内外场景图像中识别显著场景元素，检测和识别在任何地点的任意文字。图图 23：语义驱动的互联网规模图像搜索及排序：语义驱动的互联网规模图像搜索及排序 图图 24：在实用场景中物体识别技术可提供商品搜索、危险：在实用场景中物体识别技术可提供商品搜索、危险物品检测等多种实用引擎物品检测等多种实用引擎 数据来源：商汤科技，安信证券研究中心 数据来源：商汤科技，安信证券研究中心 图图 25：场景识别在上百类的室内外场景图像中识别显著场景元：场景识别在上百类的室内外场景图像中识别显著场景元素素 图图 26：在自然场景拍摄的图像中准确地检测并识别出其中的文字：在自然场景拍摄的图像中准确地检测并识别出其中的文字内容内容 数据来源：商汤科技，安信证券研究中心 数据来源：商汤科技，安信证券研究中心 行业深度分析/计算机 12 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。4、图像及视频编辑：、图像及视频编辑：通过深度学习可以实现实时超分辨率重构、实时降低图像压缩噪声、基于内容的图像质量评价方法得到最美观的图片等功能。图图 27：基于深度学习实时降低图像压缩噪声：基于深度学习实时降低图像压缩噪声 图图 28：基于暗原色技术实现的图像去雾：基于暗原色技术实现的图像去雾 数据来源：商汤科技，安信证券研究中心 数据来源：商汤科技，安信证券研究中心 5、移动互联网领域、移动互联网领域：利用深度学习技术，Faceu、微博相机、小米 MIUI 的人脸识别分类相册等移动互联网产品开始涌现。图图 29：风靡朋友圈的：风靡朋友圈的 faceu 应用人脸技术支持应用人脸技术支持 图图 30：宝宝相册自动识别整理宝宝照片：宝宝相册自动识别整理宝宝照片 数据来源：faceu，安信证券研究中心 数据来源：小米，安信证券研究中心 2.3.搜索引擎搜索引擎 百度在世界上首次将深度学习引入搜索引擎之中，显著提升了搜素引擎的满意度，这也是迄今为止深度学习作用于自然语言最成功的例子。同时百度凤巢系统也首次将深度学习引入广告系统，显著提升了点击转化率。行业深度分析/计算机 13 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。图图 31：深度学习搭建了人、信息和广告服务之间的联系：深度学习搭建了人、信息和广告服务之间的联系 图图 32：深度学习显著提升百度搜索满意度：深度学习显著提升百度搜索满意度 数据来源：百度，安信证券研究中心 数据来源：百度，安信证券研究中心 谷歌在 2015 年 10 月份正式公开 RankBrain 这一引入了深度学习的人工智能搜索引擎算法，RainBrain 已经成为搜索排序时第三大重要的指标，在搜索排序时其指标优先级超过了其他数百项指标。RankBrain 是基于深度学习的人工智能算法，它在为用户挑选所需要的搜索答案时甚至拥有了近乎“直觉”式的准确。Google 内部曾让做算法的工程师人工去猜测搜索算法会选择哪个页面作为排名第一的结果，其准确率为 70%，然后 RankBrain 去做了同样的事情，准确率达到了 80%。图图 33：RankBrain：谷歌的人工智能搜索引擎算法：谷歌的人工智能搜索引擎算法 数据来源：谷歌，安信证券研究中心 2.4.邮件自动回复邮件自动回复 Gmail 组开发了一个系统能够去预测邮件回复的深度学习应用。第一步就是训练小量模型去预测如果消息是某一类的，怎么做简短回复。如果是一个更复杂的问题，则将消息作为一个序列，尝试预测序列的响应语。这样经过大量数据训练的人工神经网络就学会了自动回复消息。行业深度分析/计算机 14 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。图图 34：谷歌将深度学习用于邮件自动回复：谷歌将深度学习用于邮件自动回复 数据来源：谷歌，安信证券研究中心 2.5.机器翻译机器翻译 近年来，随着深度学习的进展，机器翻译技术的到了进一步的发展，翻译质量得到快速提升，在口语等领域的翻译更加地道流畅。深度学习的技术核心是一个拥有海量结点（神经元）的深度神经网络，可以自动的从语料库中学习翻译知识。一种语言的句子被向量化之后，在网络中层层传递，转化为计算机可以“理解”的表示形式，再经过多层复杂的传导运算，生成另一种语言的译文。实现了“理解语言，生成译文”的翻译方式。广泛应用于机器翻译的是长短时记忆循环神经网络，很好地解决了自然语言句子向量化的难题，使得计算机对语言的处理不再停留在简单的字面匹配层面，而是进一步深入到语义理解的层面。表表 1：传统机器翻译和基于深度学习翻译的区别：传统机器翻译和基于深度学习翻译的区别 传统机器翻译传统机器翻译 基于深度学习翻译基于深度学习翻译 基基于于理理性性主主义义 优点：优点：显式描述深层次的语言转换规律 面临的问题：面临的问题：对人类专家要求非常高 研制系统的人工成本高 开发周期长 小语种垂直领域开发人才稀缺 优点：优点：1、帮助机器翻译缓解数据稀疏问题 通过分布式表示（每个词都是连续、稠密的实数向量）有效地缓解了数据稀疏问题（YoshuaBengio，2003）。神经网络联合模型（Jacob Devlin等，2014），除目标语言段的历史信息外额外考虑了五个源语言词，丰富了上下文信息，使得 BLEU 值提高了约 6 个百分点；2、解决特征难以设计的问题 利用递归自动编码器生成词串的分布式表示，然后基于词串的分布式表示建立神经网络分类器；面临的问题：面临的问题：1、线性不可分 线性模型仍是整体框架，高维数据线性不可分的情况仍存在；2、非局部特征 通过深度学习引入的新特征往往是非局部的，因此无法设计高效的动态规划算法，不得不在后阶段采用超图重排序等近似技术。基基于于经经验验主主义义 优点：优点：人工成本低 开发周期短 面临的问题：面临的问题：线性不可分 缺乏合适的语义表示 难以设计特征 难以充分利用局部上下文 数据稀疏 错误传播 数据来源：基于深度学习的机器翻译研究进展，安信证券研究中心 行业深度分析/计算机 15 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。基于深度学习方法的翻译发展经历三个过程：1)“编码编码-解码新框架解码新框架”（NalKalchbrenner，Phil Blunsom，2013）对源语言句子使用编码器（卷积神经网络）将其映射为一个连续、稠密的向量，然后再使用解码器（递归神经网络）将该向量转化为目标语言句子；其优势在于使用递归神经网络能够捕获全部历史信息和处理变长字符串，然而因为在训练递归神经网络时面临着“梯度消失”和“梯度爆炸”问题，所以长距离的依赖关系依旧难以得到真正处理。2)引入长短期记忆（引入长短期记忆（IlyaStuskever 等，等，2014）该架构中，无论是编码器还是解码器都使用了递归神经网络。同时，在生成目标语言词时，解码器不但考虑整个源语言句子的信息，还考虑已经生成的部分译文。该方法通过设臵门开关解决了训练递归神经网络的问题，能够较好地捕获长距离依赖。此外，引入长短期记忆大大提高了端到端机器翻译的性能，取得了与传统统计机器翻译相当甚至更好的准确率。3)基于注意力的端到端神经网络翻译（基于注意力的端到端神经网络翻译（YoshuaBengio 研究组，研究组，2015）当解码器在生成单个目标语言词时，仅有小部分的源语言词是相关的，绝大多数源语言词都是无关的。因此为每个目标语言词动态生成源语言端的上下文向量，而不是采用表示整个源语言句子的定长向量能很好地提升翻译效率，这便是基于内容的注意力计算方法。表表 2 科技巨头基于深度学习的机器翻译研究进展科技巨头基于深度学习的机器翻译研究进展 百度百度 2015 年 5 月，百度宣布其百度翻译系统结合统计翻译方法和深度学习方法，借助海量计算机模拟的神经元，模仿人脑“理解语言，生成译文”。谷歌谷歌 2016 年 5 月，谷歌直接宣布将基于神经网络的语法分析架构 SyntaxNet 开源，利用这款号称最强的语法分析器，开发者可以选取数据训练自己的 SyntaxNet 模型，大幅提高表意的相关性，从而拉升翻译质量。Facebook Facebook 于 6 月宣布利用 29 层深度卷积网络处理自然语言，取得了明显的进展，这是第一次将深度卷积网络应用在自然语言处理中，神经网络的深度就会与自然语言处理的性能呈正相关。微软微软 微软利用在语音识别方面积累的技术，将它与基于深度神经网络的机器翻译结合，从而在 Skype 上实现实时语音翻译。数据来源：各公司互联网公开资料整理，安信证券研究中心 谷歌运用深度学习开发出一款自动翻译应用，能够将手机拍摄的图像中的文字自动翻译并且直接覆盖在原有图像之上。图图 35：深度学习推动机器翻译与视觉结合的新应用：深度学习推动机器翻译与视觉结合的新应用 数据来源：谷歌，安信证券研究中心 行业深度分析/计算机 16 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。2.6.杀毒软件杀毒软件 百度近期推出了 4.0 杀毒系统：慧眼引擎。这是百度杀毒和百度深度学习研究院（IDL）共同研制的深度学习智能引擎。百度宣布这是全球首次将深度学习技术应用在客户端，独创了深度神经网络查杀技术。通过神经网络提供的大量已知在案的恶意软件训练，杀毒就和识别人脸一样，逐渐学会自己识别病毒。根据百度公布的第三方测试数据，慧眼在不依赖其他引擎慧眼在不依赖其他引擎辅助的情况下，误报率辅助的情况下，误报率 0.1，而在一个月不升级模型库的情况下，检出率也不会下降，检，而在一个月不升级模型库的情况下，检出率也不会下降，检出能力半衰期长达出能力半衰期长达 7 个月。个月。图图 36：引入深度学习的百度：引入深度学习的百度 4.0 杀毒系统：慧眼引擎杀毒系统：慧眼引擎 数据来源：百度，安信证券研究中心 3.深度学习在视频行业的应用深度学习在视频行业的应用 视频因具有运动的图像、文本、音频、用户观看日志等复杂的时空信息，容易带动观者的情绪，是内容最丰富的媒体，在未来将成为信息表达和传播的主流。然而目前大部分视频都存在一些问题：第一、随着视频形成的规模增加，视频处理的任务也更加艰巨，信息传播的速度跟不上产生的速度。以爱奇艺为例，每天都有十几万的视频上传，如果通过人工的方法为这些视频进行审核、标注，那将花费巨大的人力，并且效率低下。另一方面，视频中的内容无法得到有效利用。视频网站虽累积了海量用户，但黄金流量却难以规模变现。而大数据及深度学习的应用，可以分析视频序列中的信息，以达到理解视频内容的目的，为解决上述问题提供了新的视角。3.1.视频的智能化处理视频的智能化处理 通过大数据和深度学习挖掘解析视频画面内容，从而实现视频的智能化处理，是提高视频生产效率的法宝。传统电视台对于节目的编辑、卡段以及审核全部是人工的，花费时间长，效率也低。而深度学习的应用会让整个过程迅速加快：对整个情节自动卡段，对所有的语义识别、字母的自动提取，对整个视频的审核变成全自动。每一个视频吸引用户的点击靠的是描述和截图。如何在每天巨量的视频里面自动选出最适合的截图，它是视频领域需要解决的问题。以前使用的是能量算法，选择变化最大或者说保真度最大的图片作为截图，而今融入视频识别和人脸识别，表达这个视频的截图将更加贴切。表表 3：视频生产的变化：视频生产的变化 传统电视台传统电视台 人工智能人工智能 视频结构视频结构 人工卡段进行故事拆分 自动卡断 行业深度分析/计算机 17 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。视频标注视频标注 人工标注 自动语音识别、提取字母 视频审核视频审核 人工审核或者半自动 全自动 视频发布视频发布 能量算法，选取变化最大、保真度最大的图片 视频识别和人脸识别，选取表达程度更贴切的截图 数据来源：CNCC主报告，安信证券研究中心 图图 37：人工智能提升视频生产效率：人工智能提升视频生产效率 数据来源：爱奇艺，安信证券研究中心 视频的上传需要经历严格的黄、暴检测，人工智能可以节省大量的人力。2016 年 3 月全国“扫黄打非”行动中，对百度云盘、微盘、360 云盘等云储存平台上的大量视频图像数据进行审核是一项重要且艰巨的任务，人工审核黄色、暴力等信息会非常消耗时间和人力。通过基于深度学习的视频大数据技术，可以精准识别出这些平台的色情、暴恐、小广告等违规图片或视频，能帮助开发者团队降低运营风险和法律风险，节省大量审核人力。例如图普科技就是基于深度学习图像识别技术，推出图像识别云服务，为企业提供各种图片和视频审核、增值、搜索服务。图图 38：图：图普普科技智能审核解决方案科技智能审核解决方案 数据来源：图普科技，安信证券研究中心 迅雷通过接入图普科技的图像识别云平台，超过 98%的色情视频被机器过滤，复审量低于总量 2%，节省了超过 98%的人力成本。Viscovery 创意引晴公司能够监测色情、暴力、反恐等违禁内容，适用网络直播、盗版内容监测等领域，能节省 95%人力，进行高效分析。行业深度分析/计算机 18 本报告版权属于安信证券股份有限公司。本报告版权属于安信证券股份有限公司。各项声明请参见报告尾页。各项声明请参见报告尾页。表表 4：图：图普普科技典型案例科技典型案例 迅雷是国内知名下载引擎、云存储、资商，平台流量极其巨大，通过接入图普科技的图像识别云平台，由平台提供智能机器审核服务，后期数据反馈，超过 98%的色情视频被机器过滤，复审量低于总量 2%，节省了超过 98%的人力成本。一下科技是移动短视频娱乐分享应用和移动视频技术服务提供商，旗下拥有“秒拍”和“小咖秀”两款业界领先的视频应用产品。目前秒拍和小咖秀已经采用了机器+人工相结合的审核方式，极大地提高了视频审核的效率，通过图普系统有效过滤 99%的违规视频。图普科技与七牛合作，为七牛云存储的客户提供图片鉴黄功能，有效判断保存在七牛云的图片是属于色情、性感还是正常。通过高效准确的自动化鉴黄服务，降低企业使用鉴黄服务的技术门槛，从而很大程度上帮助企业减少相关人力成本的投入。数据来源：图普科技，安信证券研究中心 3.2.深度学习开创新的商业模式：视频电商与新型广告植入深度学习开创新的商业模式：视频电