深度学习模型及应用详解.pdf

CMYCMMYCYCMYK深度学模型及用解fy.pdf 1 2019/9/3 15:17:18 内 容 简 介 本书作者都是微软人工智能及研究院的研究人员和应用科学家，具有深厚的机器学习背景，在一线针对产品需求和支持的场景进行了大量的深度学习模型及算法的研究和开发，在模型设计、训练、评估、部署、推理优化等模型开发全生命周期积累了丰富的经验。本书分为 4 部分，共 13 章。其中第 1 部分（第 1、2 章）简要介绍了深度学习的现状、概念和实现工具。第 2 部分（第 35 章）以具体的实际应用展示基于深度学习技术进行工程实践和开发的流程和技巧。第 3 部分（第 612 章）介绍了学术界和工业界最新的高阶深度学习模型的实现和应用。第 4 部分（第 13 章）介绍了深度学习领域的一些前沿研究方向，并对深度学习的未来发展进行展望。本书面向的读者是希望学习和运用深度学习模型到具体应用场景的企业工程师、科研院所的学生和科研人员。读者学习本书的目的是了解深度学习模型和算法基础后，快速部署到自己的工作领域，并取得落地成果。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 深度学习模型及应用详解/张若非等著.北京：电子工业出版社，2019.9 ISBN 978-7-121-37126-4.深.张.机器学习研究.TP181 中国版本图书馆 CIP 数据核字（2019）第 150112 号 策划编辑：张慧敏 责任编辑：石 倩 文字编辑：王 静 吴宏伟 印 刷：装 订：出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编 100036 开 本：7201000 1/16 印张：17.25 字数：303.6 千字 版 次：2019 年 9 月第 1 版 印 次：2019 年 9 月第 1 次印刷 定 价：89.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888，88258888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。本书咨询联系方式：010-51260888-819，。序言 Preface 机器学习从诞生那天起，其模型的设计和演变就和相关应用是密切结合的。近十年来，伴随着大数据和高性能计算硬件的迅猛发展，机器学习里面的深度学习异军突起，为人工智能领域中的诸多应用提供了核心算法模型。在计算机、电子工程、数学等相关学科，越来越多的学生加入到深度学习的领域进行深造；在信息技术、互联网等相关领域，越来越多的工程师运用深度学习技术来提升产品性能；在金融、医疗、汽车等传统领域，越来越多的从业者正积极地设法引入深度学习技术，从而掀起新一轮的技术革命。在如此宏大的技术普及和发展的背景下，亟需一本介绍深度学习技术实践的图书。目前在市面上可以看到的与深度学习相关的书籍有数十本，各具特色。有的侧重于模型的推导和解释，有的侧重于算法的实现，而本书的特点是侧重于深度学习技术的落地。我在微软访问时与本书的几位作者有过多次接触，后来在一些学术会议上也分别有过几次讨论。他们都是毕业于国内外著名学府的博士和硕士，在机器学习领域有着多年的研究、开发经验，在国际顶级期刊和会议上发表了数十篇论文，并在微软的产品部门从事一线产品的工程实践。如今，看到他们在工作之余，将深度学习中的一些重要模型在实践中的应用加以整理并总结成Deep Learning Models and Applications IV深度学习模型及应用详解 Deep Learning Models and Applications 书，甚感欣慰。这将给深度学习技术在工程实践中的普及带来非常重要的促进作用。读完本书，我的感受是，内容全面翔实、条理清晰：从最初的感知机模型到最近的对抗生成网络和深度强化学习，作者都进行了详尽的介绍；从模型的原理、应用的细节到计算框架的选择，作者都进行了全面阐述。相信认真读完本书的读者，一方面会对深度学习的概貌有全局性的了解，既见树木，更见森林；另一方面，可以对一些深度学习的实际应用问题厘清思路，甚至在本书中直接找到解决方案。不论是深度学习领域的初学者，还是具有经验的工程实践者，都可以从本书中获得启示，做到开卷有益！最后，祝贺这本书的出版，并希望它成为深度学习实践者的案头手册。杨强 香港科技大学计算机科学与工程学系讲座教授 国际人工智能联合会（IJCAI）理事会主席（20172019）深圳前海微众银行首席 AI 官 前言 Introduction VDeep Learning Models and Applications 前言 Introduction 人工智能热潮 人工智能已成为炙手可热的名词和话题，其范围和影响力已经超越了学术研究和产业科技研究，成为一个社会性热点。人工智能被广泛认为是具有颠覆性的战略技术领域，对未来的世界发展和社会进步有重大影响，是建设创新型国家和世界科技强国的重要支撑，各国也相继发布关于人工智能的国家发展战略和规划。2017 年 7 月，国务院发布了新一代人工智能发展规划的精神和部署，对我国在人工智能基础理论研究、核心技术、模型和算法、软硬件支撑平台、生态系统建设等方面规划了蓝图。这进一步激起了学术界、工业界、政府等社会各方面人士对人工智能的关注、学习、研究和开发。人工智能的引爆在很大程度上源自深度学习技术的突破，包括语音、视觉和决策规划等领域。比如，2012 年基于深度学习模型的 AlexNet 首次夺得ImageNet 大规模视觉识别竞赛（ILSVRC）的冠军，之后所有这个竞赛的优胜模型全部是基于深度学习的。2016 年 3 月，DeepMind 基于深度强化学习模型的围棋程序 AlphaGo 战胜围棋世界冠军李世石引起轰动，获得广泛关注，也敲响了人工智能在社会上热潮开启的晨钟。随即各个领域学习深度学习的兴趣日渐高Deep Learning Models and Applications VI深度学习模型及应用详解 Deep Learning Models and Applications 涨，深度学习模型、算法、框架、工具、软硬件加速器等的研究和开发也如火如荼，在研究、科技和商业领域都获得了迅猛发展。机器学习发展路径 大部分深度学习是基于深层神经元网络的模型，属于机器学习的一种。要学习深度学习，有必要了解机器学习的发展历程。机器学习领域有很多流派，例如，强调“推理、知识、学习”的人工智能派和强调应用统计学的统计学派。机器学习从提出、研究到发展，至今有六十多年了。这中间的研究人员有过很多方法论的尝试，让机器能够像人一样思考、判断、预测。在这个过程中，不同的时期有不同的方法流行，而在另外一个时期又失去了吸引力，但后来可能又获得新生。机器学习的发展过程可以用波浪式前进、螺旋式上升来概括。这也和每个时期的技术条件、研究水平、人们的认知水平，尤其是对人类大脑的了解，以及社会整体文明进步水平有关。20 世纪 80 年代初，机器学习研究主要集中在对知识的描述和表达、存储，以及用知识库进行推理方面。其中，用符号表示人工智能（symbolic AI）比较流行，它集中在高层次的、人类可理解的，对问题、逻辑和搜索的符号表达上，以及基于其上的规则系统的构建，最具代表性的是专家系统。但是专家系统的功能和性能远远达不到人们的期望，而且专家系统也没有数学理论的支持，很难证明这种方法论的稳定性和正确性。20 世纪 90 年代后期，随着 Vapnik 统计学习理论的研究成熟，迎来了统计机器学习的黄金时期。此时出现众多的统计学习模型，比如贝叶斯网络、朴素贝叶斯、最大熵、支持向量机（Support Vector Machine，SVM）、决策树（decision tree），普遍使用的梯度提升决策树（GBDT）、随机森林（random forest）、矩阵分解模型等，可以说是百花齐放，在各种分类、回归、聚簇问题上的准确性明显提高。因此，在搜索、广告、推荐等大量的互联网场景下获得了广泛的应用。前言 Introduction VIIDeep Learning Models and Applications 统计机器学习模型获得成功的一个重要原因是它有稳固的统计学和最优化等数学理论的支撑，为机器学习研究和学习能力的提高提供了理论上的保证和方向上的指导。机器学习模型不是一个黑盒子，而是基于严格的数学计算，这非常重要。在整个 21 世纪的第一个十年，都是统计机器学习的天下，但是这些统计机器学习模型往往需要领域专业人士和数据科学家做大量的特征工程（feature engineering）工作，设计有效的特征，才能输入模型，得到满意的效果。在众多统计学习模型中，人工神经网络是一大类算法。人工神经网络的发展同样经历了高潮低谷的交替起伏。在深度学习兴起之前的约 20 年时间里，由于计算能力和数据量的限制，人工神经网络的有效训练和学习往往只能停留在浅层次的小规模神经网络上，限制了其学习性能。此外，人工神经网络学习得到的模型也缺乏直观的可解释性。这些因素使得人工神经网络逐渐失去了吸引力。近年来，由于大数据的发展，大量可用数据产生，以及计算能力的不断提升，神经网络卷土重来。同时，改善的模型结构及训练算法的提高，使深度学习得到了爆发，尤其是直接应用在一些做特征工程非常困难的原始数据的场景下，性能有突破性的进展，包括语音识别、图像理解、自然语言处理（NLP）、机器翻译等，都取得了显著的改进。本书的初衷 人工智能热激发了大家对深度学习的学习兴趣，但是目前的一些深度学习书籍要么是面向学校和机器学习的研究人员，重理论、少实践且不够实用；要么只是对一些深度学习框架和工具的介绍和翻译，而没有比较全面的深度学习模型的讲解、具体应用的实例及实际使用中经验和注意事项的分享。本书的作者都是在微软人工智能及研究院的研究人员和应用科学家，具有深厚的机器学习背景，在一线针对产品需求和支持的场景进行了大量的深度学习模型及算法的研究和开发，在模型设计、训练、评估、部署、推理优化等模型开发全生命周期积累了丰 VIII深度学习模型及应用详解 Deep Learning Models and Applications 富的经验。本书面向的读者是希望学习和运用深度学习模型到具体应用场景的企业工程师、科研院所的学生和科研人员。他们的目的不是找一本教科书从学术角度学习深度学习，像深度学习研究人员一样设计新的模型和算法，而是对深度学习模型和算法做一个基础了解后，快速部署到他们的工作领域，并取得落地成果。这正是我们写作本书的初衷和希望有所贡献的地方：让读者“打基础、读得懂、用得快、重实践、重应用”，重点是建立起分析问题、对问题形式化和应用深度学习建模、使用工具实现模型训练和推理、在实际中需要考虑的约束限制、进行取舍和工程调优等一系列的方法论，从而获得能举一反三解决新的问题的能力。本书内容定位 基于这个写作目的，在讲解基础的前提下，侧重在实际应用中让读者快速掌握基于深度学习模型的系统开发，本书的内容覆盖以下几个部分。第 1 部分（第 1、2 章）讲解深度学习的现状、概念和实现工具。第 2 部分（第 35 章）介绍深度学习在自然语言处理、计算机视觉、预测等应用中常见模型的举例及实现，包括自然语言处理中的词嵌入向量模型；图像理解中普遍使用的卷积神经网络（CNN）及其在物体检测（object detection）方面的应用；应用于机器翻译的递归神经网络模型（RNN）和长短期记忆模型（LSTM）。第 3 部分（第 612 章）介绍学术界和工业界最新的一些高阶深度学习模型和实现，以及它们在互联网搜索、广告、对话机器人、电商等领域的应用，包括：用于对话机器人的 DeepProbe 模型；用于单张照片产品识别和属性生成的 VPR模型；用于信息检索和语义向量生成的 DeepIntent 模型；用于文本语义嵌入和匹配的 fastText 模型；生成对抗网络（GAN），以及在图像生成和自然语言处理中的应用；强化学习模型的模