动手学深度学习.pdf

动学深度学习A.Zhang,M.Li,Z.C.Lipton,andA.J.Smola2018 年12 23录1引11.1前.11.2深度学习简介.61.3如何使本书.162预备知识212.1获取和运本书代码.212.2数据操作.252.3动求梯度.332.4查阅 MXNet 档.363深度学习基础413.1线性回归.413.2线性回归的从零开始实现.473.3线性回归的 Gluon 实现.533.4Softmax 回归.573.5图像分类数据集（Fashion-MNIST）.623.6Softmax 回归的从零开始实现.663.7Softmax 回归的 Gluon 实现.713.8多层感知机.73i3.9多层感知机的从零开始实现.813.10 多层感知机的 Gluon 实现.833.11 模型选择、拟合和过拟合.843.12 权重衰减.933.13 丢弃法.1003.14 正向传播、反向传播和计算图.1053.15 数值稳定性和模型初始化.1093.16 实战 Kaggle 赛：房价预测.1114深度学习计算1214.1模型构造.1214.2模型参数的访问、初始化和共享.1264.3模型参数的延后初始化.1324.4定义层.1344.5读取和存储.1374.6GPU 计算.1405卷积神经络1455.1维卷积层.1455.2填充和步幅.1515.3多输通道和多输出通道.1555.4池化层.1595.5卷积神经络（LeNet）.1645.6深度卷积神经络（AlexNet）.1685.7使重复元素的络（VGG）.1745.8络中的络（NiN）.1775.9含并连结的络（GoogLeNet）.1815.10 批量归化.1865.11 残差络（ResNet）.1925.12 稠密连接络（DenseNet）.1976循环神经络2036.1语模型.2046.2循环神经络.2066.3语模型数据集（周杰伦专辑歌词）.210ii6.4循环神经络的从零开始实现.2156.5循环神经络的 Gluon 实现.2226.6通过时间反向传播.2276.7控循环单元（GRU）.2306.8短期记忆（LSTM）.2376.9深度循环神经络.2456.10 双向循环神经络.2477优化算法2497.1优化与深度学习.2497.2梯度下降和随机梯度下降.2547.3小批量随机梯度下降.2627.4动量法.2687.5Adagrad.2767.6RMSProp.2817.7Adadelta.2857.8Adam.2898计算性能2938.1命令式和符号式混合编程.2938.2异步计算.3018.3动并计算.3078.4多 GPU 计算.3108.5多 GPU 计算的 Gluon 实现.3179计算机视觉3239.1图像增.3239.2微调.3339.3标检测和边界框.3399.4锚框.3429.5多尺度标检测.3529.6标检测数据集（卡丘）.3569.7单发多框检测（SSD）.3599.8区域卷积神经络（R-CNN）系列.3719.9语义分割和数据集.378iii9.10 全卷积络（FCN）.3849.11 样式迁移.3949.12 实战 Kaggle 赛：图像分类（CIFAR-10）.4049.13 实战 Kaggle 赛：狗的品种识别(ImageNet Dogs).41310 然语处理42310.1 词嵌（word2vec）.42310.2 近似训练.42910.3 Word2vec 的实现.43210.4 词嵌（fastText）.44310.5 全局向量的词嵌（GloVe）.44410.6 求近义词和类词.44810.7 本情感分类：使循环神经络.45210.8 本情感分类：使卷积神经络（textCNN）.45810.9 编码器解码器（seq2seq）.46510.10 束搜索.46810.11 注意机制.47210.12 机器翻译.47611 附录48711.1 主要符号览.48711.2 数学基础.48911.3 使 Jupyter 记事本.49611.4 使 AWS 运代码.50311.5 GPU 购买指南.51411.6 如何为本书贡献.51711.7 gluonbook 包索引.522iv1引深度学习在近年来发展极为迅速。它在智能时代深刻改变着类的产活式。本章将简要介绍什么是深度学习，以及如何使本书。1.1 前就在年前，不管在公司还是创业公司，都鲜有程师和科学家来将深度学习应到智能产品与服务中。作为深度学习前的神经络，才刚刚摆脱被机器学习学术界认为是过时具的印象。那个时候，即使是机器学习也新闻头条的常客。它仅仅被看作是具有前瞻性，并拥有系列小范围实际应的学科。在包含计算机视觉和然语处理在内的实际应通常需要量的相关领域知识：这些实际应被视为相互独的领域，而机器学习只占其中小部分。然而仅仅在这年之内，深度学习便令全世界吃惊。它常有地推动了计算机视觉、然语处理、动语识别、强化学习和统计建模等多个领域的快速发展。随着这些领域的不断进步，我们现在可以制造动驾驶的汽，通过短信、邮件甚电话的动回复系统，以及在围棋中击败最优秀类选的软件。这些由深度学习带来的新具也正产着泛的影响：它们改变1了电影制作和疾病诊断的式，并在从天体物理学到物学等各个基础科学中扮演越来越重要的。与此同时，深度学习也给它的使者们带来了独的挑战：任何单的应都汇集了各学科的知识。具体来说，应深度学习需要同时理解：1.问题的动机和特点；2.将量不同类型神经络层通过特定式组合在起的模型背后的数学原理；3.在原始数据上拟合极复杂的深层模型的优化算法；4.有效训练模型、避免数值计算陷阱以及充分利硬件性能所需的程技能；5.为解决案挑选合适的变量（超参数）组合的经验。同样，我们位作者也临前所未有的挑战：我们需要在有限的篇幅糅合深度学习的多知识，从而使读者能够较快理解并应深度学习技术。本书代表了我们的种尝试：我们将教给读者概念、背景知识和代码；我们将在同个地阐述剖析问题所需的批判性思维、解决问题所需的数学知识，以及实现解决案所需的程技能。1.1.1 包含代码、数学、讨论的统资源我们在 2017 年 7 启动了写作这本书的项。当时我们需要向解释 Apache MXNet 在那时的新接口 Gluon。不幸的是，我们并没有找到任何个资源可以同时满以下点需求：1.包含较新的法和应，并不断更新；2.泛覆盖现代深度学习技术并具有定的技术深度；3.既是严谨的教科书，是包含可运代码的动的教程。那时，我们在博客和 Github 上找到了量的演特定深度学习框架（例如 TensorFlow 进数值计算）或实现特定模型（例如 AlexNet、ResNet 等）的例代码。这些例代码的价值在于提供了教科书或论往往省略的实现细节，如数据的处理和运算的效率实现。如果不了解这些，即使能将算法倒背如流，也难以将算法应到的项中去。此外，这些例代码还使得能通过观察修改代码所导致的结果变化而快速验证想法、积累经验。因此，我们坚信动实践对于学习深度学习的重要性。然而可惜的是，这些例代码通常侧重于如何实现给定的法，却忽略了有关算法设计的探究或者实现细节的解释。虽然在像 Distill 这样的站和某些博客上出现了些有关算法设计和实现细节的讨论，但它们常常缺少例代码，并通常仅覆盖深度学习的小部分。21.引另外，我们欣喜地看到了些有关深度学习的教科书不断问世，其中最著名的要数 Goodfellow、Bengio 和 Courville 的深度学习。该书梳理了深度学习背后的众多概念与法，是本极为优秀的教材。然而，这类资源并没有将概念描述与实际代码相结合，以于有时会令读者对如何实现它们感到毫头绪。除了这些以外，商业课程提供者们虽然制作了众多的优质资源，但它们的付费槛依然令不少望而畏。正因为这样，深度学习，尤其是初学者，往往不得不参考来源不同的多种资料。例如，通过教科书或者论来掌握算法及其相关数学知识，阅读线上档学习深度学习框架的使法，然后寻找感兴趣的算法在这个框架上的实现并摸索如何将它应到的项中去。如果你正亲经历这过程，你可能会感到痛苦：不同来源的资料有时难以相互对应，即便能够对应也可能需要花费量的精。例如，我们需要将某篇论公式中的数学变量与某段上实现中的程序变量对应，并在代码中找到论可能没交代清楚的实现细节，甚要为运不同的代码安装不同的运环境。针对以上存在的痛点，我们正在着创建个为实现以下标的统资源：1.所有均可在上免费获取；2.提供够的技术深度，从而帮助读者实际成为深度学习应科学家：既理解数学原理，能够实现并不断改进法；3.包含可运代码，为读者展如何在实际中解决问题。这样不仅直接将数学公式对应成实际代码，而且可以通过修改代码、观察结果而及时获取经验；4.允许我们和整个社区不断快速迭代内容，从而紧跟仍在速发展的深度学习领域；5.由包含有关技术细节问答的论坛作为补充，使家可以相互答疑并交换经验。这些标往往互有冲突：公式、定理和引最容易通过 LaTeX 进管理和展，代码然应该简单易懂的 Python 描述，而本应该是堆 HTML 及配套的 CSS 和 JavaScript。此外，我们希望这个资源可以作为可执代码、实体书以及站。然而，前并没有任何具可以完美地满以上所有需求。因此，我们不得不来集成这样的个作流。我们决定在 Github 上分享源代码并允许提交编辑，通过 Jupyter 记事本来整合代码、公式、本、图等，使 Sphinx 作为渲染引擎来成不同格式的输出，并使 Discourse 作为论坛。虽然我们的系统尚未完善，但这些选择在互有冲突的标之间取得了较好的折中。这很可能是使这种集成作流发布的第本书。1.1.前31.1.2 从在线课程到纸质书本书的两位中国作者曾每周末在线免费讲授“动学深度学习”系列课程。课程的讲义然成为了本书内容的蓝本。这个课程持续了 5 个，期间近 3000 名同学参与了讨论，并贡献了近 5000多个有价值的讨论，特别是其中个参加赛的练习很受欢迎。这个课程的受欢迎程度出乎我们的意料。尽管我们将课件和课程视频都公开在了上，但我们同时觉得出版成纸质书也许能让更多喜爱纸质阅读的读者受益。因此，我们委托邮电出版社来出版这本书。从蓝本到成书花费了更多的时间。我们对所有涉及的所有技术点补充了背景介绍，并使了更加严谨的写作格，还对版式和意图做了量修改。书中所有的代码执结果都是动成的，任何改动都会触发对书中每段代码的测试，以保证读者在动实践时能复现结果。我们的初衷是让更多更容易地使深度学习。为了让家能够便利地获取这些资源，我们保留了免费的站内容，并且通过不收取出版稿费的式来降低纸质书的价格，使更多有能购买。1.1.3 致谢我们感谢本书的中英版稿件贡献者和论坛们。他们帮助增添或改进了书中内容并提供了有价值的反馈。特别地，我们要感谢每位为这本中版开源书提交内容改动的贡献者们。这些贡献者的 Github 名和姓名（如提供）是：aa12356jm（崔永明）、aaronzs（Aaron Sun）、AceCoooool、alues（曾元豪）、Andiedie（周安）、Angzz（李昂）、cgraywang（王晨光）、ChaiBapchya（Chaitanya Prakash Bapat）、daizuozhuo（戴作卓）、danteliujie（刘捷）、daquexian（张建浩）、DarkWings520（梓善）、delphi-tang（唐佐林）、DHRUV536、ding-hai（丁海）、DL-85（郭晶博）、duanhong169（段弘）、elliotxx（杨英明）、eric-haibin-lin（林海滨）、Evensgn（范）、fcbruce（李律）、Feywell（李阳）、fierceX（夏鲁豫）、foreversailor（张鹏）、gcaxuxi（徐曦）、Ghostish（KangelZenn）、GYingchao（RichardCUI）、gyp03（郭云鹏）、haojin2（颢）、hardfish82、hetong007（何通）、HI