深度学习框架PyTorch快速开发与实战.pdf

CMYCMMYCYCMYK深度学框架PyTorch快速开与fy.pdf 1 2018/7/13 9:49:46 内 容 简 介 深度学习已经成为人工智能炙手可热的技术，PyTorch 是一个较新的、容易上手的深度学习开源框架，目前已得到广泛应用。本书从 PyTorch 框架结构出发，通过案例主要介绍了线性回归、逻辑回归、前馈神经网络、卷积神经网络、循环神经网络、自编码模型、以及生成对抗网络。本书作为深度学习的入门教材，省略了大量的数学模型推导，适合深度学习初学者，人工智能领域的从业者，以及深度学习感兴趣的人阅读。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 深度学习框架 PyTorch 快速开发与实战邢梦来，王硕，孙洋洋编著.北京：电子工业出版社，2018.8 ISBN 978-7-121-34564-7 .深 .邢 王 孙 .机器学习 .TP181 中国版本图书馆 CIP 数据核字（2018）第 135158 号 策划编辑：黄爱萍 责任编辑：张彦红 印 刷：北京季蜂印刷有限公司 装 订：北京季蜂印刷有限公司 出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编：100036 开 本：7201000 1/16 印张：14.5 字数：232 千字 版 次：2018 年 8 月第 1 版 印 次：2018 年 8 月第 1 次印刷 定 价：69.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888，88258888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。本书咨询联系方式：（010）51260888-819，。前 言 日常生活中，人工智能悄悄地影响着我们。随着人工智能的技术的发展，现代几乎各种技术的发展都涉及了人工智能技术，可以说人工智能已经广泛应用到许多领域，其典型的应用包括：信息检索应用、推荐系统、语音识别、自然语言处理、图像识别、智能家居等。以人工智能在语音识别，语音合成上的结果看，2016 年 10 月份由微软美国研究院发布的一个语音识别的最新结果实现了错误率为 5.9%的新突破，这是第一次用人工智能技术取得了跟人类似的语音识别的错误率。人工智能一直处于计算机技术的前沿，人工智能研究的理论和发现在很大程度上将决定计算机技术的发展方向。为了适应新一轮的科技发展，培养高端人才，人工智能进入国家发展战略。2017 年 7 月，国务院印发新一代人工智能发展规划，其中提到，新一代人工智能发展分三步走的战略目标，到 2030 年使中国人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心。为此，我们积极学习人工智能前沿知识，适应科技进步。本书选用 Facebook 开源深度学习库 PyTorch 作为深度学习框架。常用的深度学习开源平台有 TensorFlow、Theano、Keras、Caffe 等。在 TensorFlow的官网上，它被定义为一个用于机器智能的开源软件库，使用 TensorFlow需要编写大量的代码，个人觉得不适合初学者。IV 深度学习框架 PyTorch 快速开发与实战 Theano 是比较老牌和最稳定的库之一。由于 Theano 不支持多 GPU 扩展，在深度学习开源平台快速更新迭代的浪潮下，Theano 已然开始慢慢被遗忘了。Keras 句法比较明晰，文档完善，使用非常简单轻松。Keras 强调极简主义，只需几行代码就能构建一个神经网络，适合新人学习。Caffe 是老牌中的老牌框架。起初的时候它仅仅关注计算机视觉，但它具有非常好的通用性。Caffe 的缺点是它不够灵活，同时 Caffe 的文档非常贫乏。张量是 PyTorch 的一个完美组件，和 NumPy 类似。将张量从 NumPy转换至 PyTorch 非常容易。可以把它作为 NumPy 的替代品。PyTorch 这种框架可以获得 GPU 加速，以便快速进行数据预处理，或其他任务。PyTorch同时也提供了变量，我们在构建神经网络的时候，在张量之上的封装，构建自己的计算图，并自动计算梯度。PyTorch 建立的是动态图，TensorFlow建立的是静态图。PyTorch 更加符合一般的编程习惯，而不是像 TensorFlow那样需要先定义计算图。虽然开源平台众多，但更多的时候，我们考虑实现算法的简捷性，通常选择容易上手的，能快速实现算法的开源平台。为此，我们需要选择适合自己的深度学习开源平台，实现深度学习算法。学习深度学习理论知识，了解人工智能行业发展动态，掌握前沿科学技术。利用 PyTorch 开源平台快速实现经典卷积神经网络、循环神经网络、自编码模型、对抗生成网络等模型。开启海绵模式，尽可能多学原理知识，掌握机器学习的基础理论知识，然后针对性地训练。通常从收集数据，预处理和清洗数据，到搭建模型，训练和调试模型，再到最后评估模型。逐渐培养出对于什么样的数据适合用什么类型的模型的判断能力，并增强实践能力。经过学习，逐渐从“小白”，慢慢到专业人士。有兴趣的读者欢迎加入本书交流群，一起交流学习。同时，本书所有案例的代码统一放在 QQ 群文件里，群号为 662443475，或在博文视点官网下载：。前言 V 致谢 感谢电子工业出版社的黄爱萍编辑，在选题策划和稿件整理方面做出的大量工作。感谢极宽开源量化团队给予的技术支持。在本书的创作中，特别感谢张建辉、刘笑俐、王丽颖、刘晓峰、刘婷、沈雨涵的协助，为他们的付出表示感谢。邢梦来 2018 年 6 月 轻松注册成为博文视点社区用户（），扫码直达本书页面。?下载资源：本书如提供示例代码及资源文件，均可在 下载资源 处下载。?提交勘误：您对书中内容的修改意见可在 提交勘误 处提交，若被采纳，将获赠博文视点社区积分（在您购买电子书时，积分可用来抵扣相应金额）。?交流互动：在页面下方 读者评论 处留下您的疑问或观点，与我们和其他读者一同学习交流。页面入口：http:/ 目 录 第一部分 理论部分 第 1 章 深度学习简介.2 1.1 深度学习.2 1.2 神经网络的发展.6 1.3 深度学习的应用.7 1.4 常用的数学知识和机器学习算法.8 1.5 PyTorch 简介.11 1.5.1 PyTorch 介绍.11 1.5.2 使用 PyTorch 的公司.15 1.5.3 PyTorch API.16 1.5.4 为什么选择 Python 语言.16 1.5.5 Python 语言的特点.16 1.6 常用的机器学习、深度学习开源框架.17 1.7 其他常用的模块库.19 1.8 深度学习常用名词.20 第 2 章 PyTorch 环境安装.33 2.1 基于 Ubuntu 环境的安装.33 2.1.1 安装 Anaconda.35 VIII 深度学习框架 PyTorch 快速开发与实战 2.1.2 设置国内镜像.36 2.2 Conda 命令安装 PyTorch.37 2.3 pip 命令安装 PyTorch.37 2.4 配置 CUDA.38 第 3 章 PyTorch 基础知识.40 3.1 张量.40 3.2 数学操作.43 3.3 数理统计.44 3.4 比较操作.45 第 4 章 简单案例入门.47 4.1 线性回归.47 4.2 逻辑回归.52 第 5 章 前馈神经网络.59 5.1 实现前馈神经网络.61 5.2 数据集.68 5.3 卷积层.72 5.4 Functional 函数.75 5.5 优化算法.82 5.6 自动求导机制.85 5.7 保存和加载模型.87 5.8 GPU 加速运算.87 第 6 章 PyTorch 可视化工具.89 6.1 Visdom 介绍.89 6.2 Visdom 基本概念.90 6.2.1 Panes（窗格）.90 6.2.2 Environments（环境）.90 6.2.3 State（状态）.91 6.3 安装 Visdom.91 6.4 可视化接口.91 目录 IX 6.4.1 Python 函数属性提取技巧.92 6.4.2 vis.text.93 6.4.3 vis.image.93 6.4.4 vis.scatter.94 6.4.5 vis.line.95 6.4.6 vis.stem.97 6.4.7 vis.heatmap.97 6.4.8 vis.bar.99 6.4.9 vis.histogram.101 6.4.10 vis.boxplot.102 6.4.11 vis.surf.103 6.4.12 vis.contour.104 6.4.13 vis.mesh.106 6.4.14 vis.svg.107 第二部分 实战部分 第 7 章 卷积神经网络.110 7.1 卷积层.112 7.2 池化层.114 7.3 经典的卷积神经网络.115 7.3.1 LeNet-5 神经网络结构.115 7.3.2 ImageNet-2010 网络结构.117 7.3.3 VGGNet 网络结构.122 7.3.4 GoodLeNet 网络结构.124 7.3.5 ResNet 网络结构.126 7.4 卷积神经网络案例.129 7.5 深度残差模型案例.138 第 8 章 循环神经网络简介.145 8.1 循环神经网络模型结构.146 8.2 不同类型的 RNN.147 8.3 LSTM 结构具体解析.151 X 深度学习框架 PyTorch 快速开发与实战 8.4 LSTM 的变体.153 8.5 循环神经网络实现.156 8.5.1 循环神经网络案例.156 8.5.2 双向 RNN 案例.160 第 9 章 自编码模型.164 第 10 章 对抗生成网络.172 10.1 DCGAN 原理.175 10.2 GAN 对抗生成网络实例.180 第 11 章 Seq2seq 自然语言处理.186 11.1 Seq2seq 自然语言处理简介.186 11.2 Seq2seq 自然语言处理案例.188 第 12 章 利用 PyTorch 实现量化交易.204 12.1 线性回归预测股价.205 12.2 前馈神经网络预测股价.209 12.3 递归神经网络预测股价.214 第一部分 理论部分 第 1 章 深度学习简介 第 2 章 PyTorch 环境安装 第 3 章 PyTorch 基础知识 第 4 章 简单案例入门 第 5 章 前馈神经网络 第 6 章 PyTorch 可视化工具 1 第 1 章 深度学习简介 在北京时间 2016 年 3 月 15 日的下午，谷歌 DeepMind 团队开发的围棋深度学习系统 AlphaGo 以总比分 41 战胜了韩国棋手李世石，成为第一个在 1919 棋盘上战胜人类围棋冠军的智能系统。2017 年 10 月 19 日，DeepMind 团队重磅发布 AlphaGo Zero。相比上一代 AlphaGo，该版本的AlphaGo实现了在AI发展中非常有意义的一步“无师自通”。在AlphaGo的核心组成部分中，估值网络（Value Network）和走棋网络（Policy Network）都使用了深度学习的技术。AlphaGo 战胜李世石的新闻成功地把深度学习的概念从学术界推向了大众，并点燃了大众对于人工智能的巨大热情。AlphaGo Zero 的伟大之处是第一次让机器可以不通过任何棋谱，不通过任何人类的经验，在只告诉规则的前提下，成为一个围棋高手，这种无师自通的学习模式在 AI 整个发展历史上是非常有意义的。1.1 深度学习 深度学习的概念由 Hinton 等人于 2006 年提出。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层次表示属性类别或特征，以发现数据的分布式特征表示。1 第 1 章 深度学习简介 3 深度学习在完成一些难度极高的任务中展