Python数据分析入门——从数据获取到可视化.pdf

CMYCMMYCYCMYK33653-“.pdf 1 2018/2/5 下午4:45 内 容 简 介 本书作为数据分析的入门图书，以 Python 语言为基础，介绍了数据分析的整个流程。本书内容涵盖数据的获取（即网络爬虫程序的设计）、前期数据的清洗和处理、运用机器学习算法进行建模分析，以及使用可视化的方法展示数据及结果。首先，书中不会涉及过于高级的语法，不过还是希望读者有一定的语法基础，这样可以更好地理解本书的内容。其次，本书重点在于应用 Python 来完成一些数据分析和数据处理的工作，即如何使用 Python 来完成工作而非专注于 Python 语言语法等原理的讲解。本书的目的是让初学者不论对数据分析流程本身还是 Python语言，都能有一个十分直观的感受，为以后的深入学习打下基础。最后，读者不必须按顺序通读本书，因为各个章节层次比较分明，可以根据兴趣或者需要来自行安排。例如第 5 章介绍了一些实战的小项目，有趣且难度不大，大家可以在学习前面内容之余来阅读这部分内容。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 Python 数据分析入门：从数据获取到可视化/沈祥壮著.北京：电子工业出版社，2018.3 ISBN 978-7-121-33653-9.P.沈.软件工具程序设计.TP311.561 中国版本图书馆 CIP 数据核字(2018)第 024600 号 策划编辑：石 倩 责任编辑：牛 勇 印 刷：装 订：出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编 100036 开 本：7201000 1/16 印张：16.5 字数：290 千字 版 次：2018 年 3 月第 1 版 印 次：2018 年 3 月第 1 次印刷 印 数：2500 册 定价：59.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888，88258888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。本书咨询联系方式：010-51260888-819，。前言 Python 作为一门优秀的编程语言，近年来受到很多编程爱好者的青睐。一是因为 Python 本身具有简捷优美、易学易用的特点；二是由于互联网的飞速发展，我们正迎来大数据的时代，而 Python 无论是在数据的采集与处理方面，还是在数据分析与可视化方面都有独特的优势。我们可以利用 Python 便捷地开展与数据相关的项目，以很低的学习成本快速完成项目的研究。本书本着实用性的目的，着眼于整个数据分析的流程，介绍了从数据采集到可视化的大致流程。希望借此为 Python 初学者打开数据分析领域的大门，初窥数据分析的奥秘。本书的主要内容 第 1 章主要讲解了在 Ubuntu 和 Windows 系统下，Python 集成开发环境的搭建。考虑到初学者容易为安装第三方库犯难，又介绍了三种简单实用的方法来安装这些常见的库。接着对几个后面要用到的高级语法进行了简单介绍，为之后的应用打下基础。第 2 章集中讲解了数据采集的流程，即网络爬虫程序的设计与实现。首先本章没有拘泥于使用 Python 的内置库 urllib 库进行实现，而是直接介绍了 requests和其他更加简捷强大的库来完成程序的设计。在进阶内容中，对常见的编码问题、Python 数据分析入门从数据获取到可视化 IV异常处理、代理 IP、验证码、机器人协议、模拟登录，以及多线程等相关问题给出了解决的方案。第 3 章讲解数据的清洗问题。在具体讲解清洗数据之前，先介绍了 TXT、XLSX、JSON、CSV 等各种文件的导入和导出的方法，并介绍了 Python 与 MySQL数据库交互的方式。接着介绍了 NumPy 和 pandas 库的基本使用方法，这是我们用于数据处理和科学计算的两个强大的工具。最后综合以上的学习介绍了数据的去重、缺失值的填补等经典的数据清洗方法。第4章首先讲解探索性数据分析的应用，并且简单介绍了机器学习基本知识。然后演示如何应用 sklearn 库提供的决策树和最邻近算法来处理分类问题，并尝试根据算法原理手动实现最邻近算法。最后介绍如何使用 pandas、matplotlib 和seaborn 这三个库来实现数据的可视化。第 5 章是综合性学习的章节，讲解了三个小项目的完整实现过程，旨在通过操作生活中真正的数据来强化前面基础内容的学习。本书的读者对象 本书面向想从事数据工作的 Python 初学者。由于本书并不对 Python 的基础语法做详细的讲解，所以希望读者有一定的语法基础。测试环境及代码 我们使用的语法是基于 Python 3 的，具体是 Python 3.6，用到的第三方库也已经全面支持此版本，所以读者不必担心相关的版本问题；测试环境为 Ubuntu 16.04 LTS 64-Bit。本书中使用的全部代码及相关数据已经托管至 Github,读者可以进入 https:/ 虽然本书只是入门级图书，但是限于笔者水平有限，难免会存在一些错误，有些地方的表述可能也不是那么准确。非常欢迎读者指出本书的不当之处或提出 前言 V 建设性的意见。笔者的电子邮件地址是 。致谢 在本书的撰写过程中受到过很多人的帮助，这里特别感谢刘松学长，感谢学长对笔者本人长久以来的帮助，从他那里我学到了很多关于 Python 语言、机器学习以及计算机视觉等相关知识。另外，特别感谢 IT 工作者谢满锐先生对本书的细心审校，也感谢他为本书的进一步修改提出建设性意见。同时，感谢电子工业出版社石倩、杨嘉媛编辑的帮助。最后，本书参阅了大量的国内外的文献，这里对有关作者表示衷心的感谢。读者服务 轻松注册成为博文视点社区用户（），扫码直达本书页面。提交勘误：您对书中内容的修改意见可在 提交勘误 处提交，若被采纳，将获赠博文视点社区积分（在您购买电子书时，积分可用来抵扣相应金额）。交流互动：在页面下方 读者评论 处留下您的疑问或观点，与我们和其他读者一同学习交流。页面入口：http:/ Python 数据分析入门从数据获取到可视化 VI 目录 1 准备.11.1 开发环境搭建.21.1.1 在 Ubuntu 系统下搭建 Python 集成开发环境.21.1.2 在 Windows 系统下搭建 Python 集成开发环境.131.1.3 三种安装第三方库的方法.161.2 Python 基础语法介绍.191.2.1 if_name_=_main_.201.2.2 列表解析式.221.2.3 装饰器.231.2.4 递归函数.261.2.5 面向对象.271.3 The Zen of Python.28参考文献.302 数据的获取.312.1 爬虫简介.312.2 数据抓取实践.332.2.1 请求网页数据.33 目录 VII 2.2.2 网页解析.382.2.3 数据的存储.462.3 爬虫进阶.502.3.1 异常处理.502.3.2 robots.txt.582.3.3 动态 UA.602.3.4 代理 IP.612.3.5 编码检测.612.3.6 正则表达式入门.632.3.7 模拟登录.692.3.8 验证码问题.742.3.9 动态加载内容的获取.842.3.10 多线程与多进程.932.4 爬虫总结.101参考文献.1023 数据的存取与清洗.1033.1 数据存取.1033.1.1 基本文件操作.1033.1.2 CSV 文件的存取.1113.1.3 JSON 文件的存取.1163.1.4 XLSX 文件的存取.1213.1.5 MySQL 数据库文件的存取.1373.2 NumPy.1453.2.1 NumPy 简介.1453.2.2 NumPy 基本操作.1463.3 pandas.1583.3.1 pandas 简介.1583.3.2 Series 与 DataFrame 的使用.1593.3.3 布尔值数组与函数应用.1693.4 数据的清洗.1743.4.1 编码问题.1743.4.2 缺失值的检测与处理.1753.4.3 去除异常值.181Python 数据分析入门从数据获取到可视化 VIII 3.4.4 去除重复值与冗余信息.1833.4.5 注意事项.185参考文献.1874 数据的分析及可视化.1884.1 探索性数据分析.1894.1.1 基本流程.1894.1.2 数据降维.1974.2 机器学习入门.1994.2.1 机器学习简介.2004.2.2 决策树机器学习算法的应用.2024.3 手动实现 KNN 算法.2054.3.1 特例最邻近分类器.2054.3.2 KNN 算法的完整实现.2134.4 数据可视化.2154.4.1 高质量作图工具matplotlib.2154.4.2 快速作图工具pandas 与 matplotlib.2234.4.3 简捷作图工具seaborn 与 matplotlib.2264.4.4 词云图.230参考文献.2325 Python 与生活.2345.1 定制一个新闻提醒服务.2345.1.1 新闻数据的抓取.2355.1.2 实现邮件发送功能.2375.1.3 定时执行及本地日志记录.2395.2 Python 与数学.2415.2.1 估计 值.2425.2.2 三门问题.2455.2.3 解决 LP 与 QP 问题（选读）.2475.3 QQ 群聊天记录数据分析.251参考文献.256 1 准备 学习目标 完成 Linux 或 Windows 系统下 Python 集成开发环境的搭建 了解 Python 基础知识 本章作为学习 Python 前的准备环节，主要分为开发环境搭建和 Python 基础语法介绍两部分。这里将介绍在 Linux（实际测试环境为 Ubuntu 16.04 LTS 64Bit）和 Windows 系统下（实际测试环境为 Windows 10）搭建 Python 集成开发环境的详细步骤，以及 Anaconda（附带 Spyder 编辑器）和 PyCharm 的安装与配置。鉴于本书面向 Python 初学者，所以操作步骤比较详细，已经完成安装的读者可以略过此环境配置部分。但是建议大家阅读使用 conda 和 pip 安装第三方库的部分，本书中讲到的所有库均通过这两种包管理器安装。此外本章将介绍一些 Python的基本语法。当然，这里只是粗略地介绍一些初学者难以理解的内容，例如装饰器和列表解析等。Python 数据分析入门从数据获取到可视化 2 1.1 开发环境搭建 本书所有的代码都是在 Ubuntu 16.04 LTS 64 Bit 英文版系统下完成的，因此首先将介绍在 Ubuntu 下环境的搭建。当然，考虑到有很多读者使用的是 Windows系统，所以也会对 Windows 下环境的搭建进行相应的介绍，这里我们选用的是Windows 10。对于编程学习者来说，Linux 是一个很好的系统，它有多种开源的工具可以给我们的开发带来便利，同时其活跃的社区环境和网络上大量的资料使得日常遇到的大部分问题可以迅速得到解决。所以建议读者在 Linux 系统环境下进行开发，开始的时候可以尝试在虚拟机中使用，之后考虑在本机上直接安装。当然，在 Windows 系统下开发并不影响学习本书的内容。1.1.1 在 Ubuntu 系统下搭建 Python 集成开发环境 1Anaconda（Spyder）安装与配置 Ubuntu 是自带 Python 环境的（Python 2），按下快捷键Ctrl+Alt+T（或者在桌面空白处单击右键，在弹出的快捷菜单中选择“open terminal”命令）打开终端，输入 python 即可，如图 1-1 所示。图 1-1 由于我们学习的是 Python 3，所以将使用 Anaconda 完成 Python 3 的环境配置。1 准备 3 “Anaconda是用于大规模数据处理、预测分析和科学