11-2课程总结及实用学习建议(1).pdf

本课程是作为爬虫的高阶课程，是介绍爬虫从开发到部署过程中，你必须知道且懂如何处理的每块知识点，且懂的举一反三，突破不一样的反爬屏障。每块知识点都有非常多的内容，以及千奇百怪的技术，但是整体是不会变的。多抓多练，见识不一样的反爬技巧并去分析具体的反爬原理。课程每章都是重点介绍一个突破口，其他的知识点，需要拓展性的思维去解析并突破。看下每章内容的介绍。1.HTTP网络知识网络知识HTTP知识是爬虫的理论基础，大致了解HTTP的历史以及具体的工作原理，可以更好的理解爬虫的工作原理。爬虫本质就是HTTP请求，课程中对于HTTP的爬虫相关内容做了介绍，例如UA、状态码、请求头信息、HTTPS证书等。2.代理代理IP服务服务代理服务是每个爬虫都会需要的，了解市面上的各大IP服务商的优势劣势。使用squid自建代理服务，然后搭配市面上的IP产品，组建最适合自己爬虫项目的代理IP池。3.破解破解JS的加解密过程的加解密过程前端反爬，一般在两个地方，一个是登录这里，有短信验证码登录、图形验证码、滑动验证码、点击验证码、密码加密等方法。验证码是区别人和机器人的，这个有Cookie池或人工识别可以绕过去。加密这个，要么使用浏览器慢点，要么硬钢，可以让爬虫运行的更快。破解JS的加密过程，也是一项硬技术，比较麻烦，但是破解后爬虫运行可以飞快。4.Cookie池的作用和搭建池的作用和搭建Cookie，应对需要登录才能抓取的有价值数据；要抓大量数据，我们就需要大量Cookie，用Cookie池来管理，方便维护以及爬虫的调度。Cookie池难度不大，但是是必须掌握的一部分。其实账号还挺贵的，技术不难但是费钱。5.借助浏览器提高开发效率借助浏览器提高开发效率要想爬虫跑得快，尽量避开浏览器。但是想开发简单，不用去细究各种反爬细节，还得借助浏览器。浏览器可以轻松绕过复杂的反爬，就是运行慢。如果赶时间抓一些数据，借助浏览器还是可以的。但是爬虫一般都是抓取大量数据，效率慢肯定是不行的，所以在使用浏览器的过程当中，要尽可能的减少，只能做一些绕过难以突破的技术上。6.关于网页加密内容的逆向处理关于网页加密内容的逆向处理网站的反爬，一般都是限制爬虫拿到数据。现在获取到了网页内容，就差一个逆向处理加密内容，这是另一个要解决的难点。网页内容加密，但是浏览器可以正常展示给普通用户观看，我们就必须逆着浏览器的运行流程，逆向的解密出来。字体渲染是其中一种方法，也算是普遍的卡爬虫脖子的成熟技术了。7.分布式爬虫实战和大数据方案分布式爬虫实战和大数据方案一个爬虫拿到了数据，就可以批量的拷贝爬虫，拿到大量数据。这里就需要分布式爬虫了，快速且兼备容错和纠错的爬虫框架。面对大量，甚至不可估量的数据，以及未来数据的增加，分布式爬虫框的部署，不亚于一个中型网站的服务器配置。1分布式爬虫可以在极短的时间内获得大量的数据，而且后台还需要一个庞大的数据库，或者大数据框架，来接收并存储海量涌入的数据。总结总结上面提及到的章节，是课程的主干内容。每个章节都是做爬虫不可忽视的一部分，并且爬虫和网站的博弈，一直在进行。网站的目的是运营，在反爬上不会下血本，只会适度的阻挡爬虫的抓取。爬虫的抓取，也不能影响网站的正常运营。在不影响网站正常运营的情况下，持续的低速抓取，才是爬虫获取数据的王道。对于网站反爬的迭代，和爬虫技术的更新，要有举一反三的思维，来持续跟进新技术。2