PaaS实现与运维管理_基于Mesos +Docker+ELK的实战指南.pdf

PaaS 实现与运维管理：实现与运维管理：基于基于 Mesos+Docker+ELK 的实战指南的实战指南 余何 编著 Publishing House of Electronics Industry 北京BEIJING PaaS 实现与运维管理：基于 Mesos+Docker+ELK 的实战指南 II 内 容 简 介 本书主要阐述了云计算中 PaaS 平台的实现与运维管理，分为四大部分，分别是概念模型、基础资源、平台实现与运维管理，共十五章。第一部分阐述了运维与开发之间的关系、这层关系存在的矛盾，以及 PaaS 是如何有效缓解其矛盾的；第二部分勾勒出了数据中心的计算、网络、存储三大资源的主干，避免让人陷入上层的种种产品中；第三部分通过开源产品来构建一个完整的 PaaS 平台，包括资源管理、任务调度、计算单元打包、分布式协调、日志集中等；第四部分对运维管理进行了实践。本书适合运维工程师、运维管理人员，以及希望在 PaaS 上运行分布式、可伸缩、高可用的后端开发工程师阅读。未经许可，不得以任何方式复制或抄袭本书之部分或全部内容。版权所有，侵权必究。图书在版编目（CIP）数据 PaaS 实现与运维管理：基于 Mesos+Docker+ELK 的实战指南余何编著.北京：电子工业出版社，2016.2 ISBN 978-7-121-27502-9.P.余.程序语言程序设计.TP312 中国版本图书馆 CIP数据核字（2015）第 262151 号 责任编辑：孙学瑛 印 刷：三河市双峰印刷装订有限公司 装 订：三河市双峰印刷装订有限公司 出版发行：电子工业出版社 北京市海淀区万寿路 173 信箱 邮编 100036 开 本：7871092 1/16 印张：27.75 字数：620 千字 版 次：2016 年 2 月第 1 版 印 次：2016 年 2 月第 1 次印刷 印 数：3000 册 定价：79.00 元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书店售缺，请与本社发行部联系，联系及邮购电话：（010）88254888。质量投诉请发邮件至 ，盗版侵权举报请发邮件至 。服务热线：（010）88258888。推荐语 III 推荐语 本书最大的特点是理论联系实际，深入浅出地讲解了 PaaS 的实现方法，涉及当下非常热门的 Docker、Mesos 技术，更难能可贵的是，作者同时分享了珍贵的运维实践经验，我为读者能看到本书的精彩内容而感到高兴。“KVM虚拟化实践”公众号维护者、珠海金山西山居系统运维经理 肖力 每一名 IT工程师都有自己的 PaaS平台梦，这才有近年来风行的 GAE、CloudFoundry、Docker。然而 PaaS 要在企业中应用推广，绝不是改个容器或虚拟机那么简单。本书以 PaaS为题，内容却覆盖了平台建设的理论基础、技术实现、配套系统和流程管理，是作者多年实践经验的精华所在，堪称大型企业应用运维平台化的指导用书。微博运维团队系统架构师 饶琛琳 PaaS 越来越受到重视，它是未来真正的高效运维利器。本书作者有着丰富的一线运维经验，在本书中从 PaaS 平台的多个角度阐述了其核心原理与技术实现。值得称赞的是，作者还给出了应用系统如何适应 PaaS 及对 PaaS 应用的运维管理，让我们对 PaaS 平台有了系统而全面的认识。优维科技创始人、互联网运维杂谈 王津银 国内有不少运维同行在自己的业务领域尝试引入私有 IaaS 技术，因此催生了不少分享 IaaS 体系理念及实践的资料和书籍。伴随着愈演愈烈的竞争，互联网业务对运营及运维能力的要求也会不断攀升，大家会慢慢意识到私有云的概念停留在 IaaS 层面是远远不够的。国内分享 PaaS 体系的理念及实践的资料和书籍并不多，本书不但对 PaaS理论及基础概念介绍得比较清楚，而且以平安科技的实践经验为背景，对广大运维及运营开发同行会有很大的帮助。腾讯游戏蓝鲸产品中心总监 咖啡党 云服务是当前炙手可热的话题，现在业务使用云服务是趋势，百度内部的业务线也很早就在推广 Matrix、PaaS 技术。本书内容通俗易懂，讲解由浅至深，读者既能从书PaaS 实现与运维管理：基于 Mesos+Docker+ELK 的实战指南 IV 中了解到云服务的现状，又能从细节上了解 PaaS 的实现原理。作者本身对 PaaS 有着丰富的实战经验，结合书中丰富的源代码，能使读者快速踏入 PaaS领域。百度国际化首席架构师、广告变现技术团队负责人 谢朴锐 相较 IaaS 而言，PaaS 更为丰富、可操作性更强，作者精选多种流行、前沿的 PaaS 工具、产品及运维自动化工具，再辅以基础理论知识和个人多年运维行业技术经验写成本书。本书文字朴实易懂、图文并茂，适合运维同仁们细细阅读。开放运维联盟联合主席、高效运维技术社区创始人 萧田国 推荐序一 V 推荐序一 第一次见作者是在 2007 年年中，他刚到平安科技入职。初次交谈，他给我最大的印象是虚心好学，积极上进。当时为了提升团队整体的计算机专业水平，我们进行了约一年的内部相互学习和培训，重点放在计算机最底层的计算机组成和程序运行原理上。记得第一次安排他做的培训题目是从软件破解的角度去了解计算机软件。他用了两周来学习和准备就可以大致讲明白编译运行类程序的内存布局和进行破解的方法。这种自学的激情和效率不是所有人都能做到的，正是这种好学上进的精神成就了今天的他。其实，要把计算机方面的工作做到极致，必须要有这种精神。作者与我在一个 IT 团队共事五年，我们一起经历过系统运维一线的种种复杂而烦琐的工作：应用环境构建、问题应对、重大事故处理、运维管理我们曾经通宵达旦地解决事故背后的疑难问题，曾经为解决运维中的资源管理、监控、自动化、工作协同等问题一起设计并开发运维工作平台。多年前，我们有一个想法：我们的团队亲身经历所获取的经验和教训，整理下来就是一本很好的书。一年前，作者提到自己准备写一本反映 IT 运维工作本源和真谛的书。当时觉得，IT 运维工作者确实需要这样一本书。市面上的运维书籍多在讲解如何去使用某个软件或者系统，却很少提及如何面对多种多样的系统、软件、硬件，更谈不上从本质和道理层面上去讲解运维的本真。对于任何一个事物，如果我们掌握了它的本质，则应对起来会更加游刃有余。好比程序员读懂了 Programming from ground up，OS 管理员读懂了计算机的心智操作系统之哲学原理，创业者读懂了创业维艰。虽然，现在本书把重点放在了 PaaS，但多从计算机技术本质角度提出问题和解决问题，也算是回归了运维本真的思路。IT 运维有两种复杂度：一是应用规模大，一个应用要应对海量访问，例如上了规模的互联网运维；二是应用数量多，碎片化小应用特别多，例如大企业中大量的异构小应用和复杂的网络拓扑。这两种复杂度带来的问题总是让人头疼。面对这些复杂的问题，如何选择合适的技术和方法进行应用的快速构建、资源配置、信息管理、监控、操作自动化等，并没有一致的答案。要有答案，需要你充分考虑和分析所在环境的团队素质、外部资源支持、应用特点等因素。作者以自己的亲身工作经验为背景，对这些重要内容进行了讲解。引用爱恩斯坦的一句话：Any intelligent fool can make things bigger,more complex,and PaaS 实现与运维管理：基于 Mesos+Docker+ELK 的实战指南 VI more violent.It takes a touch of genius and a lot of courage to move in the opposite direction，意思是自命不凡的学者总会把事物变得更大、更复杂和更剧烈，而在相反方向上努力是需要不凡的天赋和极大的勇气的。IT运维工作者，你懂的！TechSure创始人兼 CEO 温海波 2015 年 10 月 推荐序二 VII 推荐序二 云计算正在中国普及，在 IaaS、PaaS、SaaS 的三层服务里：IaaS 的标准相对成熟；SaaS 百花齐放、新应用层出不穷；PaaS 作为衔接 IaaS 与 SaaS 的平台服务层，现在越来越受到人们的重视，专门提供 PaaS的创业公司也越来越多了。本书介绍了比较常见和重要的 PaaS 系统，包括基于容器的操作系统虚拟化技术Docker、分布式协调系统 ZooKeeper、资源管理系统 Mesos、服务调度框架 Marathon、大数据处理架构 Spark、日志搜索分析系统 ELK 等。Docker、Mesos、Spark、ELK 等系统在美国都有专门的创业公司如 Docker、Mesosphere、Databricks、Elastic 等知名公司在开发并提供技术支持服务，这些公司受到了风险投资界的追捧。更有专门的公司开发和维护这些系统，这是对其生命力和前途的背书。这些系统已经在业界得到广泛应用，每一位对云计算感兴趣的技术人员都应该了解这些系统。以日志管理为例，一家公司的服务器、网络设备、应用系统每时每刻都在产生日志，大公司的 IT 系统可能每秒产生超过 10 万条日志，每天产生的日志量达到 TB 级。这些日志包含了极其重要的运维信息和业务信息，但分散在服务器和网络设备上，需要登录每台设备上查看，存储空间满了就被覆盖、删除，管理非常不方便。一些大公司建立了日志管理系统，把分散在各台设备上的日志采集上来，集中管理，并提供查询、分析、统计等功能。因为日志是非结构化数据，传统的使用数据库的处理方式不适合日志处理，于是出现了 ELK这种采用实时搜索引擎处理日志的开源系统。本书详细介绍了 ELK。另外，本书也涵盖了数据中心运维技术和管理如配置、监控、变更等，对 GAE、Cloud Foundry、Heroku等国外热门的 PaaS也有介绍，对运维工程师大有裨益。本书作者在平安科技从事运维管理工作多年，经历了平安科技从金融 IT 到互联网金融的转变。互联网强调快速迭代，金融 IT 强调稳定合规，能把这对矛盾体结合在一起，实属不易。作者在这方面积累了丰富的经验，现在把这些宝贵经验分享出来，是对 IT 运维界的贡献，希望本书能够对云平台运维工程师有所帮助。日志易创始人兼 CEO 陈军 2015 年 9 月 PaaS 实现与运维管理：基于 Mesos+Docker+ELK 的实战指南 VIII 前 言 古往今来随风去，书剑相伴两袖空 笔者在运维领域耕耘十余载。2007 年加入平安集团旗下的科技公司，2011 年主导了业内最大的应用迁徙与架构变更，2012 年开展 IT 运维管理变革，打通横向条线，实现了技能融合。光阴荏苒，日月如梭，运维往事历历在目，我们流过汗，熬过夜，摊过事，也拿过奖，运维是一个从无到有、日积月累、不断提升的过程，也是一个需要耐得住寂寞，顶得住压力的行当，在此与正奋斗在运维一线的伙伴们共勉。平安 IT 经历了企业信息管理部、国际领先 IT 服务公司、互联网金融三个历史阶段，每一次蜕变都紧随时代步伐，拥抱技术革新，创造业务价值。从企业 ERP、PC 互联、移动互联、云计算到大数据，运维人一直在奔袭，从未停歇。企业信息管理时期的运维人飞行于各大城市的上空，每一次发版、变更就是一次长途远行，分散的管理模式简单直接，但随着业务发展、规模扩大，企业对系统稳定性、运营成本控制的要求越来越高，随之而来的是 IT 集中管理时期，这个时期追求一流的国际 IT 服务管理水平，构建独立数据中心，实现开发架构、安全标准与运营规范的全面统一，该时期形成的 IT 管理实践堪称行业标杆。2013 年全面进入互联网金融时期，移动互联、云计算、大数据的火热发展，业务渠道、流量入口、用户终端的改变，促使我们又一次站在了历史的新起点。互联网金融在运维方面上演了一场“双城记”。一边是充满贵族气质、为荣誉而战的“英伦君主立宪”，在这个领域内严格执行 IT 管理规范，稳若磐石，滴水不漏，保证绝对稳定与安全；而另一边是自由、民主喧哗下的“法国大革命”，为了满足互联网下业务