基于个性化需求的金融云平台宿主机选择算法的设计与实现财务管理专业.docx

目 录 第1章 绪论 1 1.1 课题提出的背景 1 1.2 研究的目的和意义 4 1.3 研究内容 4 1.4 论文的组织结构 5 第2章 虚拟化技术 7 2.1 虚拟化技术概述 7 2.1.1 虚拟化定义 7 2.1.2 虚拟机监视器模型 8 2.1.3 虚拟技术的应用分类 11 2.2 虚拟化技术的发展历程 11 2.3 虚拟化技术的研究现状 12 2.4 虚拟化技术在云计算领域的研究现状 13 2.5 虚拟化技术在云中的应用 14 2.5.1 服务器虚拟化 14 2.5.2 存储虚拟化 15 2.5.3 应用虚拟化 17 2.5.4 平台虚拟化 17 2.5.5 桌面虚拟化 18 2.6 本章小结 20 第3章 基于个性化需求的金融云平台宿主机选择算法的设计与实现 21 3.1 拟解决的问题 21 3.2 金融云平台中宿主机选择算法的设计思路 22 3.2.1 问题的提出 22 3.2.2 宿主机自动选择算法模型 22 3.3 负载预测算法 23 3.3.1 负载的特性 23 3.3.2 负载预测的研究现状 24 3.3.3 宿主机自动选择模型中的负载预测机制 24 3.4 负载均衡算法 25 3.4.1 负载均衡调度算法的研究现状 25 3.4.2 负载均衡策略的不足 26 3.4.3 宿主机自动选择算法模型中的负载均衡算法 27 3.5 宿主机自动选择算法中的采样方法 28 3.6 本章小结 28 第4章 金融云用户的个性化需求 30 4.1 基于个性化需求算法的提出 30 4.2 基于个性化需求的宿主机选择算法 30 4.2.1 算法描述 30 4.3 本章小结 32 第5章 实验方案设计与数据分析 33 5.1 算法特点概述 33 5.2 实验方案与实验结果分析 33 5.2.1 实验测试方案 33 5.2.2 测试环境配置 34 5.2.3 测试方案及结果分析 35 5.3 本章小结 39 第6章 成果总结及今后展望 41 参考文献 41 作者简介 43 致 谢 44 第1章 绪论 1.1 课题提出的背景 近几年，IT领域出现了一种新型的计算模式——云计算，云计算将IT计算模式商业化，大众化，引领着IT行业开启了一场跨时代的新变革。云计算的体系架构是一种将各种硬件资源进行合理部署分配后的IT基础架构模式，通过云平台，用户可以按其需求获取各种IT资源，甚至是应用服务以及各种开发平台，全新的一种IT服务模式以其灵活性、便捷性、自助性给传统的IT服务模式带来了一场颠覆性的变革。一直以来，IT资源的冗余、利用率低、资源之间难以有效地得到整合以及与用户对计算资源的高需求之间的矛盾得到了解决，云计算使得IT基础设施的获取社会化、普及化、简易化，在不久的将来，普世大众的生活也将面临着一场巨大的变革。 很多著名的IT公司一直在努力研究和推进云计算，并已经推出了自己的产品，比如：Amazon的AWS，Google Search、Google Earth、Google MAP等等业务都是Google基于自己的云计算平台，以及微软的Windows Azure，云计算已经逐步从当初的一个概念形成产品，开始服务大众。这也说明了，云计算存在的必要性和可行性。 IT领域的每一次变革势必会波及到金融领域，云计算的出现和逐步应用给金融领域带来了新的发展契机和新的需求。在金融领域谁的动作快，谁就可以抢占先机，各家金融机构纷纷利用云计算这个平台对大数据中心进行升级改造，以拓展新的业务领域，优化管理工作。 互联网金融成为近一两年的金融界热词，互联网金融用户量和业务数据量呈现爆发式的增长，那么这些海量数据的处理需要非常庞大的计算资源。从本质上来讲，云计算是向用户提供基础的IT资源，让金融数据借力云平台，是如虎添翼，是再适合不过了。技术管理模式向业务模式的角色转变、成为金融领域业务增长的强大的后盾力量。 金融行业是一个严谨的行业，不仅要求保证业务和数据的安全性，同时要求技术力量具有高的可靠性。一个好的云架构应该为金融业务提供充分的可靠性和安全性。 弹性计算云通过网络将各种IT资源组织起来，以服务的方式提供给云用户各类IT基础设施、IT技术平台或者是应用服务，云计算能够按用户的需求迅速调度资源，创建服务。用户只需要通过网络就可以使用云计算的资源，相对于传统的IT部署方式，用户或者企业可以将更多精力放在业务上，从IT设备采购到设备维护中解脱出来，以较低的IT成本获得高质量、高可靠性、高扩展性的IT服务。 该课题主要研究面向金融机构应用提供Iaas服务，各类基础IT资源（计算资源、存储云、网络资源）、应用软件、各类开发平台、数据中心等在内的计算资源的服务，金融机构无需费时费力即可拥有IT服务。操作系统等，既不需要专人维护硬件设施又省去了额外需要占用的物理空间。 图1-1为弹性云平台的体系结构[1]。用户只需要通过浏览器或者是客户端等就可以定制自己需要的云资源。云平台接收到用户的请求后，根据其提供的需求参数，为用户进行IT资源的配置。云计算平台中的服务管理层通过虚拟机技术对所有用户请求的资源进行管理，目的在于有效地整合IT资源、提高服务效率。 图1-1 弹性云平台的结构[1] 美国国家标准与技术研究院为云计算提出了5个特点[2]： 一、自助获取服务，自动完成部署。云平台接收到用户提出的IT资源请求后，根 据请求的硬件资源参数，自动完成硬件设施的部署，整个过程无需人工干预。 二、随时随地的网络连接。用户无论在何时何地，只要有互联网，就能通过网络获取到云平台资源，享受云服务。 三、计算资源透明化。云平台的硬件资源对用户来讲是透明的，云端的用户无需关心IT资源的地理位置，只需要全身心处理业务，享用云服务。只要用户有需求，云平台可随时随地为其提供计算资源。 四、快速响应、灵活部署。云计算的逐步商业化，要求云平台能快速响应用户的需求，灵活地部署硬件资源，并且对于用户不同时段的需求能做到弹性的建立和释放IT资源。 五、服务计费。云计算实现了对IT资源的量化计费，计费方式和我们生活中水电的计费模式一样，用户根据使用时长或者用量缴纳相应的费用。这种全新的合理的IT 资源计费方式有助于云计算的商业化推广。 以上云计算的5个特点大都依赖于虚拟技术才得以实现[3]，用户需求和云平台中的物理资源的重映射必须由虚拟技术的支持，虚拟技术不仅使云平台的弹性特性得到很好的体现，面向用户的云平台服务自助化，用户只需要根据自身的业务向云平台提出资源需求，不用了解和关注硬件的部署细节；同时虚拟技术使云计算的管理弹性化[4] [5]，可以动态地扩展和回收资源，对IT资源的统一在线管理将取代传统的离散的点管理[6]，提高了管理效率。 大型的服务器集群是云平台外在硬件的一种表现形式，负载不平衡则难以避免，而虚拟机的迁移技术为均衡负载、灵活调度提供了策略。目前，已实现了在云平台上虚拟机的透明化迁移。 虚拟技术使云平台的建设成本大大降低了，表1-1为虚拟技术给成本带来的变化[7]。 表1-1 分析结果[7] 然而虚拟资源的实现离不开宿主机，一切虚拟技术都得部署在宿主机上才能很好的发挥虚拟的优势。本课题拟就云计算中的虚拟化技术以及虚拟机和宿主机之间的关系做深入研究。 1.2 研究的目的和意义 金融行业的多样化发展，可实施的业务方式和范围不断扩张，使得业务数据和用户数据迅速膨胀，如若按传统的做法，很多金融机构会大量购置基础的硬件来应对不断增长的业务数据，这样，不仅增加了管理成本，维护工作量也相应地增大。云计算很好地解决了以上问题，不仅可以免去购置大量的占用空间的硬件设施，同时也避免了维护和管理工作的无限量增加。 云计算的实施依靠虚拟化技术，而虚拟技术优势的发挥都取决于虚拟资源在宿主机上的部署，那么选择什么样的宿主机、怎样部署虚拟机都将影响云平台所提供的服务质量的好坏。 通常选择宿主机时主要参考当前服务器的CPU负载状况，宿主机其他的资源状况未作为部署参数考虑进来，同时也忽略了虚拟机所要消耗的资源特点。不同用户完成的业务目标不同，因此提出的资源请求也具有不同特点。单纯地依靠宿主机CPU这一指标作为部署依据，可能导致宿主机不能满足用户的IT资源请求，随着云平台的用户增加，进而可能影响整个云平台的负载均衡，导致IT资源得不到有效合理的利用。因此，宿主机的选择、虚拟资源的部署对于云计算提供优质的服务有至关重要的作用。 1.3 研究内容 研究内容主要包括以下几个方面: 1. 了解云计算的体系结构，对云计算的工作模式进行分析，明确研究内容和范围。 2. 对虚拟技术进行深入了解和研究，了解虚拟机和云平台的关系及应用情况，明确虚拟技术为云计算带来的优势和技术支持。 3. 通过研究宿主机选择策略，分析其优势和存在的弊端，借鉴继承其优势，改进不足之处，并针对性地提出金融云平台下宿主机自动选择模型。 4. 部署虚拟机时，传统的策略是以当时宿主机CPU的利用率作为部署依据，CPU是一个动态变化的性能参数，以某一时刻的CPU 的利用率作为判断依据，有失科学性和前瞻性。在宿主机自动选择模型中提出了负载预测机制，采用时间序列中的一次指数平滑法对宿主机的负载状况进行预测。 4. 负载均衡机制的实现。根据云计算平台的特点，通过分析现有负载均衡方法相对于云计算存在的不足，提出了应用于云平台下的负载均衡机制。 5. 提出了将宿主机选择个性化的算法，该算法要求将用户的资源请求量化，不同业务的请求，量化结果是不同的，再根据云中宿主机的性能情况与量化结果进行比对，选择最适合用户的宿主机予以部署虚拟资源。 6. 通过实验对本文提出的算法进行验证。 1.4 论文的组织结构 第一章主要阐述了该课题的提出背景、研究的目的和意义，以及本课题将要研究的内容等。 第二章介绍了：虚拟化的概念、虚拟机软件VMM及应用模式，虚拟技术的发展历程以及研究现状，特别还对虚拟技术在云计算中的研究和应用做了专门的介绍。 第三章首先介绍了宿主机自动选择的模型思想，并对模型中涉及到的技术进行了深入探究。主要包括：负载预测、负载均衡。扬长避短，针对目前算法中存在的不足，针对云计算平台的应用背景，介绍了宿主机选择模型中的负载预测方法和负载均衡机制。 第四章则对用户个性化需求的量化过程进行了介绍。对宿主机选择模型中的核心算法的进行了讲解。 第五章是实验部分，主要包括：实验方案的设计，实验环境的配置，以及对实验结果分析。 第六章是成果总结与未来展望。 第2章 虚拟化技术 2.1 虚拟化技术概述 2.1.1 虚拟化定义 如图2-1所示，是一种常见的虚拟化模式。虚拟化技术是将计算资源进行抽象，将一台服务器隔离成多个独立的“计算机”，各台之间可以毫无干扰地运行。多种应用程序或者是不同的操作系统可以同时独立地运行[8]。虚拟技术其实也可以说是一种IT资源共享的方式，实现了物理资源到逻辑应用的一对多映射。这样，降低了用户的硬件投资成本；提高了资源的利用率。同时，虚拟技术也便于对多用户的计算资源进行集中管理，提高基础设施的维护效率，降低维护成本[8,9]。 图2-1 虚拟化模式[8] 图2-2形象地展示了虚拟化的含义[10]。硬件资源位于底层，上面一层是虚拟机虚拟机及虚拟软件，最上面一层则是用户的操作系统和跑在操作系统上面的各种应用程序。对于用户而言，虚拟技术将底层的硬件屏蔽了起来，用户认为自己用的资源是“专属”的。 图2-2 虚拟化的含义[10] 2.1.2 虚拟机监视器模型 虚拟机是抽象的概念，虚拟机结构和物理机结构是相对应的，由虚拟的内存、CPU、存储空间和网卡等组成。对于用户来讲，虚拟机和普通的PC使用起来无异，虚