大数据时代的挑战、价值与应对策略计算机信息专业.doc

大数据时代的挑战、价值与应对策略 【摘要】在社会的发展之下，人们已经全面进入了大数据时代，在这一时代中，人们的生活与工作方式发生了极大的改变，本文主要分析大数据时代的挑战、价值以及相关的应对策略。 【关键词】大数据时代；挑战；价值；应对策略 当今社会，互联网、物联网、云计算等技术高速发展，视频监控技术、智能终端系统、手机应用等也快速进入人们的视线，普及量日益见长。随之而来，全球数据量也呈现出指数式的增加，以太字节为单位的数据时代已经到来了。 面对以太字节为单位的大数据时代，电信运营商的网络扩容每秒都在无限量的增加，但其收益却没有因此而增加多少。一些公司为了提高其生产力，采用“数据驱动型决策”模式取得了显著成效。 那么在大数据时代，人们可以做什么呢？人们可以通过技术对海量的数据进行分析，得到用户的喜好和行为，例如，在因材施教方面，学校和老师可以通过大数据来分析学生的个性和爱好，以此来进行教学，增强老师的教育工作能力，同时也提高了学生的学习效率，事半功倍。在公司管理方面，公司可以通过对公司各项数据的分析，开源节流，建立起精细型管理模式，提高公司发展水平。在产品生产方面，通过对大数据的分析，优化产品生产结构，合理规划生产流程，提高产品生产能力。 一、大数据时代的特征。 全球知名的咨询公司麦肯锡最早提出了 “大数据时代”。现在人们用“大数据”来定义信息爆炸时代产生的海量数据。关于多少的数据量可以称得上是“大数据”，到目前为止，还尚未达成共识。一般认为，大数据应该在10TB至1PB（P为T的1024被）以上。其特征主要有四个。 （一）数据量大——核心特征 大数据时代之所以称之为“大”，就是其量大。数据量已经进入以太字节为单位了，其包含数量之广是我们难以相信和预测的。据统计，2009年，全球信息量已经达到了80万PB（1021字节），2010年比2009年增加了40万PB，达到了120万PB。120万PB是什么概念呢？就是把这些字节刻录在DVD上面，再把这些刻录了120万PB数据的DVD叠放在一起，可以从地球到月球叠放一个来回。 （二）种类繁多 这里的“多”指的是数据形式的多样性。在这个时代，网页，图片，视频，音频，文字等各种形式的数据承载方式，数据结构繁多，在2012年半结构化和非结构化的数据占全球网络数据量的85%左右。 （三）速度快 大数据时代的一个基本特征就是传播速度之“快”，现在不仅仅是传播速度，就是处理数据的速度因为软件工程的日新月异和人工智能的发展，也在急速增加。 （四）价值密度低 因为过多的数据和无处不在的信息感知，信息的价值密度相对较低，如何从海量的数据中提取出我们确实需要的数据，成为了大数据时代的一大难题。 二、大数据时代的挑战 （一）数据洪流的急速发展使得运营商的带宽能力更不上，适应能力亟待提高。运营商的带宽虽然也在不停的发展，但远远比不上数据的指数式增长，因此目前日益增长的数据传输能力和现有的带宽承载能力无法相匹配。 （二）数据量大、形式多样以及快速等特征也对数据的处理和存储提出了全新的要求。那么多的数据，那么多样化的数据，快速更新的数据要求更加宽大，更加便利的软件工程和人工智能来处理和存储，单单的人脑已经无法满足数据的需求。 （三）在大数据时代，海量的数据往往为网络罪犯和黑客提供了可乘之机。他们利用海量的数据作为反追踪的利器。海量的数据也为他们的作案工具和作案手法提供了新思路。例如我们熟知的APT（高级持续性安全威胁），一些小团体就是利用了先进的数据攻击手段对特定目标进行长期的持续性网络攻击。 （四）一些个人或者企业通过非法手段窃取了某些用户的私人数据，并用这些数据非法分析用户的行为和爱好，一些企业的商业机密也在海量的数据中被泄露出去。因此个人隐私和企业利益在大数据时代中受到了重大的冲击和损害。如何保护个人和企业的利益成为关键。 （五）在海量的数据面前，数据是否真实，这点显得有些扑朔迷离。“去伪存真”就成了十分重要的一项工作。但其方法和过程之分复杂。我们首先需要了解需要数据的基本特点，根据其特点来对已有的数据进行筛选，接着把已经筛选出来的数据进行分析和清理，通常是用相关工具和分析模型赖进行评估，看看结果是否符合我们需要的数据的基本特点。最后把已经分析出来的我们需要的数据进行整理和呈现。 三、大数据时代的应对策略 面对上述五个挑战，我们需要措施来应对以适应更好的大数据时代的发展。 （一）面对带宽不足的问题，电信运营商已经想出了初步的解决办法，它们将以智能管道与聚合平台作为基础，将扩大流量规模、提升流量层次和丰富流量内涵三者并驾齐驱，把释放流量价值作为导向，实现大数据和云计算的深层次结合。 （二）面对大数据时代的特征带来的挑战，这需要惠普、IBM、微软等IT巨头们携手共进，全方面加强科技创新，通过软件工程和人工智能的创新发展来扩大数据存储容量，增加数据存储方式，提高数据分析效率，让海量的数据更好的为我们服务。 （三）面对APT带来的安全威胁，政府需要借助大数据来创新处理技术。针对APT的的单点隐蔽强、攻击路径不定等特点，在全流量审计方面，需要加强事时流量监测能力和事后回溯的能力，并且提高安全工作人员的分析素质，把计算机存储和运算能力相结合，运做出一套完整的解决反APT方案。 （四）面的个人隐私安全，最主要的是加强信息加密的可靠性，防止信息被盗。用户在登录网页时填写的用户名和密码在存储和传输时的路径都需要加密，。同时网站不能用用户信息作为谋取私利的工具。另外，还需要对存储信息的硬盘进行加密和保护，防止因硬盘被盗而资料外泄。除此以外，国家也可以通过加强立法来规范数据安全，保护个人隐私和商业机密。 （五）面对“去伪存真”的冗杂工作，一方面我们需要建立有效的分析模型，提高分析数据的能力和效率，节省数据分析时间。另一方面，在输入数据的时候，提高筛选能力，利用人工智能自动筛选数据，节省人力成本。另外，也需要提高工作人员的数据分析能力，尽可能掌握好大数据的存储、分类、挖掘能力，以应变各种可能的情况。 大数据时代已经到来，各行各业乃至我们自身都在不断的积累数据、运用数据、产生数据、传输数据。Gary King作为哈佛量化社会科学研究所主任，他提出：“我们的确正在起航。在庞大的新数据来源的支持下，量化的前进步伐将会踏遍学术、商业和政府领域。没有一个领域可以不被触及。”既然大数据时代已经避无可避，作为大数据的拥有者和统计人，我们所要做的就是顺应时代，跟上时代，懂得什么是大数据，如何运用大数据。用大数据来提高企业发展，支撑社会进入，振兴中华民族。 参考文献： [1]程莲娟. 美国推进大数据的应用实践及其有益借鉴——基于图书馆视角的分析[J]. 情报资料工作. 2013(05) [2]程开明,陈龙. 大数据时代的统计挑战与应对[J]. 中国统计. 2013(08) [3]沈晓雨. 大数据时代下的服务需求管理新思路[J]. 商场现代化. 2013(20)