2023年浅谈大数据应用现状及发展趋势.doc

浅谈大数据应用现状及发展趋势浅谈大数据应用现状及发展趋势 浅谈大数据应用现状及发展趋势 摘要：大数据应用就是利用数据分析的方法，从大数据中挖掘有效信息，为用户提供辅助决策，实现大数据价值的过程。本文主要介绍了大数据概念、特点、应用现状以及大数据的发展前景。关键词：大数据；大数据应用现状；数据发展前景 一、大数据概述 2013 年 5 月 10 日淘宝十周年晚会上，阿里巴巴集团董事局主席马云在其卸任集团 CEO 职位的演讲中说到：“大家还没搞清 PC 时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。”那么到底什么是大数据？目前关于大数据的概念众说纷纭。科技企业研究学者、数据分析师和技术顾问们，由于各自的关注点不同，对于大数据有着不同的定义。大数据及其研究领域极具影响力的领导者的国际数据公司（IDC）2011 年公司发布的报告中（由 EMC 主办）定义大数据为：“大数据技术描述了新一代的技术和架构体系，通过高速采集、发现或分析，提取各种各样的大量数据的经济价值。”这一定义是从大数据具备的体量浩巨大、类型繁多、生成快速和价值巨大但密度很低这 4 个特点，也就是所谓的 4VS 来描述大数据的，这种 4VS 定义得到了广泛的认同，因为它指出了大数据的意义和必要性。美国国家标准和技术研究院认为大数据是指其数据量、采集速度，或数据表示限制了使用传统关系型方法进行有效分析的能力，或需要使用重要的水平缩放技术来实现高效处理的数据。这是从学术角度对大数据的来定义的。大数据究竟该如何定义，工业界和学术界已经进行了不少讨论 但是大数据的关键在于怎样提取数据的价值，怎样利用数据，怎样将“一堆数据”变为“大数据”。二、大数据应用现状 麦肯锡在其研究报告中指出：数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据的研究与应用已经在互联网、商业智能、咨询与服务以及医疗服务、零售业、金融业、通信等行业显现，并产生了巨大的社会价值和产业空间。目前典型的大数据应用领域有：1、商业智能领域：互联网和网站给各类组织机构通过对大数据技术的运用，使大量的产品和客户信息均可以从网站上获取。2008 年美国金融危机席卷全球之后，餐饮企业也受到了重创。在很多行业通过关闭分店以减轻经济危机的情况下，星巴克却利用区位数据的数据分析方法方便地找到了最合适的地点开设新店成功地拓展了业务。2、公共服务领域：一方面，公共机构可以利用大数据技术把积累的大量历史数据进行挖掘利用，从而提供更为优质的公共服务，如交通领域的实时路况和交通引导。美国俄亥俄州运输部（ODOT）利用INRIX 的云计算分析处理大数据来了解和处理恶劣天气的道路状况；另一方面，公共机构也可以通过对某些领域的大数据实时分析提高危机的预警能力，为实现更好、更科学的危机响应提供技术基础。谷歌公司通过对人们在网上检索的词条与疾病中心的数据进行分析处理，有效及时地判断出了流感的传播来源，为公共卫生机构提供了有价值的信息。3、政府决策领域：通过对数据的挖掘，从而有效提高政府决策的科学性和时效性。通过对政府网站日志数据的整合集成，为政府相关领导提供可视化的科学决策数据支持服务。例如：日本大地震发生后仅仅 9 分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警，并且随即 NOAA 通过对海洋传感器获得的实时数据进行了计算机模拟，制定出详细的应急方案，并将制作的海啸影响模型实时发布在了 YouTube 等网站上。三、大数据的发展趋势 在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。在我国，经李克强总理签批，2015 年 9 月，国务院印发促进大数据发展行动纲要（以下简称纲要），系统部署大数据发展工作。大数据这个“未来的新石油”除了本着以人为本的思想对我们的思考方式产生深远的影响外，将会呈现以下的发展趋势。1、数据的资源化 大数据中蕴藏着巨大的价值，掌握大数据就掌握了资源。不同数据集的重组和整合，可以创造出更多的价值。例如，沃尔玛通过数据分析发现，在飓风袭击某地之前，不但当地对手电筒的需求会上升，果塔饼干的销量也会随之上升，沃尔玛借此大赚了一笔。今后，掌控大数据资源的企业，将数据使用权进行出租和转让就可以获得巨大的利益。2、规模更大、种类更多、结构更复杂 随着大数据迅猛发展，以 Hadoop 为代表的技术将会落伍甚至被淘汰。为了能更好地应对未来规模更大、种类更多、结构更复杂的数据，很多研究者已经开始关注此问题，谷歌的全球级的分布式数据库 Spanner 可容错可扩展的分布式关系型数据库 F1 尤为著名。未来，大数据的存储技术将建立在分布式数据库的基础上，支持类似于关系型数据库的事务机制，可以通过类 SQL 语法高效地操作数据。3、大数据可视化 在许多人机交互场景中，都遵循所见即所得的原则，在大数据应用中，混杂的数据本身是难以辅助决策的，只有将结果以报表、直方图、饼状图等友好的形式展现，用户才能接受并加以利用，以后肯定会出现更好的表现形式。例如微软的“人立方”社交搜索引擎使用关系图来表现人际关系。4、面向数据 在程序设计的发展历程中，可以看出数据的地位越来越重要。在小规模数据时代，程序设计以面向过程为主，随着业务数据的复杂化，催生了面向对象的设计方法。可以预见，将来一定会出现面向数据的程序设计方法，像面向对象一样，在软件工程、模式设计、体系结构等方面对 IT 技术的发展产生深远的影响。5、促进多学科的交叉融合 大数据不仅促进了云计算、物联网、计算中心、移动网络等技术的充分融合，还催生了许多学科的交叉融合。美国基因组学家埃里克?托普（Eri c J.Topol）在 颠覆医疗：大数据时代的个人健康革命 指出：“i Phone、云计算、D 打印、基因测序、无线传感器、超级计算机，这些改变了我们生活的事物，将再一次地融合在一起，对医学进行一次创造性破坏。大数据的发展，不仅要立足于信息科学也要从管理的角度探讨大数据对现代企业生产管理和商务运营决策等方面带来的变革与冲击。在特定领域的大数据应用，更需要跨学科人才的参与。四、结束语 大数据已被越来越多的人熟悉，在以后的日子里，大数据将会迎来一场激烈的竞争。我们应该抓住大数据的关键点，紧跟时代的步伐顺应大数据时代的需求，从国家战略制定、基础技术的研究、人才的培养、信息安全保障等方面开展相应的工作。我们应致力于保护、存储、分析数据并充分有效地利用和组织大数据推动社会的发展。（作者单位：江西应用科技学院）参考文献：1高明，金澈清，王晓玲等.数据世系管理技术研究综述J.计算机学报，2010，33.2冯海超.透视美国大数据爆发全景 N.互联网周刊，2013-01-14.3大数据时代J.中国电子科学研究院学报，2013，（1）.4梅宏，王千祥，张路等.软件分析技术进展J.计算机学报，2009，32 5孟小峰，慈祥.大数据管理：概念、技术与挑战J.计算机研究与发展，2013，50.6陶雪娇，胡晓峰，刘洋.大数据研究综述J.系统仿真学报，2013（S1）.