交通大数据的应用现状与未来发展方向_孟鸿程.pdf

2023 NO.4 信 息 与 智 能SCIENCE&TECHNOLOGY INFORMATION科技资讯科技资讯SCIENCE&TECHNOLOGY INFORMATION交通大数据的应用现状与未来发展方向孟鸿程(中移(上海)信息通信科技有限公司 上海 201206)摘要：基于交通大数据的全生命周期流程，从数据采集、数据处理与数据应用角度分析交通大数据的应用模式，说明数据从采集到应用整个过程的数据工作以及所需要构建的数据体系。该文以交通态势分析系统为例，说明大数据在交通领域的具体应用方式，具体包括所采用的大数据技术组件在系统中发挥的作用以及系统利用交通大数据所实现的功能应用。之后阐明推动交通大数据领域发展的参与方格局，分析交通大数据的未来发展方向与重点工作，应当完善交通大数据标准体系，加强交通大数据全生命周期管理。指出应强化数据采集，完善数据管理体系并深化数据应用，并结合实例说明应完善和推广现有应用、发展和强化关键应用、促进和试点创新应用。关键词：智慧交通 交通大数据 交通态势 数据管理 生命周期中图分类号：TP311.13;U495文献标识码：A 文章编号：1672-3791(2023)04-0010-05The Application Status and Future Development Direction of Traffic Big DataMENG Hongcheng(China Mobile(Shanghai)ICT Co.,Ltd.,Shanghai,201206 China)Abstract:Based on the whole life cycle of traffic big data,the application mode of traffic big data is analyzed from the perspective of data collection,data processing and data application,and the data work in the whole process from data collection to application and the data system to be constructed are explained.Taking the traffic situation analysis system as an example,this paper explains the specific application mode of big data in the traffic field,including the role of the adopted big data technology components in the system and the functional application realized by the system using traffic big data.After that,the pattern of the participants promoting the development of traffic big data is clarified,and the future direction and key tasks of traffic big data are analyzed.The standard system of traffic big data should be improved,the whole life cycle management of traffic big data should be strengthened,data collection should be strengthened,data management systems should be improved and data applications should be developed.Combined with examples,it is explained that existing applications should be improved and promoted,key applications should be developed and strengthened,and innovative applications should be promoted and piloted.Key Words:Intelligent transportation;Traffic big data;Traffic situation;Data management;Life cycle大数据时代的到来为交通管理带来了巨大的机遇与挑战，大数据一方面描绘了交通管理的美好愿景，打通多源异构交通数据，为政府管理、公民出行带来便利，提升管理效能与出行体验；另一方面交通大数据也面临着发展的问题，如何汇聚多源异构交通数据、如何进行数据优化处理以实现交通应用。国家高度重视交通大数据的发展，2015年8月，国务院印发 促进大数据发展行动纲要，2019年9月，中共中央、国务院印发的 交通强国建设纲要 提出要“推进数据资源赋能交通发展”“构建综合交通大数据中心DOI：10.16661/ki.1672-3791.2205-5042-1487作者简介：孟鸿程（1996），男，硕士，研究方向为智慧交通、交通大数据。10信 息 与 智 能 2023 NO.4 SCIENCE&TECHNOLOGY INFORMATIONSCIENCE&TECHNOLOGY INFORMATION科技资讯科技资讯体系”，2019年12月，交通运输部印发 推进综合交通运输大数据发展行动纲要（20202025年）。近年来，交通运输大数据取得了长足发展，但对照国家要求和行业发展需求，还存在着数据资源基础不够扎实、数据共享开放需深入推进、大数据应用不够广泛、数据安全存在挑战、管理体系尚需健全等问题，需要进一步深入推进解决。该文通过分析交通大数据从采集、处理到应用的全生命周期过程，研究大数据在交通领域的应用，说明交通大数据的发展与应用现状，同时分析交通大数据的发展方向。1 交通大数据应用模式大数据的广泛定义来自其5V属性，即，Volume数据量大、Variety数据种类多、Value数据价值密度低、Velocity数据增长速度快、Veracity数据准确性低。在交通领域，数据来源复杂，并且随着时间不断累积，最终形成海量多源的交通数据，具体包括公路、铁路、航空、水运等多行业的设施、设备、人员、安全保障等基础数据，还包括综合交通网络中人、车、路、环境等相互作用的关系数据1。目前，大数据在交通领域的应用模式如下图1所示。数据从采集到处理直至最后的应用，首先通过多种形式的设备采集多源交通数据，之后对数据进行处理，建立相应的指标模型，最后实现交通大数据的应用。与此同时，还需要做好数据标准、数据安全与数据治理体系建设工作。1.1 数据采集数据采集是交通大数据应用的基础，通过数据采集获取最原始的交通数据，为数据处理和数据分析与应用服务。高质量的原始数据能够简化后续的数据清洗工作，提高数据发挥价值与被有效利用的可能性2。交通数据类型多样，数据采集设施也在不断升级进化，为交通大数据应用提供了更多可能性。1.1.1 数据源交通大数据的数据源十分丰富，以城市交通领域为例，基于中国智能交通协会发布的城市交通时空大数据格式标准3，数据分为城市交通基础地理数据、城市交通设施数据、城市交通系统管理数据、城市交通系统运行状态数据、城市交通系统智能感知数据、城市交通系统外关联系统数据这几大类型。这些数据的来源、数据类型、数据格式等都存在差异，如何综合利用多源数据是交通大数据需要解决的问题。1.1.2 数据采集设备传统数据采集设备多为单点式采集，数据的网络连通性较差。随着大数据与云计算技术的发展，交通领域的数据采集方式、数据类型越来越丰富，数据采集和传输效率、数据可获取性愈发增强。以道路交通流数据采集为例，目前被广泛应用的图1 交通大数据应用架构图11 2023 NO.4科技资讯SCIENCE&TECHNOLOGY INFORMATION 信 息 与 智 能SCIENCE&TECHNOLOGY INFORMATION科技资讯有感应线圈、地磁、微波、超声波、红外线、视频、激光雷达与毫米波雷达等4，它们都各有其适用场景和局限性。传统检测设备具备一定的优势，但因为需求与技术的变化，其适用场景越来越少。以感应线圈检测方法为例，这种方法技术成熟、效果较好且成本较低，但是需要埋入车道，且只能获取交通流量信息。视频识别技术尽管易受天气影响，但是在图像识别技术飞速发展的背景下，视频能够提供道路上更丰富的信息，因而愈发为交通管理者所青睐。目前，国内较为先进的摄像头设备本身已具备AI识别能力，并能够输出结构化数据。通过结合深度学习与计算机视觉技术，视频能够检测车辆轮廓和形态、识别车牌与车身信息、检测交通事件等5。现如今，摄像头被越来越多地与激光雷达以及毫米波雷达结合，雷视一体机被快速应用于道路交通检测领域，尤其在车路协同等领域发挥了巨大的作用。数据采集设备根据不同的数据要求，在采集阶段已经具备了数据处理能力，例如：摄像头的图像识别能力与雷视一体机的融合感知能力，它们不仅能够输出原始的视频数据与雷达点云数据，还能够基于其算法能力输出结构化数据，更便捷地为数据应用服务，同时也能够减少对带宽的要求。1.2 数据处理与应用尽管数据采集设备愈发先进，所采集的数据质量愈发受到重视，但原始数据仍然无法直接发挥作用，需要对数据进行处理和分析，才能最终实现应用。由于交通数据种类丰富，需要进行良好的数据管理，才能实现数据综合运用，具体工作包括元数据管理、主数据管理、数据集成与互操作、数据模型管理和数据归档管理等。数据预处理的4个主要任务是数据清洗、数据集成、数据变换和数据规约6。交通大数据研究的最终目的是实现数据应用，在该阶段，需要建立与实际情况相符合的交通指标与模型。统一标准的指标能够直观地展示交通运行水平，提供交通管理的优化方向。交通模型能够有效提升对交通运行状况的感知能力，从而提高交通管理能力，为提升交通安全与效率服务。基于交通大数据构建交通模型能够结合动态变化数据，为解释交通现象、城市活动的特性及其演化机理提供了重要的观察手段与研究保障7。2 大数据在交通领域的典型应用交通态势分析系统交通大数据在交通领域中的一大典型应用是交通态势分析系统。道路交通系统产生的海量数据蕴含着能够准确描述复杂交通系统运行态势的信息8，交通态势分析系统能够利用实时道路交通运行数据实现道路交通运行状态监测，系统对数据的实时性要求以及数据量的庞大决定了其交通大数据属性，对大数据技术的需求较为显著。2.1 交通态势系统的数据处理交通态势分析系统需要获取道路交通实时运行数据，为交通管理服务，需求方多为交通管理部门，其动态数据源一般是电警卡口数据，静态数据则包括设备信息、设备与车道关联信息和地图数据等。实现数据之间的关联需要进行数据表结构的设计与接口设计，之后利用大数据技术组件进行数据处理。系统利用Flume日志采集组件获取海量多源交通数据，通过Kafka消息队列输出至Flink进行实时计算，实现对交通的实时监测，并将交通实时数据存储至Redis、HBase、ES和MySQL等数据库中，实现不同的数据应用。而利用Spark的弹性分布式数据集RDD与机器学习算法，可以实现交通预测等能力。在大数据领域，Flume是一种被广泛使用的日志收集组件，它是一种分布式、可靠和可用的服务，能够高效收集、聚合、移动不同数据源的海量日志数据，并存储到一个中心化数据存储系统中9。Kafka是一个分布式的发布/订阅系统，它可以被作为消息中间件用于流式数据分析，从而确保交通大数据的实时应用能力。Flink是一个分布式计算