基于AIoT的交通流疏导全息可视化感知控制系统_梁文广.pdf

计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering174随着我国城市化进程的发展，拥有私家车的家庭数量逐渐提升，交通拥挤已成为中大型城市的普遍现象，解决交通问题是当下国家十四五规划方向之一。智能信号灯是“智慧城市”，“城市超脑”的重要组成部分，它能够有效缓解交通拥堵，减少各类交通事故。本系统是一个专注于解决城市交通问题的项目。通过物联网、智能分析技术、数据可视化技术等实现智能交通的可视化管理，打造一个能更好解决城市交通拥堵、规范车辆行驶的解决方案，有利于实时监控到车辆和行人的交通数据，提供实时交通反馈和报警，提高公共效率，真正做到可控出行，赋能城市交通精细化管理，有助于国家交通运输建设的发展。1 系统总体设计方案项目主要由智能信号灯硬件、大数据分析及其可视化面板、第三方摄像头接入模块、疏导算法组成。智能信号灯硬件的功能模块主要有：车辆数量、人流量检测，特殊车辆检测，特殊事件检测包括交通事故检测、违法行为。数据分析及可视化面板可展示的数据有：实时监控画面、交通流量、每日流量汇总、拥堵排行、安全态势、各路口各类车辆数目统计、人流量统计，并且为了更便捷的控制大屏页面的展示，使用小屏控制大屏，以此展示不同的页面。小屏页面可以在手机或 pad 上打开，实现通过手机直接控制大屏的页面切换。第三方摄像头接入检测支持无人机摄像头手机摄像头等设备。疏导算法主要功能为将检测到的各类数据通过该算法，自动调整红绿灯配时。2 系统硬件设计系统硬件设计如图 1 所示，主要有三部分组成硬件模块。Jetson nano 开发板具有远超树莓派的性能，用来完成硬件的连接以及保证 AI 模块的正常运行；AI 模块部分用来检测车流量和违法行为等；摄像头模块部分用来模拟信号灯上的摄像头以收集视频流。可用于嵌入式设计、研究和 DIY，可在紧凑、易用的平台上实现现代 AI 功能，并具备可编程性能。四 核 ARM CPU 和 128 核 NVIDIA GPU，可 提 供 472 GFLOPS 性 能，4GB LPDDR4 存 储，高 效 低 功 耗 封装，5W/10W 功率模式和 5V DC 输入。基于 Ubuntu 的Jetson Nano 提供了完整的桌面 Linux 环境，具有加速图形，支持 NVIDIA CUDA Toolkit 10.0，以及 cuDNN 7.3和 TensorRT 等库。该 SDK 还包括本机安装流行的功能开源机器学习（ML）框架，如 TensorFlow，PyTorch，Caffe，Keras 和 MXNet，以及计算机视觉和机器人开发的框架，如 OpenCV 和 ROS。完全兼容这些框架和NVIDIA 领先的 AI 平台，可以比以往更轻松地将基于AI 的推理工作负载部署到 Jetson。Jetson Nano 可以支持复杂的 DNN 模型，为自主机器人、物联网设备和 AI 系统提供实时计算机视觉和推理，通过多传感器、智能边缘分析物联网设备和先进的 AI 系统，可以支持自主机器人、基于Jetson Nano上ML框架的本地重新训练网络，基于 AIoT 的交通流疏导全息可视化感知控制系统梁文广许珺琪陈建耀（韶关学院 广东省韶关市 512005）摘要：本文通过物联网、智能分析技术、数据可视化技术等实现智能交通的可视化管理，打造一个能更好解决城市交通拥堵、规范车辆行驶的解决方案，设计了一种基于 AIoT 的交通流疏导全息可视化感知控制系统。关键词：AIoT；Yolov5；智能信号灯；数据分析基金项目：韶关学院 2022 年大学生创新创业计划项目（项目编号：S202210576058）；2023 年广东省科技创新战略专项资金（“攀登计划”专项资金）立项资助项目（项目编号：pdjh2023 b0473）。图 1计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering175甚至转移学习等功能。如图 2 所示。AI 模块：目标检测先是基于 yolov5 在 pc 端上进行卷积神经网络的训练，深度学习框架方面选择 Pytorch，并使用 deepSort 多目标追踪的卡尔曼滤波和匈牙利算法进行深度预测和更新定位目标并记录。deepsort 之所以可以大量避免 IDSwitch，是因为 deepsort 算法中特征提取网络可以将目标检测框中的特征提取出来并保存，在目标被遮挡后又从新出现后，利用前后的特征对比可以将遮挡的后又出现的目标和遮挡之前的追踪的目标从新找到，大大减少了目标在遮挡后，追踪失败的可能。中后期对 pc 端的模型进行量化端到端部署在边缘端 jetson Nano 上。如图 3 所示。摄像头模块：在 jetson Nano 上接出一颗 720P 像素的摄像头，通过此摄像头采集交通视频流，供 AI 模块进行监测统计，得到数据后传送到云端服务器。如图 4所示。2.1 检测车流量、人流量本项目在实时检测监控车流人流上我们对比了目标检测领域上两种不同的卷积神经网络（YOLO v5 与Faster RCNN）。如图 5 所示，所以最终选择 YOLO v5 作为目标检测的卷积神经网络深度学习框架方面选择 Pytorch，并使用 deepSort 多目标追踪的卡尔曼滤波和匈牙利算法来追踪正在行驶的车辆和人群等。deepsort 之所以可以大量避免 IDSwitch，是因为 deepsort 算法中特征提取网络可以将目标检测框中的特征提取出来并保存，在目标被遮挡后又从新出现后，利用前后的特征对比可以将遮挡的后又出现的目标和遮挡之前的追踪的目标从新找到，大大减少了目标在遮挡后，追踪失败的可能。检测框图如图 6 所示。2.2 突发事件处理突发事件包括特殊车辆的出现以及车祸等突发事件的出现，首先将边缘端信号灯上摄像头采集到的视频传输到云端，第二步在云端使用模型进行分析，将分析到的数据传输到后端处理，第三步后端得到数据信号后，将数据存入数据库并将其可视化到云端数据平台，并根据算法将信号灯改变的信号传输到边缘端，边缘端收到信号后，信号灯根据信号进行调整改变。如图 7 所示。3 系统软件设计3.1 感知系统模块目标检测基于 yolov5 在 PC 端上进行卷积神经网络的训练，深度学习框架方面选择 Pytorch，并使用deepSort 多目标追踪的卡尔曼滤波和匈牙利算法进行深度图 2：Jetson Nano 实物图图 3：车流检测统计效果图图 4：jetson Nano 连接摄像头图 5：YOLO v5 与 Faster RCNN 对比计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering176预测和更新定位目标并记录。deepsort 之所以可以大量避免 IDSwitch，是因为 deepsort 算法中特征提取网络可以将目标检测框中的特征提取出来并保存，在目标被遮挡后又从新出现后，利用前后的特征对比可以将遮挡的后又出现的目标和遮挡之前的追踪的目标从新找到，大大减少了目标在遮挡后，追踪失败的可能。中后期对 pc端的模型进行量化端到端部署在边缘端 jetson Nano 上。3.2 数据分析及可视化模块数据可视化采用 Echarts，前端使用 vue.js 框架，Vue.js 是一个轻量级、效率高的框架，只关注视图层，可构建数据的视图集合，大小只有几十 KB。在数据操作方面保留了 angular 的特点支持双向数据绑定。在组件化方面保留了 react 的优点，实现了 html 的封装和重用，简化构建单页面步骤。并且相较以上框架而言，vue.js 操作节点时不再使用原生的 dom 操作节点，故性能更高，速度更快。后端采用 Golang 语言，Golang 可直接编译成二进图 6：检测框图图 7：突发事件处理计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering177制码,不用依赖其他环境及库;是静态类型语言,但是在编写过程中有动态语言的感觉,开发效率很高，天然支持并发，支持 gc 垃圾回收，被称作 21 世纪的 C 语言。由于需要处理的交通数据量大，故使用 Gin 框架，Gin框架是完全使用 go 语言编写，是一个高性能、快速的Go 语言 Web 开发框架。它拥有类似于 Martini 的 API,并且有更好的性能-高达 40 倍的速度。交通疏导算法：基于 jetson Nano 上的一个自适应系统，它实时分析给定十字路口的交通状况，然后确定安装在该十字路口的交通灯的状态。本系统是自给自足的，即使在互联网断电等不利情况下也能保持运行。本体系结构从位于十字路口的摄像头接收数据。这些提要用作图像处理和分析的源。计算每条道路上的车辆总数，人数。这被输入到一个高效的算法中，该算法计算连接到交叉口的每条道路的中间绿灯时间，根据车流量人流量可以自动调整红绿灯配时。还考虑了多种因素，如车辆的交叉时间和地形因素。不同车辆拥有不同行驶优先级，越重要的车辆其权重越高，权重越高越具有更快通过的可能性，例如像公共汽车这样的乘用车将被给予更高的优先级，该体系结构会检测此类车辆，并对其施加更大的权重，从而增加该道路的中间绿灯时间。而如果遇到救护车，消防车，警车等紧急事件本自适应系统会为其开辟绿色通道，直接绿灯使其通过，令应急车辆可以以最快的速度不受红绿灯干扰抵达目的地。交通信号灯处的人为干预可以大大减少，也可以指派官员在控制室监控系统及路面状况，他们只有在意外紧急情况下可以手动干预调整信号灯配时。4 总结本项目是城市交通智能化管理系统重要组成部分，它能够有效缓解交通拥堵，减少各类交通事故，在当下打造“交通超脑”甚至是“城市超脑”，“智慧城市”，“城市超脑”的时代中有着不可或缺的地位。参考文献1 宋爽,张悦,张琳娜,岑翼刚,李浥东.基于深度学习的轻量化目标检测算法 J.系统工程与电子技术,2022,44(09):2716-2725.2 易玉红.车联网的速率自适应算法研究与实现D.浙江工业大学,2013.作者简介梁文广（2000-），男，广东省肇庆市人。大学本科学历，现就读于韶关学院。研究方向为人工智能，后端。许珺琪（2002-），男，广东省清远市人。大学本科学历，现就读于韶关学院。研究方向为后端。陈建耀（2002-），男，大学本科学历，现就读于韶关学院。研究方向为硬件。图 8：系统软件设计