一种高速公路无人机交通事件自动监测方法及系统
技术领域
本发明涉及道路交通状态检测与管理技术领域，特别是涉及一种高速公路无人机交通事件自动监测方法及系统。
背景技术
随着社会经济的快速增长以及交通运输量的日益提高，高速公路建设迅速发展。截至2018年底，我国高速公路运营总里程已达到14万公里，居于世界第一。高速公路在提升城市间运输效率的同时，也带来了严峻的安全问题。据统计，每年我国交通事故发生数量约达20万起，造成了巨大的人员生命和财产损失。在高速公路事故中，由于驾驶员不文明驾驶行为，如超速、违停等行为引起的事故约占事故总数的25％。尤其地，在匝道等特殊位置还存在由于错过出口匝道而倒车或逆行等极度危险的驾驶行为。
现有的高速公路场景下的交通事件自动监测方法主要利用视频设备来实现，比如路侧的定点测速设备，高点视频监控设备等。其中，定点测速设备仅能实现超速、低速等较少类型事件自动监测，而且覆盖范围小。高点视频监控设备虽然能够获取全面的交通信息，但其实现方式为人工巡检，需耗费大量人力，无法实现全天候全自动事件监测。
因此，如何解决传统高速公路事件监测方法存在的监测范围小、事件监测类型少、耗费大量人力、无法实现全天候全自动事件检测等问题，成为本领域亟待解决的技术问题。
发明内容
本发明的目的是提供一种高速公路无人机交通事件自动监测方法及系统，以提高事件检测范围，使事件检测类型更全面，降低人力消耗，实现高速公路事件全天候自动检测。
为实现上述目的，本发明提供了一种高速公路无人机交通事件自动监测方法，所述方法包括：
获取无人机自动巡航当前路段时采集的实时视频数据；
对所述实时视频数据进行视频图像处理，得到视频图像序列；
在所述视频图像序列中利用动态目标提取算法提取目标车辆，得到所述目标车辆的类别信息及轮廓信息；
根据当前帧的所述目标车辆的类别信息及轮廓信息利用目标跟踪算法，计算下一帧所述目标车辆的位置，得到相邻两帧视频图片中同一目标车辆的轮廓信息；
根据相邻两帧视频图片中同一目标车辆的轮廓信息计算所述目标车辆相邻帧的实际距离；
按照所述目标车辆相邻帧的实际距离计算所述目标车辆的车速；
根据所述车速和目标车辆的轮廓信息判别所述目标车辆的行驶行为；所述行驶行为包括：超速、低速、违停、逆行和频繁变道。
可选的，在所述根据所述车速判别所述目标车辆的行驶行为之后还包括：
将所述无人机采集的实时视频数据和所述目标车辆的行驶行为发送数据展示终端显示。
可选的，在所述视频图像序列中利用动态目标提取算法提取目标车辆，得到所述目标车辆的类别信息及轮廓信息，具体包括：
利用训练好的目标检测框架在所述视频图像序列中对目标车辆进行提取，得到所述目标车辆的类别信息及矩形轮廓；所述矩形轮廓包括目标车辆的外接矩形的长l和宽h以及一角点坐标(x，y)；
以所述车辆目标的矩形轮廓的长、宽作为所述目标车辆的实际长、宽，计算所述目标车辆的面积S及长宽比μ：
S＝l×h(1)
以所述目标车辆的矩形轮廓的中心作为所述目标车辆的质心，计算所述目标车辆的质心坐标：
根据所述实时视频数据中的场景和所述目标车辆的类别信息建立车辆样本特征库，利用所述车辆样本特征库中的数据利用深度学习算法更新训练好的目标检测框架。
可选的，根据当前帧的所述目标车辆的类别信息及轮廓信息利用目标跟踪算法，计算下一帧所述目标车辆的位置，得到相邻两帧视频图片中同一目标车辆的轮廓信息，具体包括：
对当前帧的所述目标车辆所在区域建立车辆模型；
根据当前帧所述目标车辆的质心坐标预测下一帧的所述目标车辆的预测质心坐标：P't+1(xt+1,yt+1)＝f(Δx,Δy)Pt(xt,yt)+w；其中，Pt(xt,yt)为当前帧所述目标车辆的质心坐标，Pt+1(xt+1,yt+1)为下一帧所述目标车辆的预测质心坐标，f(Δx,Δy)为状态转移函数，w为系统过程的噪声；
利用动态目标提取算法提取下一帧所述目标车辆的实际质心坐标；
计算所述目标车辆的实际质心坐标与所述目标车辆的预测质心坐标的欧式距离；
利用所述车辆模型搜索所述欧氏距离最小的图像区域；
在所述欧氏距离最小的图像区域中进行运动车辆目标匹配，确定下一帧目标车辆与当前帧目标车辆为同一车辆，并得到下一帧目标车辆的轮廓信息。
可选的，在所述欧氏距离最小的图像区域中进行运动车辆目标匹配，确定下一帧目标车辆与当前帧目标车辆为同一车辆，具体包括：
根据当前帧第i辆目标车辆的矩形轮廓的面积Si和长宽比μi和下一帧第j辆目标车辆的矩形轮廓的面积Sj和长宽比μj判断是否存在重叠区域Sij；
当存在重叠区域时，且满足条件：
Sij＞K'
ui＜K″
uj＜K″
则认为当前帧第i辆目标车辆与下一帧第j辆目标车辆在相邻两帧间是同一目标车辆；其中，K'为重叠面积阈值；K”为长宽比阈值。
可选的，所述根据相邻两帧视频图片中同一目标车辆的轮廓信息计算所述目标车辆相邻帧的实际距离；具体包括：
建立摄像机坐标系与像平面坐标系；
根据透视投影原理实现图像坐标与摄像机坐标的转化；图像转化公式为：
其中，
根据刚体变换公式实现所述摄像机坐标与世界坐标的转换，刚体变换公式为：
其中，R为旋转矩阵，T为平移矩阵，LW表示对由旋转矩阵和平移矩阵构成的矩阵进行简化后的矩阵；
根据相邻帧同一目标车辆的世界坐标计算同一目标车辆相邻帧的实际距离。
可选的，按照所述目标车辆相邻帧的实际距离计算所述目标车辆的车速，具体包括：
对所述实际距离进行水平方向与竖直方向的分解，分别计算水平速度vx、竖直速度vy；
根据水平速度vx和竖直速度vy利用公式
根据无人机的飞行速度对所述运动速度进行背景补偿，得到目标车辆的绝对速度：vα＝vr+ve，其中，vα为车辆的绝对速度，vr为车辆的运动速度，ve为无人机的飞行速度；
以目标车辆的绝对速度作为所述目标车辆的车速。
可选的，根据所述车速和目标车辆的轮廓信息判别所述目标车辆的行驶行为，具体包括：
当所述车速超过最高限速阈值时，确定所述目标车辆的行驶行为为超速；
当所述车速超过最高限速阈值时，确定所述目标车辆的行驶行为为超速；
当所述车速低于最低限速阈值时，确定所述目标车辆的行驶行为为低速；
当所述车速为零时，确定所述目标车辆的行驶行为为违停；
当所述车速为负值时，确定所述目标车辆的行驶行为为逆行；
所述目标车辆的行驶行为为频繁变道的判断方法具体包括；
多次采样并记录目标车辆出现的位置点；
对所述位置点进行线性拟合，得到基准直线；
计算多个所述位置点到所述基准直线的距离并取平均值r；
当r大于阈值rK时，确定所述目标车辆的行驶行为频繁变道。
本发明还提供了一种高速公路无人机交通事件自动监测系统，所述系统包括：数据采集与通信单元、数据分析与事件判别单元和后台管理单元；
所述数据采集与通信单元包括无人机和无人机基站，所述无人机与所述无人机基站通信连接，所述无人机上设置有摄像头，所述摄像头用于采集无人机巡航当前路段的实时视频数据；
数据分析与事件判别单元包括设置在路侧的处理器，所述处理器与所述无人机基站通信连接，所述处理器用于：
对所述实时视频数据进行视频图像处理，得到视频图像序列；
在所述视频图像序列中利用动态目标提取算法提取目标车辆，得到所述目标车辆的类别信息及轮廓信息；
根据当前帧的所述目标车辆的类别信息及轮廓信息利用目标跟踪算法，计算下一帧所述目标车辆的位置，得到相邻两帧视频图片中同一目标车辆的轮廓信息；
根据相邻两帧视频图片中同一目标车辆的轮廓信息计算所述目标车辆相邻帧的实际距离；
按照所述目标车辆相邻帧的实际距离计算所述目标车辆的车速；
根据所述车速和目标车辆的轮廓信息判别所述目标车辆的行驶行为；所述行驶行为包括：超速、低速、违停、逆行和频繁变道；
所述后台管理单元分别与所述无人机基站和所述处理器连接，所述后台管理单元用于接收并显示所述无人机采集的实时视频数据和所述目标车辆的行驶行为。
可选的，所述无人机基站搭载天气监测设备，实时监测路段天气状况，对是否执行无人机出舱巡检事件进行判断并为天气状况统计提供数据支持；
所述后台管理单元包括数据展示平台、设备管理平台、路段管理平台以及执法管理平台；
所述数据展示平台利用大数据可视化和GIS应用技术对系统概况、无人机实时飞行位置、无人机工作状态、无人机基站分布、实时交通事件上报情况、交通事件统计情况、交通流状态和视频监控状态进行动态展示；
所述路段管理平台用于对监控路段的增删改查，对无人机巡航路线的规划、管理和实时监测，为无人机提供巡航路线优化的数据支持；
所述设备管理平台用于对无人机和无人机基站设备、通信设备、处理单元设备和网络设备进行在线管理，包括设备基础信息维护、设备故障报警和人员权限管理；
所述执法管理平台用于对现场采集的交通异常事件进行审核执法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的高速公路无人机交通事件自动监测方法及系统采用无人机巡航的高速公路事件检测方法，灵活性更高、检测事件类型更加全面准确。能够做到全路段覆盖监测，大大降低了人力成本并且提高了监测效率。对建设智慧交通、智慧城市起到促进作用。
并且通过无人机的巡航，对驾驶员心理层面造成一定的震慑作用。同时，执法人员根据情况，调用附近无人机，可以快速得知突发事故的现场情况，对事故人员的营救、事故现场的取证等均有很大帮助。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的高速公路无人机交通事件自动监测方法的流程图；
图2为本发明实施例提供的高速公路无人机交通事件自动监测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种高速公路无人机交通事件自动监测方法及系统，以提高事件检测范围，使事件检测类型更全面，降低人力消耗，实现高速公路事件全天候自动检测。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本实施例提供的高速公路无人机交通事件自动监测方法包括：
步骤101：获取无人机自动巡航当前路段时采集的实时视频数据。
本实施例采用无人机在特定路段进行巡回飞行，进行高速公路车辆运行状况的实时视频采集，使本实施例中的基础数据更具实时性，且检测范围广，为全面监测交通异常事件奠定基础。
步骤102：对所述实时视频数据进行视频图像处理，得到视频图像序列。
其中，该视频图像序列可以以数据集的形式存储。更方便视频图像的后续调取和处理。
步骤103：在所述视频图像序列中利用动态目标提取算法提取目标车辆，得到所述目标车辆的类别信息及轮廓信息。
该步骤103具体包括：
利用训练好的目标检测框架在所述视频图像序列中对目标车辆进行提取，得到所述目标车辆的类别信息及矩形轮廓；所述矩形轮廓包括目标车辆的外接矩形的长l和宽h以及一个角点坐标(x，y)；
以所述车辆目标的矩形轮廓的长、宽作为所述目标车辆的实际长、宽，计算所述目标车辆的面积S及长宽比μ：
S＝l×h(1)
以所述目标车辆的矩形轮廓的中心作为所述目标车辆的质心，计算所述目标车辆的质心坐标：
根据所述实时视频数据中的场景和所述目标车辆的类别信息建立车辆样本特征库，利用所述车辆样本特征库中的数据利用深度学习算法更新训练好的目标检测框架。
本实施例通过建立不同场景、不同类型下的车辆样本特征库，基于深度学习方法实现了车辆目标的快速提取，提取目标准确更符合实际情况。
需要说明的是，本实施例中采用基于深度学习方法进行目标提取，其他动态目标提取算法同样适用于本发明，只要能够实现目标车辆的提取即可。
步骤104：根据当前帧的所述目标车辆的类别信息及轮廓信息利用目标跟踪算法，计算下一帧所述目标车辆的位置，得到相邻两帧视频图片中同一目标车辆的轮廓信息。
本实施例中是通过对某一时刻视频图像中的运动车辆建立目标模型，预测下一时刻运动车辆出现的位置，缩小目标匹配的区域范围，再进行目标精确匹配。具体包括：
对当前帧的所述目标车辆所在区域建立车辆模型；
根据当前帧所述目标车辆的质心坐标预测下一帧的所述目标车辆的预测质心坐标：P't+1(xt+1,yt+1)＝f(Δx,Δy)Pt(xt,yt)+w；其中，Pt(xt,yt)为当前帧所述目标车辆的质心坐标，Pt+1(xt+1,yt+1)为下一帧所述目标车辆的预测质心坐标，f(Δx,Δy)为状态转移函数，w为系统过程的噪声；
利用动态目标提取算法提取下一帧所述目标车辆的实际质心坐标；
计算所述目标车辆的实际质心坐标与所述目标车辆的预测质心坐标的欧式距离；
利用所述车辆模型搜索所述欧氏距离最小的图像区域；
在所述欧氏距离最小的图像区域中进行运动车辆目标匹配，确定下一帧目标车辆与当前帧目标车辆为同一车辆，并得到下一帧目标车辆的轮廓信息。
本实施例中在所述欧氏距离最小的图像区域中进行运动车辆目标匹配方法可以为：
根据当前帧第i辆目标车辆的矩形轮廓的面积Si和长宽比μi和下一帧第j辆目标车辆的矩形轮廓的面积Sj和长宽比μj判断是否存在重叠区域Sij；
当存在重叠区域时，且满足条件：
Sij＞K'
ui＜K″
uj＜K″
则认为当前帧第i辆目标车辆与下一帧第j辆目标车辆在相邻两帧间是同一目标车辆；其中，K'为重叠面积阈值；K”为长宽比阈值。
需要说明的是，除本实施例采用的目标跟踪算法外只要能够实现车辆目标跟踪的其他方法也能适用于本发明。
步骤105：根据相邻两帧视频图片中同一目标车辆的轮廓信息计算所述目标车辆相邻帧的实际距离。
在上述步骤中获得的相关数据，例如坐标、长、宽和面积等数据都是基于视频图像处理的到的图像数据，而图像数据并不是真实的地理场景数据，因此为了更准确的计算目标车辆在实际道路中的运行速度，该步骤105具体可以包括：
建立摄像机坐标系与像平面坐标系；
根据透视投影原理实现图像坐标与摄像机坐标的转化；图像转化公式为：
其中，
根据刚体变换公式实现所述摄像机坐标与世界坐标的转换，刚体变换公式为：
其中，R为旋转矩阵，T为平移矩阵，LW表示对由旋转矩阵和平移矩阵构成的矩阵进行简化后的矩阵；
根据相邻帧同一目标车辆的世界坐标计算同一目标车辆相邻帧的实际距离。
经过坐标的转换，能够将图像数据转换为真实的地理场景数据，那么计算得到的相邻帧或相邻时刻的同一车辆的实际距离更符合实际，进而也就为后续更准确的判断车辆的行驶行为提供了更准确有效的数据基础。
步骤106：按照所述目标车辆相邻帧的实际距离计算所述目标车辆的车速。
具体的，首先对所述实际距离进行水平方向与竖直方向的分解，分别计算水平速度vx、竖直速度vy；
根据水平速度vx和竖直速度vy利用公式
根据无人机的飞行速度对所述运动速度进行背景补偿，得到目标车辆的绝对速度：vα＝vr+ve，其中，vα为车辆的绝对速度，vr为车辆的运动速度，ve为无人机的飞行速度；
以目标车辆的绝对速度作为所述目标车辆的车速。
步骤107：根据所述车速和目标车辆的轮廓信息判别所述目标车辆的行驶行为；所述行驶行为包括：超速、低速、违停、逆行和频繁变道。
具体的，该步骤107具体包括：
当所述车速超过最高限速阈值时，确定所述目标车辆的行驶行为为超速；
当所述车速超过最高限速阈值时，确定所述目标车辆的行驶行为为超速；
当所述车速低于最低限速阈值时，确定所述目标车辆的行驶行为为低速；
当所述车速为零时，确定所述目标车辆的行驶行为为违停；
当所述车速为负值时，确定所述目标车辆的行驶行为为逆行；
所述目标车辆的行驶行为为频繁变道的判断方法具体包括；
多次采样并记录目标车辆出现的位置点；
对所述位置点进行线性拟合，得到基准直线；
计算多个所述位置点到所述基准直线的距离并取平均值r；
当r大于阈值rK时，确定所述目标车辆的行驶行为频繁变道。
由此，相比现有技术中的可判别的事件类型，本发明实现了车辆超速、低速、逆行、违停、频繁变道等异常驾驶行为及道路异物等异常交通事件的判别，事件监测类型更全面。
步骤108：将所述无人机采集的实时视频数据和所述目标车辆的行驶行为发送数据展示终端显示。
如图2所示，本实施例还提供了与上述高速公路无人机交通事件自动监测方法相应的系统，该系统包括数据采集与通信单元201、数据分析与事件判别单元202和后台管理单元203。
所述数据采集与通信单元201包括无人机和无人机基站，所述无人机与所述无人机基站通信连接，所述无人机上设置有摄像头，所述摄像头用于采集无人机巡航当前路段的实时视频数据。
在本实施例中，无人机通过自动巡航，采集当前路段的实时视频数据，通过无线通信模块传输给无人机基站，再由无人机基站通过网络通信模块传输给数据分析及事件判别单元202。
作为一种可选的实施方式，无人机基站还可以搭载天气监测设备，实时监测路段天气状况，对是否执行无人机出舱巡检事件进行判断并为天气状况统计提供数据支持。
数据分析与事件判别单元202包括设置在路侧的处理器，所述处理器与所述无人机基站通信连接，所述处理器用于：
对所述实时视频数据进行视频图像处理，得到视频图像序列；
在所述视频图像序列中利用动态目标提取算法提取目标车辆，得到所述目标车辆的类别信息及轮廓信息；
根据当前帧的所述目标车辆的类别信息及轮廓信息利用目标跟踪算法，计算下一帧所述目标车辆的位置，得到相邻两帧视频图片中同一目标车辆的轮廓信息；
根据相邻两帧视频图片中同一目标车辆的轮廓信息计算所述目标车辆相邻帧的实际距离；
按照所述目标车辆相邻帧的实际距离计算所述目标车辆的车速；
根据所述车速和目标车辆的轮廓信息判别所述目标车辆的行驶行为；所述行驶行为包括：超速、低速、违停、逆行和频繁变道。
该处理器可以是工控机、服务器、嵌入式处理器及其他满足数据处理性能的运算设备。
上述实施例提供的高速公路无人机交通事件自动监测方法均在该处理器中执行，在此不再赘述。
所述后台管理单元203分别与所述无人机基站和所述处理器连接，所述后台管理单元用于接收并显示所述无人机采集的实时视频数据和所述目标车辆的行驶行为。
该后台管理单元通过通信网络与高速公路现场的处理器连接，接收道路现场的采集数据和事件判别结果，并向道路现场发送控制指令信息。后台管理单元主要为高速交警提供数据展示、系统维护和执法管理的手段，该后台管理单元包括数据展示平台、设备管理平台、路段管理平台以及执法管理平台；
所述数据展示平台利用大数据可视化和GIS应用技术对系统概况、无人机实时飞行位置、无人机工作状态、无人机基站分布、实时交通事件上报情况、交通事件统计情况、交通流状态和视频监控状态进行动态展示；，为交通管控提供依据。
所述路段管理平台用于对监控路段的增删改查，对无人机巡航路线的规划、管理和实时监测，为无人机提供巡航路线优化的数据支持；
所述设备管理平台用于对无人机和无人机基站设备、通信设备、处理单元设备和网络设备进行在线管理，包括设备基础信息维护、设备故障报警和人员权限管理；包括设备基础信息维护、设备故障报警、人员权限管理等。同时，执法人员可以根据事故情况，紧急调用附近无人机，迅速得知事故现场的情况。
所述执法管理平台用于对现场采集的交通异常事件进行审核执法。根据车辆目标的视频图像信息，进行人工审核，明确违法车辆、违法类型、时间、处罚标准等，确保执法的准确性，并将相关信息传输至交通管控平台进行执法。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
