欢迎光临小豌豆知识网!
当前位置:首页 > 物理技术 > 信号装置> 识别交通拥堵的处理方法、装置、设备及存储介质独创技术45884字

识别交通拥堵的处理方法、装置、设备及存储介质

2021-02-01 08:39:42

识别交通拥堵的处理方法、装置、设备及存储介质

  技术领域

  本发明涉及计算机技术领域,尤其涉及一种识别交通拥堵的处理方法、装置、设备及存储介质。

  背景技术

  随着经济及技术的飞速发展,人们生活水平逐渐提高,为了方便出行,越来越多的人拥有了自己的汽车。随着私家车辆的不断增多,给城市交通带来了巨大的压力,交通拥堵现象成为常态,交通拥堵给人们的出行带来了麻烦,影响了城市的快速发展。

  为了缓解交通拥堵压力,也为了能为人们出行提供更好的服务,拥堵检测技术逐渐发展起来,现有技术中的拥堵检测方法通常有:传统的采用地感线圈、微波检测器和雷达、激光检测仪等实现车辆计数,或者采用传统的图像处理方法进行拥堵检测,比如通过高斯聚类算法GMM计算车辆数量,结合光流法OPM获取车流的行驶速度来进行拥堵检测。

  但是,现有技术中的拥堵检测方法,检测结果不够准确。

  发明内容

  本发明实施例提供一种识别交通拥堵的处理方法、装置、设备及存储介质,以解决现有技术拥堵检测不够准确等缺陷。

  第一个方面,本发明实施例提供一种识别交通拥堵的处理方法,包括:

  获取目标道路的当前帧图像数据及当前模板帧数据,所述当前模板帧数据包括要跟踪的目标车辆对应的图像帧数据;

  根据所述当前帧图像数据确定当前帧对应的待检测帧数据;

  根据当前模板帧数据及所述待检测帧数据,确定当前帧对应的目标车辆的跟踪结果;

  若根据各帧对应的跟踪结果确定所述目标道路拥堵,则进行相应的应对处理。

  可选地,根据所述当前帧图像数据确定当前帧对应的待检测帧数据,包括:

  对所述当前帧图像数据进行预处理,获得第一预设格式的第一图像数据;

  对所述第一图像数据进行车辆检测,获得检测到的第一车辆;

  将所述第一车辆对应的图像帧数据作为所述当前帧对应的待检测帧数据。

  可选地,在根据当前模板帧数据及所述待检测帧数据,确定当前帧对应的目标车辆的跟踪结果之后,所述方法还包括:

  根据所述当前帧对应的目标车辆的跟踪结果,将不属于目标车辆的第一车辆所对应的图像帧数据补充到所述当前模板帧数据中,获得补充后的模板帧数据;

  将所述补充后的模板帧数据作为下一帧的模板帧数据。

  可选地,所述方法还包括:

  对不属于目标车辆的第一车辆所对应的图像帧数据进行预处理,获得第二预设格式的第二图像帧数据;

  所述将不属于目标车辆的第一车辆所对应的图像帧数据补充到所述当前模板帧数据中,获得补充后的模板帧数据,包括:

  将所述第二图像帧数据补充到所述当前模板帧数据中,获得补充后的模板帧数据。

  可选地,对所述第一图像数据进行车辆检测,获得检测到的第一车辆,包括:

  采用预设的CenterNet算法,对所述第一图像数据进行检测,获得检测到的各第一目标框区域及对应的置信度;

  根据各第一目标框区域对应的置信度,确定检测到的第一车辆。

  可选地,所述跟踪结果包括跟踪到的各目标车辆在当前帧中的位置区域以及未跟踪到的目标车辆;

  根据各帧对应的跟踪结果判断所述目标道路是否拥堵,包括:

  根据各帧对应的跟踪结果,确定所述目标道路车辆的平均速度;

  根据所述平均速度,确定所述目标道路是否拥堵。

  可选地,所述根据所述平均速度,确定所述目标道路是否拥堵,包括:

  若所述平均速度小于预设速度阈值,则确定所述目标道路拥堵。

  可选地,在根据各帧对应的跟踪结果判断所述目标道路是否拥堵之前,所述方法还包括:

  根据各帧中检测到的车辆数量,确定各帧是否拥堵;

  所述根据各帧对应的跟踪结果判断所述目标道路是否拥堵,包括:

  根据拥堵的帧数和各帧对应的跟踪结果判断所述目标道路是否拥堵。

  可选地,所述根据当前模板帧数据及所述待检测帧数据,确定当前帧对应的目标车辆的跟踪结果,包括:

  根据当前模板帧数据及所述待检测帧数据,采用预设的SiamRPN++目标跟踪算法,确定当前帧对应的目标车辆的跟踪结果。

  第二个方面,本发明实施例提供一种识别交通拥堵的处理装置,包括:

  获取模块,用于获取目标道路的当前帧图像数据及当前模板帧数据,所述当前模板帧数据包括要跟踪的目标车辆对应的图像帧数据;

  检测模块,用于根据所述当前帧图像数据确定当前帧对应的待检测帧数据;

  跟踪模块,用于根据当前模板帧数据及所述待检测帧数据,确定当前帧对应的目标车辆的跟踪结果;

  处理模块,用于若根据各帧对应的跟踪结果确定所述目标道路拥堵,则进行相应的应对处理。

  可选地,所述检测模块,具体用于:

  对所述当前帧图像数据进行预处理,获得第一预设格式的第一图像数据;

  对所述第一图像数据进行车辆检测,获得检测到的第一车辆;

  将所述第一车辆对应的图像帧数据作为所述当前帧对应的待检测帧数据。

  可选地,所述处理模块,还用于:

  根据所述当前帧对应的目标车辆的跟踪结果,将不属于目标车辆的第一车辆所对应的图像帧数据补充到所述当前模板帧数据中,获得补充后的模板帧数据;

  将所述补充后的模板帧数据作为下一帧的模板帧数据。

  可选地,所述处理模块,还用于对不属于目标车辆的第一车辆所对应的图像帧数据进行预处理,获得第二预设格式的第二图像帧数据;

  所述处理模块,具体用于:将所述第二图像帧数据补充到所述当前模板帧数据中,获得补充后的模板帧数据。

  可选地,所述检测模块,具体用于:

  采用预设的CenterNet算法,对所述第一图像数据进行检测,获得检测到的各第一目标框区域及对应的置信度;

  根据各第一目标框区域对应的置信度,确定检测到的第一车辆。

  可选地,所述跟踪结果包括跟踪到的各目标车辆在当前帧中的位置区域以及未跟踪到的目标车辆;所述处理模块,具体用于:

  根据各帧对应的跟踪结果,确定所述目标道路车辆的平均速度;

  根据所述平均速度,确定所述目标道路是否拥堵。

  可选地,所述处理模块,具体用于:若所述平均速度小于预设速度阈值,则确定所述目标道路拥堵。

  可选地,所述处理模块,还用于据各帧中检测到的车辆数量,确定各帧是否拥堵;

  所述处理模块,具体用于:根据拥堵的帧数和各帧对应的跟踪结果判断所述目标道路是否拥堵。

  可选地,所述跟踪模块,具体用于:

  根据当前模板帧数据及所述待检测帧数据,采用预设的SiamRPN++目标跟踪算法,确定当前帧对应的目标车辆的跟踪结果。

  第三个方面,本发明实施例提供一种,包括:至少一个处理器和存储器;

  所述存储器存储计算机执行指令;

  所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。

  第四个方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一个方面以及第一个方面各种可能的设计所述的方法。

  本发明实施例提供的识别交通拥堵的处理方法、装置、设备及存储介质,通过根据目标道路的当前帧图像数据进行车辆检测,获得当前帧对应的待检测帧数据,根据当前模板帧数据及所述待检测帧数据,对目标车辆进行跟踪处理,获得当前帧对应的目标车辆的跟踪结果,并根据各帧对应的跟踪结果确定所述目标道路拥堵,则进行相应的应对处理,有效实现了道路交通拥堵的实时检测,提高了检测准确性。基于目标检测在RIO区域进行车辆检测计数,对于小目标的物体检测更加准确,相对于现有技术能够更加准确的反映车辆的数量。并且用目标跟踪进行车辆车速的计算,相对于现有技术能够权衡总体的车流速度,并且计算量小,实时性高。

  附图说明

  为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

  图1为本发明实施例基于的处理系统的架构示意图;

  图2为本发明一实施例提供的识别交通拥堵的处理方法的流程示意图;

  图3为本发明另一实施例提供的识别交通拥堵的处理方法的流程示意图;

  图4为本发明一实施例提供的SiamRPN++网络的架构示意图;

  图5为本发明一实施例提供的RPN块的结构图;

  图6为本发明一实施例提供的示例性的整体处理流程示意图;

  图7为本发明一实施例提供的识别交通拥堵的处理装置的结构示意图;

  图8为本发明一实施例提供的电子设备的结构示意图。

  通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。

  具体实施方式

  为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

  首先对本发明所涉及的名词进行解释:

  GMM:Adaptive Background Mixture Models For Real-Time Tracking,高斯混合模型,是一种高斯聚类算法。

  OPM:光流法。

  CenterNet算法:是一种目标检测算法,其主要的思想基于anchor-free,其输入为618x618的图像,然后通过网络的特征提取之后,分为三个分支,一个分支进行边框高和宽的回归,另外一个分支进行中心点偏移量的回归,最后一个分支进行类别的heatmap的预测。

  SiamRPN++算法:是一种基于孪生网络的目标跟踪算法,该算法有2个特征提取分支,第一个分支为需要检测图片的输入,其输入大小为255×255,然后进行ResNet-50的特征提取,利用深度网络得到的特征提取其重点三个层的特征信息;第二个分支为模板帧的输入,用于和第一个分支进行特征的融合和匹配,其结构也是Resnet-50的网络,最后进行2个分支的卷积,具体做法是模板帧提取的3个特征层的输出作为图像输入分支的卷积核进行运算,最终获取到卷积之后的2个分支,分别进行目标框的坐标回归结果和所属类别分类。具体网络架构参照下面说明。

  Bconfidence:置信度,具体表示目标检测框属于某一类的置信度。

  随着经济及技术的飞速发展,人们生活水平逐渐提高,为了方便出行,越来越多的人拥有了自己的汽车。随着私家车辆的不断增多,给城市交通带来了巨大的压力,交通拥堵现象成为常态,交通拥堵给人们的出行带来了麻烦,影响了城市的快速发展。为了缓解交通拥堵压力,也为了能为人们出行提供更好的服务,拥堵检测技术逐渐发展起来,现有技术中的拥堵检测方法,一种是传统的采用地感线圈、微波检测器和雷达、激光检测仪等实现车辆计数,另一种是采用传统的图像处理方法进行拥堵检测,比如通过高斯聚类算法GMM计算车辆数量,结合光流法OPM获取车流的行驶速度来进行拥堵检测。但是检测结果往往不够准确。

  针对现有技术存在的上述问题,发明人进行了创造性的研究,在研究中发现,现有技术中,传统的采用地感线圈、微波检测器和雷达、激光检测仪等实现车辆计数的方法难以实现现实场景中的拥堵状态检测,另一种GMM和OPM结合的方法,不能准确的估计车辆数量,有一定的误判性,为了能够解决上述问题,发明人创造性地发现基于深度学习的方法能够更加准确的检测快速路、地面道路等所有现实场景的拥堵程度,能够准确的给出车辆拥堵的方向,并可以进行实时的拥堵报警,也可以用于后续的智能交通信号灯控制,减轻拥堵状况。因此本发明实施例提供一种识别交通拥堵的处理方法,结合了目标检测和目标跟踪技术实现了快速地识别交通拥堵情况,解决了现有技术拥堵检测不够准确的缺陷。

  本发明实施例提供的识别交通拥堵的处理方法,适用于任意道路的交通拥堵状况的识别与应对,并适用于任意需要识别拥堵的应用场景,比如地图实时展示各道路拥堵情况的场景,比如交通管理根据拥堵情况控制信号灯时长的场景,再比如相关部门需要监控了解各道路交通拥堵情况的场景,等等。如图1所示,为本发明实施例基于的处理系统的架构示意图。该处理系统可以包括道路监控设备和电子设备(比如服务器),还可以包括目标道路交通信号灯的控制设备,还可以包括相关人员的终端设备,还可以包括地图服务设备。道路监控设备设置在目标道路的相应位置,用于拍摄目标道路的实时视频流数据并发送给电子设备,电子设备根据视频流数据来识别目标道路当前是否拥堵,若拥堵则可以根据预设规则进行相应的应对处理,比如,将拥堵情况发送给目标道路交通信号灯的控制设备,以使控制设备根据拥堵情况控制信号灯的时长,还可以将拥堵情况发送给相关人员的终端设备,以使终端设备显示给相关人员,使相关人员可以指派工作人员前去目标道路指挥交通,还可以将拥堵情况在地图上进行显示,以便正在使用地图的用户可以及时了解到拥堵情况,等等。具体的拥堵应对方式可以根据实际需求设置。其中,道路监控设备拍摄的视频流数据可以是实时或间隔预设时间(比如很短的时间,比如几秒钟,具体可以根据实际需求设置)发送给电子设备,电子设备在获取到目标道路的视频流数据后,可以一帧一帧地进行处理,当前要处理的一帧称为当前帧,具体来说,可以获取目标道路的当前帧图像数据,并获取当前模板帧数据,当前模板帧数据包括要跟踪的目标车辆对应的图像帧数据,模板帧数据是动态变化的数据集,随着每帧的处理不断补充,还可以随着目标车辆在监控范围内的消失而减少,对于当前帧来说,其对应的当前模板帧数据可以是前一帧处理过程中补充后获得的。具体的,可以根据第一帧图像数据,来确定初始的模板帧数据,作为第二帧图像数据对应的当前模板帧数据。具体来说,可以对第一帧图像数据进行预处理,得到预设格式的图像数据,对该预设格式的图像数据进行车辆检测,获得检测到的车辆,将这些检测到的车辆对应的图像帧数据作为初始的模板帧数据,对该初始模板帧数据中的目标车辆进行跟踪,第二帧中新出现的车辆的图像帧数据补充到模板帧数据中,将补充后的模板帧数据作为第三帧对应的当前模板帧数据,以此类推,不再一一赘述。在获取到目标道路的当前帧图像数据及当前模板帧数据之后,对据当前帧图像数据进行预处理,并对预处理后的图像数据进行车辆检测,获得检测到的第一车辆,将第一车辆对应的图像帧数据作为待检测帧数据,第一车辆对应的图像帧数据是指第一车辆在当前帧图像数据中的区域图像数据,也即将检测到的第一车辆对应的区域框从当前帧图像数据中分割出来的图像数据。根据当前模板帧数据及待检测帧数据,确定当前帧对应的目标车辆的跟踪结果。在获得预设数量或者预设时长内的各帧对应的跟踪结果后,可以进行一次拥堵判断,若根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理。预设数量及预设时长可以根据实际需求设置。

  此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。

  下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。

  本发明一实施例提供一种识别交通拥堵的处理方法,用于识别道路的交通拥堵状况。本实施例的执行主体为识别交通拥堵的处理装置,该装置可以设置在电子设备中,该电子设备可以是服务器、台式电脑、笔记本电脑等任意具有相应处理功能的设备。

  如图2所示,为本实施例提供的识别交通拥堵的处理方法的流程示意图,该方法包括:

  步骤101,获取目标道路的当前帧图像数据及当前模板帧数据,当前模板帧数据包括要跟踪的目标车辆对应的图像帧数据。

  具体的,可以通过道路监控设备拍摄目标道路的实时视频流数据并发送给电子设备,道路监控设备拍摄的视频流数据可以是实时发送给电子设备,或间隔预设时间(比如很短的时间,比如几秒钟,具体可以根据实际需求设置)发送给电子设备,可以是一帧一帧连续发送,也可以是每间隔一定帧数发送一帧。具体当前帧图像数据的获取方式不限。以发送一段视频流数据为例,电子设备在获取到目标道路的视频流数据后,可以一帧一帧地进行处理,当前要处理的一帧称为当前帧。当前帧图像数据可以是视频流数据中的一帧原图像数据,也可以是原图像数据中的感兴趣区域,具体可以根据实际需求设置。感兴趣区域可以预先设置,比如拍摄的一帧原图像数据覆盖了车辆行驶道路和人行道,将车辆行驶道路部分的图像设定为感兴趣区域,只针对感兴趣区域进行后续处理,有效减小计算量,提高处理效率及准确性。

  模板帧数据是动态变化的数据集,随着每帧的处理不断补充,还可以随着目标车辆在监控范围内的消失而减少,对于当前帧来说,其对应的当前模板帧数据可以是前一帧处理过程中补充后获得的。具体的,可以根据第一帧图像数据,来确定初始的模板帧数据,作为第二帧图像数据对应的当前模板帧数据。具体来说,可以对第一帧图像数据进行预处理,得到预设格式的图像数据,对该预设格式的图像数据进行车辆检测,获得检测到的车辆,将这些检测到的车辆对应的图像帧数据作为初始的模板帧数据,对该初始模板帧数据中的目标车辆进行跟踪,第二帧中新出现的车辆的图像帧数据补充到模板帧数据中,将补充后的模板帧数据作为第三帧对应的当前模板帧数据,以此类推,不再一一赘述。其中,车辆对应的图像帧数据是指车辆在原图像数据中检测到时获得的区域图像数据,即将车辆区域从原图像中抠出来的小图像。

  步骤102,根据当前帧图像数据确定当前帧对应的待检测帧数据。

  具体的,待检测帧数据包括在当前帧图像数据中检测到的各车辆对应的图像帧数据。即对当前帧图像数据进行车辆检测,获得检测到的车辆,将这些检测到的车辆对应的图像帧数据作为待检测帧数据。

  可选地,可以采用任意可实施的目标检测算法来检测当前帧图像数据中的车辆。

  示例性的,采用CenterNet算法来进行车辆检测。

  可选地,可以获取并存储当前帧图像数据中检测到的车辆数量,作为判断拥堵的一种因素。比如在一帧图像数据中若检测到的车辆数量超过预设阈值,则认为该帧状态下为拥堵,若在多帧图像数据中检测到的车辆数量均超过预设阈值,即有多帧为拥堵状态,可以确定目标道路当前为拥堵状态。

  步骤103,根据当前模板帧数据及待检测帧数据,确定当前帧对应的目标车辆的跟踪结果。

  具体的,基于当前模板帧数据在待检测帧数据中对目标车辆进行目标跟踪,来确定当前帧对应的目标车辆的跟踪结果。目标车辆的跟踪结果具体可以包括在当前帧中跟踪到的目标车辆,以及跟踪到的各目标车辆在当前帧中的位置区域,还可以包括未跟踪到的目标车辆。

  示例性的,可以采用SiamRPN++目标跟踪算法进行目标车辆的跟踪。具体来说,将当前模板帧数据输入到SiamRPN++网络的模板分支,将待检测帧数据输入到SiamRPN++网络的检测分支,获得目标车辆的跟踪结果。

  步骤104,若根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理。

  示例性地,根据各帧对应的跟踪结果确定目标道路拥堵具体可以是根据目标车辆出现在各帧的情况(在各帧中的位置),及两帧之间的时间间隔,可以确定每个目标车辆的行驶速度,进而可以确定目标道路车辆的平均速度,若平均速度过于缓慢可以认为当前目标道路为拥堵状态。

  示例性地,还可以将平均速度与各帧下检测到的车辆数量结合来确定目标道路是否拥堵。

  示例性的,若平均速度小于预设速度阈值,且连续多帧检测到的车辆数量大于预设数量阈值,确定目标道路为拥堵。

  具体判断拥堵的规则可以根据实际需求设置,本实施例不做限定。

  应对处理可以包括但不限于包括:将拥堵情况发送给目标道路交通信号灯的控制设备,以使控制设备根据拥堵情况控制信号灯的时长,还可以将拥堵情况发送给相关人员的终端设备,以使终端设备显示给相关人员,使相关人员可以指派工作人员前去目标道路指挥交通,还可以将拥堵情况在地图上进行显示,以便正在使用地图的用户可以及时了解到拥堵情况,等等。具体的拥堵应对方式可以根据实际需求设置。

  可选地,在每一帧的处理过程中,可以记录检测到的每个车辆的区域框位置信息及当前帧信息等跟踪信息。

  本实施例提供的识别交通拥堵的处理方法,通过根据目标道路的当前帧图像数据进行车辆检测,获得当前帧对应的待检测帧数据,根据当前模板帧数据及待检测帧数据,对目标车辆进行跟踪处理,获得当前帧对应的目标车辆的跟踪结果,并根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理,有效实现了道路交通拥堵的实时检测,提高了检测准确性。

  本发明另一实施例对上述实施例提供的方法做进一步补充说明。

  如图3所示,为本实施例提供的识别交通拥堵的处理方法的流程示意图。

  作为一种可实施的方式,在上述实施例的基础上,可选地,根据当前帧图像数据确定当前帧对应的待检测帧数据,具体包括:

  步骤2011,对当前帧图像数据进行预处理,获得第一预设格式的第一图像数据。

  步骤2012,对第一图像数据进行车辆检测,获得检测到的第一车辆。

  步骤2013,将第一车辆对应的图像帧数据作为当前帧对应的待检测帧数据。

  具体的,预处理可以包括归一化处理和缩放处理,其中,归一化处理包括:对当前帧图像数据进行减均值(RGB三通道分别减去127.5)、除方差(RGB三通道分别除以255.0),得到归一化图像数据。缩放处理包括:对得到的归一化图像数据进行缩放处理,得到预设大小的图像,比如resize为608x608的图像。第一车辆可以是一个或多个。

  可选地,可以采用任意可实施的目标检测算法来检测当前帧图像数据中的车辆,获得检测到的第一车辆。

  可选地,在根据当前模板帧数据及待检测帧数据,确定当前帧对应的目标车辆的跟踪结果之后,该方法还包括:

  步骤2021,根据当前帧对应的目标车辆的跟踪结果,将不属于目标车辆的第一车辆所对应的图像帧数据补充到当前模板帧数据中,获得补充后的模板帧数据;

  步骤2022,将补充后的模板帧数据作为下一帧的模板帧数据。

  具体的,由于在当前帧图像数据中检测到的第一车辆若不属于目标车辆,则表示是在当前帧中新出现的车辆,那么在下一帧需要对这些新出现的车辆也进行跟踪,因此需要将这些不属于目标车辆的第一车辆作为下一帧要跟踪的目标车辆补充到模板帧数据中。

  可以理解地,对于在当前帧中未跟踪到的目标车辆可以进行标记,在后续不再进行跟踪处理。

  可选地,该方法还包括:

  步骤2031,对不属于目标车辆的第一车辆所对应的图像帧数据进行预处理,获得第二预设格式的第二图像帧数据;

  相应的,将不属于目标车辆的第一车辆所对应的图像帧数据补充到当前模板帧数据中,获得补充后的模板帧数据,包括:

  步骤2032,将第二图像帧数据补充到当前模板帧数据中,获得补充后的模板帧数据。

  具体的,为了便于特征提取,模板帧数据中的图像帧数据可以为经过预处理后的图像数据,因此,在提取到不属于目标车辆各第一车辆对应的图像帧数据后,还需要对其进行预处理,获得第二预设格式的第二图像帧数据,将第二图像帧数据补充到当前模板帧数据中,获得补充后的模板帧数据。其中,预处理的具体操作与上述一致,在此不再赘述。

  示例性的,模板帧数据包括的图像帧数据可以是归一化的127×127大小的图像数据。

  可选地,对第一图像数据进行车辆检测,获得检测到的第一车辆,包括:

  步骤2041,采用预设的CenterNet算法,对第一图像数据进行检测,获得检测到的各第一目标框区域及对应的置信度。

  步骤2042,根据各第一目标框区域对应的置信度,确定检测到的第一车辆。

  具体的,CenterNet算法为现有的目标检测算法,在此不再赘述,检测结果为检测到的一个或多个目标框区域(为了区分称为第一目标框区域)及各目标框区域对应的置信度。置信度表示各第一目标框区域属于车辆的可能性,可以设置置信度阈值,当某一第一目标框区域的置信度高于置信度阈值时,认为该第一目标框区域属于车辆,以此来确定检测到的各第一车辆。

  作为另一种可实施的方式,在上述实施例的基础上,可选地,跟踪结果包括跟踪到的各目标车辆在当前帧中的位置区域以及未跟踪到的目标车辆;根据各帧对应的跟踪结果判断目标道路是否拥堵,具体包括:

  步骤2051,根据各帧对应的跟踪结果,确定目标道路车辆的平均速度。

  步骤2052,根据平均速度,确定目标道路是否拥堵。

  可选地,根据平均速度,确定目标道路是否拥堵,具体包括:若平均速度小于预设速度阈值,则确定目标道路拥堵。

  具体的,可以是根据目标车辆出现在各帧的情况,及两帧之间的时间间隔,可以确定每个目标车辆的行驶速度,进而可以确定目标道路车辆的平均速度,若平均速度过于缓慢可以认为当前目标道路为拥堵状态。

  示例性的,某目标车辆在第一帧中出现在第一位置,且在后续连续5帧都出现了该目标车辆并记录了每帧中该目标车辆的位置,则可以根据该目标车辆在每帧中的位置,确定该目标车辆行驶的距离,而拍摄第一帧与拍摄第6帧之间的时间间隔为T秒,则可以根据该目标车辆行驶的距离以及时间间隔T秒,来确定该目标车辆的行驶速度,根据各目标车辆的行驶速度来确定平均速度。

  作为另一种可实施的方式,在上述实施例的基础上,可选地,在根据各帧对应的跟踪结果判断目标道路是否拥堵之前,方法还包括:

  步骤2061,根据各帧中检测到的车辆数量,确定各帧是否拥堵;

  相应的,根据各帧对应的跟踪结果判断目标道路是否拥堵,包括:

  步骤2062,根据拥堵的帧数和各帧对应的跟踪结果判断目标道路是否拥堵。

  具体的,在每帧处理过程中,可以记录检测到的车辆数量,作为判断拥堵的一种因素。

  示例性的,在某一帧中,若检测到的车辆数量超过预设阈值,则认为该帧状态下为拥堵,记录该帧的车辆数量及帧信息,在判断交通拥堵时,则可以获取到拥堵的各帧的车辆数量及帧信息,可以统计拥堵的帧数,若在多帧图像数据中检测到的车辆数量均超过预设阈值,即有多帧为拥堵状态,且平均速度小于预设速度阈值,则确定目标道路当前为拥堵状态。

  作为另一种可实施的方式,在上述实施例的基础上,可选地,根据当前模板帧数据及待检测帧数据,确定当前帧对应的目标车辆的跟踪结果,包括:

  步骤2071,根据当前模板帧数据及待检测帧数据,采用预设的SiamRPN++目标跟踪算法,确定当前帧对应的目标车辆的跟踪结果。

  具体的,将当前模板帧数据输入到SiamRPN++网络的模板分支,将待检测帧数据输入到SiamRPN++网络的检测分支,获得目标车辆的跟踪结果。

  需要说明的是,SiamRPN++网络需要预先训练学习获得,具体可以是预先获取大量训练数据进行训练来获得。具体训练过程为现有技术,在此不再赘述。

  示例性的,如图4所示,为本实施例提供的SiamRPN++网络的架构示意图。如图5所示,为本实施例提供的RPN块的结构图,RPN块即图4中Siamese RPN块的结构图。其中,Target即表示模板帧数据,Search即表示待检测帧数据。本示例中,模板帧数据采用127×127大小的图像,待检测帧数据采用255×255大小的图像,具体大小可以根据实际需求设置,不限于上述大小。该SiamRPN++网络的两个分支采用了Resnet-50的网络,将目标图像(即模板帧数据)和搜索图像(即待检测帧数据)分别输入孪生网络的两端,经过50层的ResNet网络分别对他们进行特征提取,并且在conv3、conv4和conv5输入到RPN网络(即RPN块)中,进行目标检测,然后三个结果进行融合,输出目标被框出来的搜索图像。具体的网络架构为现有的架构,在此不再一一赘述。

  在一种示例性的实施方式中,对整体处理流程进行详细说明,如图6所示,为本实施例提供的示例性的整体处理流程示意图。在该示例中,可以认为拥堵的定义是路口车流排队溢出时间为150秒,实际应用中该溢出时间可以根据实际需求设置。该方法具体可以包括:

  1、获取视频流数据。

  2、对每一帧图像数据进行减均值(RGB三通道分别减去127.5),除方差(RGB三通道分别除去255.0),然后resize为608×608的图像进行下一步的输出。

  3、对设定的感兴趣区域(ROI),进行车辆检测,获取所有车辆的目标框bbox,即可能包含车辆的中心点(x,y)和宽高(w,h)。

  4、对于检测出来的目标框进行筛选过滤,保留高于Bconfidence(置信度阈值)的目标框作为下一步的车辆统计。

  5、对第4步过滤后的目标框进行统计计数,如果目标框数量大于设定的阈值Mbox(即预设阈值),则将当前帧的目标框数量存放到集合A中,否则清空集合A和B,然后执行第2步。

  6、从该帧中提取检测到的车辆区域(即当前帧中检测到的第一车辆对应的图像帧数据),保存到集合B中,其中,集合B保存每一个车辆的目标框位置和帧数等相关的跟踪信息,然后对每一个车辆的目标区域(即每个车辆对应的图像帧数据)进行预处理(减均值,除方差),并resize到127x127的大小作为SiamRPN++目标跟踪算法的模板帧的输入(即模板帧数据),用于车辆跟踪,如果在下一帧中有该车辆,则更新保存跟踪结果,如果下一帧中有不属于目标车辆的新车辆,则将新车辆添加为新的需要跟踪的目标车辆。

  7、如果保存的集合A的个数大于设定的阈值M(即目标框数量大于设定的阈值Mbox的帧的数量),则通过集合B中所有车辆的运动轨迹,计算每个车辆行驶的距离,除以跟踪到的总帧数,得到车辆的平均车速,否则,继续执行第2步。

  8、如果第7步获取的平均速度Vmean<Vmax(提前设定的阈值),则进行拥堵报警,并基于车辆的起始位置到最终的跟踪位置,可以进行行驶方向的判断,可以具体到判断出具体的拥堵方向,否则清空集合A和B,然后执行第2步进行下一帧的处理。

  本实施例基于目标检测在RIO区域进行车辆检测计数,对于小目标的物体检测更加准确,相对于现有技术能够更加准确的反映车辆的数量。并且用目标跟踪进行车辆车速的计算,相对于现有技术能够权衡总体的车流速度,并且计算量小,实时性高。

  需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。

  本实施例提供的识别交通拥堵的处理方法,通过根据目标道路的当前帧图像数据进行车辆检测,获得当前帧对应的待检测帧数据,根据当前模板帧数据及待检测帧数据,对目标车辆进行跟踪处理,获得当前帧对应的目标车辆的跟踪结果,并根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理,有效实现了道路交通拥堵的实时检测,提高了检测准确性。基于目标检测在RIO区域进行车辆检测计数,对于小目标的物体检测更加准确,相对于现有技术能够更加准确的反映车辆的数量。并且用目标跟踪进行车辆车速的计算,相对于现有技术能够权衡总体的车流速度,并且计算量小,实时性高。

  本发明再一实施例提供一种识别交通拥堵的处理装置,用于执行上述实施例的方法。

  如图7所示,为本实施例提供的识别交通拥堵的处理装置的结构示意图。该识别交通拥堵的处理装置30包括获取模块31、检测模块32、跟踪模块33和处理模块34。

  其中,获取模块,用于获取目标道路的当前帧图像数据及当前模板帧数据,当前模板帧数据包括要跟踪的目标车辆对应的图像帧数据;检测模块,用于根据当前帧图像数据确定当前帧对应的待检测帧数据;跟踪模块,用于根据当前模板帧数据及待检测帧数据,确定当前帧对应的目标车辆的跟踪结果;处理模块,用于若根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理。

  关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

  根据本实施例提供的识别交通拥堵的处理装置,通过根据目标道路的当前帧图像数据进行车辆检测,获得当前帧对应的待检测帧数据,根据当前模板帧数据及待检测帧数据,对目标车辆进行跟踪处理,获得当前帧对应的目标车辆的跟踪结果,并根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理,有效实现了道路交通拥堵的实时检测,提高了检测准确性。

  本发明又一实施例对上述实施例提供的装置做进一步补充说明。

  作为一种可实施的方式,在上述实施例的基础上,可选地,检测模块,具体用于:

  对当前帧图像数据进行预处理,获得第一预设格式的第一图像数据;

  对第一图像数据进行车辆检测,获得检测到的第一车辆;

  将第一车辆对应的图像帧数据作为当前帧对应的待检测帧数据。

  可选地,处理模块,还用于:

  根据当前帧对应的目标车辆的跟踪结果,将不属于目标车辆的第一车辆所对应的图像帧数据补充到当前模板帧数据中,获得补充后的模板帧数据;

  将补充后的模板帧数据作为下一帧的模板帧数据。

  可选地,处理模块,还用于对不属于目标车辆的第一车辆所对应的图像帧数据进行预处理,获得第二预设格式的第二图像帧数据;

  处理模块,具体用于:将第二图像帧数据补充到当前模板帧数据中,获得补充后的模板帧数据。

  可选地,检测模块,具体用于:

  采用预设的CenterNet算法,对第一图像数据进行检测,获得检测到的各第一目标框区域及对应的置信度;

  根据各第一目标框区域对应的置信度,确定检测到的第一车辆。

  作为另一种可实施的方式,在上述实施例的基础上,可选地,跟踪结果包括跟踪到的各目标车辆在当前帧中的位置区域以及未跟踪到的目标车辆;处理模块,具体用于:

  根据各帧对应的跟踪结果,确定目标道路车辆的平均速度;

  根据平均速度,确定目标道路是否拥堵。

  可选地,处理模块,具体用于:若平均速度小于预设速度阈值,则确定目标道路拥堵。

  作为另一种可实施的方式,在上述实施例的基础上,可选地,处理模块,还用于据各帧中检测到的车辆数量,确定各帧是否拥堵;

  处理模块,具体用于:根据拥堵的帧数和各帧对应的跟踪结果判断目标道路是否拥堵。

  作为另一种可实施的方式,在上述实施例的基础上,可选地,跟踪模块,具体用于:

  根据当前模板帧数据及待检测帧数据,采用预设的SiamRPN++目标跟踪算法,确定当前帧对应的目标车辆的跟踪结果。

  关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

  需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。

  根据本实施例的识别交通拥堵的处理装置,通过根据目标道路的当前帧图像数据进行车辆检测,获得当前帧对应的待检测帧数据,根据当前模板帧数据及待检测帧数据,对目标车辆进行跟踪处理,获得当前帧对应的目标车辆的跟踪结果,并根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理,有效实现了道路交通拥堵的实时检测,提高了检测准确性。基于目标检测在RIO区域进行车辆检测计数,对于小目标的物体检测更加准确,相对于现有技术能够更加准确的反映车辆的数量。并且用目标跟踪进行车辆车速的计算,相对于现有技术能够权衡总体的车流速度,并且计算量小,实时性高。

  本发明再一实施例提供一种电子设备,用于执行上述实施例提供的方法。

  如图8所示,为本实施例提供的电子设备的结构示意图。该电子设备50包括:至少一个处理器51和存储器52;

  存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如上任一实施例提供的方法。

  根据本实施例的电子设备,通过根据目标道路的当前帧图像数据进行车辆检测,获得当前帧对应的待检测帧数据,根据当前模板帧数据及待检测帧数据,对目标车辆进行跟踪处理,获得当前帧对应的目标车辆的跟踪结果,并根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理,有效实现了道路交通拥堵的实时检测,提高了检测准确性。基于目标检测在RIO区域进行车辆检测计数,对于小目标的物体检测更加准确,相对于现有技术能够更加准确的反映车辆的数量。并且用目标跟踪进行车辆车速的计算,相对于现有技术能够权衡总体的车流速度,并且计算量小,实时性高。

  本发明又一实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上任一实施例提供的方法。

  根据本实施例的计算机可读存储介质,通过根据目标道路的当前帧图像数据进行车辆检测,获得当前帧对应的待检测帧数据,根据当前模板帧数据及待检测帧数据,对目标车辆进行跟踪处理,获得当前帧对应的目标车辆的跟踪结果,并根据各帧对应的跟踪结果确定目标道路拥堵,则进行相应的应对处理,有效实现了道路交通拥堵的实时检测,提高了检测准确性。基于目标检测在RIO区域进行车辆检测计数,对于小目标的物体检测更加准确,相对于现有技术能够更加准确的反映车辆的数量。并且用目标跟踪进行车辆车速的计算,相对于现有技术能够权衡总体的车流速度,并且计算量小,实时性高。

  在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

  本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。

  应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

《识别交通拥堵的处理方法、装置、设备及存储介质.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)