一种基于车载摄像的道路交通状况检测方法
技术领域
本发明属于深度学习与智能交通领域，具体涉及一种车载摄像的道路交通状况检测方法。
背景技术
智能交通在迅速发展，应用在汽车领域的技术也在随着快速变革。防撞预警系统主要用于协助驾驶员避免高速、低速追尾，高速中无意识偏离车道，与行人碰撞等重大交通事故。各个研究人员也在投入大量的资源进行研究。在车辆检测与追踪上已经做了大量的工作，对于车辆检测，大多数工作是假定摄像机是静态的。高级辅助驾驶系统主要用于协助驾驶员避免高速、低速追尾，高速中无意识偏离车道，与行人碰撞等重大交通事故。但对于高速公路、乡道以及距离城区较远的道路发生的事故，由于监控摄像头较少，且大多采用固定式拍摄，无法有效地事故监控，指挥交通。驾驶人员与无法及时获取前方道路的交通状况。目前，驾驶人员未将车辆信息共享到云端，在车联网应用场景下，车辆之间能够直接相互通信，获取车辆信息，了解当前的交通状况信息，以便于驾驶人员或具有自动驾驶功能的车辆选择更为适合的驾驶行为和路线。通过汽车上集成的GPS定位，RFID识别，传感器、摄像头和图像处理等电子组件，按照约定的通信协议和数据交互标准，在V2V、 V2R、V2I之间，进行无线通信和信息交换的大系统网络。并融合现代通信与网络技术，实现车与人、车、路、后台等智能信息的交换共享，具备复杂的环境感知、智能决策、协同控制和执行等功能。随着人们生活水平和经济收入的不断提高，汽车变成人们负担得起的必需品，道路上行驶的车辆也越来越多，不仅仅是城市交通状况日渐拥堵，而且远离城市区域的道路交通也开始变得紧张。但对于高速公路、乡道以及距离城区较远的道路等固定式摄像头较少的路段无法进行有效的检测与车辆统计。
发明内容
本发明提供一种基于车载摄像的道路交通状况检测方法，为了能准确的估计当前交通状况并给驾驶人员反馈一个准确估计结果，将车辆作为边缘计算节点，通过车载摄像机感知周围环境，并记录下来。使用车辆数据集训练的模型。利用基于深度学习的目标检测算法YOLOv3来检测所记录视频流中的车辆信息，对视频流进行帧提取，逐帧检测与识别图像中的车辆，对预测出的车辆并绘制出bounding boxes。
针对各个车道上的路段交通评估，由于车载摄像设备相对于车是固定的，而汽车相对于车道的左右位置也是基本固定的，所以车道在车载摄像设备记录的视频中基本保持在一个固定区域内，对视频中提取出的图像设置感兴趣的区域(ROI)，利用的灰度变换、高斯滤波、Canny边缘检测等图像处理技术，然后结合Hough变换找到图像中的线，根据得到的线计算出左车道和右车道，划分出识别到的车辆属于左车道、中间车道、右车道。
根据车辆检测算法，预测车辆画出bounding boxes，对每帧图像中的 boundingboxes进行统计，统计的数目就是当前帧车辆数，结合道路宽度和长度信息，计算某一瞬间内的车辆密度。通过车辆密度的大小反映了一条道路上的交通密集程度，对于同向行驶的具有三车道的道路，为使车辆密度具有可比性，按照单车道估计，最后得到同向行驶路段交通状况，近似地来衡量驾驶员操作车辆的舒适性，和灵活性。能够进一步提高交通管制、事故探测、路线规划的水平。
为实现上述目的，本发明的技术方案为：
一种基于车载摄像的道路交通状况检测方法，(1)车载摄像标定：根据单目车载摄像设备成像原理，车载摄像标定是三维计算机视觉中从二维图像中提取度量信息；
(2)行车道上车辆检测：利用基于深度学习的目标检测算法YOLOv3对行驶在公路的车辆进行检测与识别；
(3)行驶车道检测：利用Hough变换算法，采用直线模型对车道线进行拟合；
(4)车辆统计：根据图像数据在输出的回归边界框bounding boxes的位置及其所属的类别，然后进行逐一统计；
(5)交通估计：结合车辆行驶路段的检测与统计结果，结合本发明中提出的新型评估模型的估计行驶路线上的交通状况。
一种基于车载摄像的道路交通状况检测方法，包括以下步骤：
步骤1、车载摄像标定：根据单目车载摄像设备的成像原理，车载摄像标定是三维计算机视觉中从二维图像中提取度量信息；
步骤2、行车道上车辆检测：利用深度学习目标检测算法YOLOv3对行驶在公路的车辆进行检测与识别；
步骤3、行驶车道检测：利用Hough变换算法，采用直线模型对车道线检测并进行拟合；
步骤4、车辆统计：根据图像数据在输出的回归边界框的位置及其所属的类别，并判断其所属车道，然后进行逐一统计；
步骤5、交通估计：根据车辆检测与统计的结果，结合提出一种数学模型的估计行驶路线上的交通状况，道路上的车辆密度可以作为交通系统中交通状况的有效指标，用来描述是道路交通状况，按照上述方法，基于车道信息的车辆计数与坐标变换方法，车道i的可检测距离，记为Dv,i，车道i的上检测与识别到的车辆统计结果，记为Nden,i，确定车道i上的车辆密度，记为 Vden,i，车道宽度记为Wlane，Splimit表示道路上受限的行驶速度；
步骤1是指：设定三维世界的坐标点为
步骤2是指：通过车载摄像设备感知周围环境，并记录下来，使用车辆数据集训练的模型，利用基于深度学习的目标检测算法YOLOv3来检测所记录视频中的车辆信息，对视频进行帧提取，逐帧检测与识别图像中的车辆，对预测出的车辆并绘制出bounding boxes。
步骤3是指：基于Hough变换特征提取技术，检测具有特定形状的物体，原空间隐射到参数空间，在参数空间中的图像形式根据投票方式所得，定义 Hough变换参数定义，rho：距离分辨率，以Hough网格的像素为单位，既直线到图像原点(0,0)点的距离；以Hough网格弧度为单位的角分辨率； threshold：Hough网格单元中的交叉点，根据最小投票数累加器中的值判断是一条直线；min_line_length：组成一行的最小像素数，找出线的最短长度；max_line_gap：可连接线段之间像素的最大间隙，两条直线之间的最大间隔，小于此值，认为是一条直线；
标记出车道线在图像中的位置，对原始图像进行灰度变换、高斯平滑、Canny边缘检测、掩膜处理，得到最终的Hough图像，在单帧图像中，d为道路在图像中宽度；Wimage为图像宽度；Himage为图像高度。
步骤4是指：车载摄像设备所记录的视频进行帧提取，在图像上进行车辆统计，每帧图像中的车辆数，代表当前行使状态下的车辆数，根据步骤3 标记出的车道线在图像中的位置，划分出归属于左车道、中间车道、右车道的车辆，分别进行统计，(xi1,yi1)，(xi2,yi2)，(xi3,yi3)，(xi4,yi4)是图像中第 i车辆的边框坐标；
1)通过边框的对角两点坐标可以计算出车辆中心坐标
2)左车道线：llane＝kl·x+b1；其中kl为左车道在图像中的斜率；
3)右车道线：rlane＝kr·x+b2；其中kr为右车道在图像中的斜率；
4)坐标所在位置来判断车辆归属于左车道、中间车道、右车道：
(1)coordvehicle>llane：Nden,lane＝llanevehicle++,左车道车辆自增加1；
(2)llane<coordvehicle<rlane：Nden,mlane＝mlanevehicle++，中间车道自增加1；
(3)rlane<coordvehicle：Nden,rlane＝rlanevehicle++；右车道车辆自增加1；
其中，Nden,lane为左车道上行驶的车辆数；Nden,mlane为中间车道上行驶的车辆数；Nden,mlane为右车道上行驶的车辆数。
步骤5是指：根据步骤1、2、3、4，建立三维真实检测环境与二维图像之间的关系，主要有三个坐标系，分别是图像坐标系uO3v，以O2为原点的摄像设备的坐标系，世界坐标系XO1Y，世界坐标中的点通过光轴的成像在图像坐标中的点是成比例的，摄像设备镜头中心在图像上的像素点O3与其在世界坐标中的实际点D，可得到O1E，摄像设备高度g，图像坐标中心对应的世界坐标点与摄像头在y轴上的距离O1D，车载摄像设备镜头中心点的图像坐标(u0,v0)，将测量像素点的图像坐标E′，结合实际像素的长度hpix，实际像素的宽度wpix，车载摄像头焦距f，如下：
O1E设定为检测到的估计距离范围，道路上的车辆密度可以作为交通系统中交通状况的有效指标，用来描述是道路交通状况，按照上述方法，基于车道的车辆计数与坐标变换方法，车道i的可检测距离，记为Dv,i，车道i的上检测与识别到的车辆统计结果，记为Nden,i，确定车道i上的车辆密度，记为Vden,i，车道宽度记为Wlane，车道i上的车辆密度表示为：
根据本发明中的交通估计模型，并引入其来表示交通状况，可表示为：、
其中，Splimit表示道路上受限的行驶速度；
本发明利用车载摄像设备记录的视频来估计道路交通状况，通过视频帧提取的图像进行车辆检测，根据检测的车辆信息进行计数，然后对估算该行驶路段的车辆密度，车辆密度的大小又会影响道路的通行能力。提供对静态图像来获取车辆信息，当前帧检测到多少车辆就统计在内，用来估计车辆密度。并且针对同向行驶的车辆计数能够达到较高准确性。车辆密度的大小也反映了当前的路段的通行能力，同时动态描述当前行驶路段的交通状况。根据收集到的信息，驾驶人员可以重新规划自己的驾驶路线。这个结果在更精确和复杂的道路评估中与交通监控摄像设备不能覆盖所有的道路相比具有很大的优势，解决V2X场景中的道路利用率。
附图说明
图1为本发明中物理融合系统中道路交通状况估计应用示意图；
图2为基于车载摄像的道路交通状况检测方法工作流程图；
图3为车载摄像机与路面成像原理模型图；
图4为车辆位置判断与估计模型道路场景图；
具体实施方式
为了更好地解释本发明中的技术方案，下面将结合附图对本发明的具体实施方式进行详细地描述，所述的实施例只是本发明实施例中的一部分，不能作为本发明实施例的全部代表。
如图1所示，本发明包括一下几个部分：车辆进行检测与识别；行车道检测；车辆统计；交通估计。本发明使用车辆数据集训练模型，其中包括车辆数据和标注数据的数量。训练过程结束后会产生一个权重文件，利用 YOLOv3目标检测算法并使用权重对视频中提取的图像进行检测，获取其在图像中的位置。在测试时，截取拍摄几分钟的视频中10秒，由于视频也是有图像信息构成，然后提取其中的视频帧，车辆检测与识别的准确率上达到90％。在测试过程中，车辆检测的范围大约有100米，更远距离的车辆不能一直被检测到。
如图2所示，安装在车上的车载摄像设备往往具有一定的高度，在实现上有一种从上线下看呈现出俯视的状态，且具有一定的角度。通过车载摄像捕捉到道路交通视频，然后对视频帧提取处理图像信息。其中包括车辆检测与识别，并同时行车数，对行车道进行检测，然后估计道路交通状况。为了计算有效范围内的车辆数，首先要了解图像中两点的距离与真实世界的实际距离的转换关系，在本发明提出的方法中，采用的是单目车载摄像设备，根据成像原理，通过比例估算出真实距离，这样就可以估计特定范围内的车辆密度。对于单目摄像设备模型，一幅视图是通过透视变换将三维空间中的点投影到图像平面，结合标定方法，公式如下：
三维世界的坐标点为
如图3所示，建立三维真实行车道路的环境与二维图像之间的关系。主要有三个坐标系，分别是图像坐标系uo3v，以o2为原点的摄像设备坐标系，世界坐标系XO1Y。世界坐标中的点通过光轴成像在图像坐标的点是成比例的，车载摄像设备镜头中心在图像上的像素点O3与其在世界坐标中的实际点 D，通过像素与实际距离的转换，可得到出O1E。摄像设备高g，图像坐标中心对应的世界坐标点与摄像设备在y轴上的距离O1D，镜头中心点的图像坐标(u0,v0)，由于车载摄像设备安装一般都有误差，但是因为车载摄像设备中心点不一定是图像的中点，所以u0和v0不一定为0，可以得到如下式：
但是本发明中将测量像素点的图像坐标E'，实际像素的长度hpix，实际像素的宽度wpix，车载摄像设备焦距f，O1E设定为检测的估计距离。
如图4所示，h为直线点到图像下沿边线的距离；v为直线消失点，在图像中的位置表示为(x0,y0)；d为道路在图像中宽度；Wimage为图像宽度；Himage为图像高度；分别进行统计。(xi1,yi1)，(xi2,yi2)，(xi3,yi3)，(xi4,yi4)是图像中第 i车辆的边框坐标。
1)通过边框的对角两点坐标可以计算出车辆中心坐标
2)左车道线：llane＝kl·x+b1，其中kl为左车道在图像中的斜率；
3)右车道线：rlane＝kr·x+b2，其中kr为右车道在图像中的斜率；
4)坐标所在位置来判断车辆归属于左车道、中间车道、右车道：
(1)coordvehicle>llane：Nden,lane＝llanevehicle++，左车道中车辆自增加1； Nden,lane为左车道上行驶的车辆数；
(2)llane<coordvehicle<rlane:：Nden,mlane＝mlanevehicle++，中间车道车辆自增加1；Nden,mlane为中间车道上行驶的车辆数；
(3)rlane<coordvehicle：Nden,rlane＝rlanevehicle++；右车道车辆自增加1。 Nden,mlane为右车道上行驶的车辆数。
车载摄像设备记录的视频，也是由图片组成的，如果能够对图像上的车道成功检测，就能够成功判断车辆所属车道。首先对记录的行驶视频进行帧提取，得到连续时间内的图像。将原始RGB图像进行灰度变换，基于 Canny Edge Detection技术中有两个重要参数low_threh和high_threh。通过比较gradient与low_threh和high_threh之间的关，如果gradient>high_threh，则这是一个edge point；如果 gradient<high_threh，则不是edgepoint。经过了Canny边缘检测后，本发明中能够观察到车道的大概轮廓都被检测到。这时通过设置ROI，过滤掉 ROI之外的edges。通过计算斜率的正负来进行划分某条线属于左车道或右车道，最后显式地画出到图像上，得到最终车道。在中国，高速公路和城市快速干道的路段上每条机动车道宽度一般为3.75～4m，最小宽度不应该小于 3m，根据车道线围成的各个行驶区域的面积，来估计出单位面积所占有车辆数，即该时刻的交通状态。道路上的车辆密度可以作为交通系统中交通状况的有效指标，也作为是道路交通估计，按照上述方法，基于车道信息的车辆计数，车道i上检测到的估计距离，记为Dv,i，车道i的上检测与识别到的车辆统计结果，记为Nden,i，可以确定车道i上的车辆密度，记为Vden,i，车道宽度记为Wlane，车道i上的车辆密度表示为：
根据一种新型的交通估计模型，本发明的方案中引入了模型来表示交通状况，表示为：
根据本发明中得检测结果，估计当前行驶路段的交通状态。Splimit表示道路上受限的行驶速度；
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
