提供碰撞前预警的多光谱系统
技术领域
本发明涉及交通安全领域。更具体地说，本发明涉及一种用于提供警报的设备，用于避免因为没有保持最小车距、疲劳驾驶或注意力不集中而引起的车祸。
背景技术
确保行驶中的车辆与前方车辆之间保持安全行驶距离是一项至关重要的认知任务。由于车距不足而导致的事故在所有事故占据很大比例，在美国，这个比例超过29％。在许多情况下，违反保持最小车距的行为会导致连环碰撞，牵连很多车辆。之所以会发生这种连环碰撞，是因为：通常情况下，决定停止的驾驶员仅在踩下制动踏板并开始刹车之后才激活刹车灯。因为驾驶员的反应时间(从获得警报到踩下制动踏板，且随后的车辆开始刹车所花的时间)约为0.75秒，导致身后汽车(“跟随车辆”)中的驾驶员获得的视觉警报相对较晚(取决于行驶速度)。例如，若车辆速度为90Km/h，则在反应时间内，随后的车辆行驶18.75m。该距离当然是从总制动距离中减去的，因此碰撞不可避免。
同样，许多事故的原因是驾驶员从行车道的中心漂移并进入其它车道，甚至经过路肩。因此，非常需要一种能够识别和预防这种危险情况的系统。
US 2015/0302606公开了一种可指示车辆与物体之间可能发生碰撞的系统，该系统包括一个处理装置，该处理装置设置为从摄像头接收多个图像并识别物体和该多个图像中的车道标记。这些多个图像用于确定可指示物体的运动和与物体相关联的车道位置的信息。基于指示物体的运动信息以及基于与物体相关联的车道位置，该处理装置确定车辆和物体是否在碰撞路线上。
但是，上述方法提供的解决方案并不令人满意，在恶劣的天气和光照条件下，这种方法无法检测到车辆之间或车辆与物体(被认为是障碍物)之间即将发生碰撞的危险情况。
因此，本发明的目的是提供一种方法和设备，该方法和设备连续且自动地检测由于违反最小行驶距离或由于没有注意而导致车辆之间或车辆与物体之间即将发生碰撞的危险情况。
本发明的另一目的是提供一种即使在非常有限的能见度下和/或在恶劣的天气和光照条件下，也能连续自动地检测危险情况的方法和设备。
随着下文对本发明进行更深入的描述，本发明的其它目的和优点将显而易见。
发明内容
本发明提供了一种可提供碰撞前预警的多光谱车辆系统，包括：
a.两对立体的红外(IR)和可见光(VL)传感器(例如CMOS可见光摄像头)，每对传感器提供从共同视场获取的图像流，将这些图像流加以同步，以提供立体视觉；
b.一个数据融合模块，用于：
b.1)相互处理数据流，以检测视场内的物体；
b.2)计算离被检测到的物体还有多远的距离；
c.基于蜂窝(基于手机)的通信模块，用于允许传感器与车辆的移动电话/资讯娱乐系统之间进行通信，该模块运行一个专用的应用程序，该应用程序是一款后台应用程序，其适用于：
c.1)监视车辆附近环境，以检测其它具有类似系统的车辆；
c.2)计算每一其它车辆的速度和航向方位角；和
c.3)基于上述计算的结果和车辆的速度，每当具有类似系统的其它车辆与该车辆位于碰撞路径时，向车辆驾驶员发出警报。
一方面，本发明的多光谱车载系统包括：
a.IR和VL立体检测模块，每个模块均包含一个自动校正模块，用于基于视差计算和对极几何结构重建立体视图的3D深度映射图，而两个传感器的光轴均平行；
b.视差模块(Disparity module)，其接收两个未失真的(径向的和切向的)、校正过的(在用适当的单应性变换之后)且同步的图像，并创建密集精细的视差映射图；
c.距离测量模块，用于接收视差映射图并提供每像素的距离值；
d.地面预估器模块，其接收上述密集精细的视差映射图以及经校准和同步过的图像，并提供密集的接地平面分割；
e.集群模块(Clustering module)，其接收上述密集精细的视差映射图、V视差映射图和地平面拟合，并从图像流中提取障碍物；
f.追踪模块，其接收上述密集精确的视差映射图、障碍物列表、陀螺仪坐标和车速数据，并提供包含所有被追踪障碍物的结构阵列；
g.障碍物检测模块，该模块接收障碍物和速度的列表、陀螺仪坐标、汽车速度和地平面拟合，并提供物体ID、特征以及预估的碰撞时间，而且当在关键路径发现障碍物，根据相关速度，制动距离短于离障碍物的距离时，提供关键的障碍物指示；
h.立体融合模块，接收转向灯状态、IR图像BIT(Built In Tests，内置测试)状态、VL图像BI T状态、前方障碍物的距离测量值(由IR集计算出)、前方障碍物的距离测量值(由VL集计算出)、障碍物坐标以及尺寸大小(由IR集和VL集计算出)，并向每个摄像头单目模块输出以下数据：转向灯状态、障碍物坐标和边界框(范围框)大小以及与障碍物的距离；以及
i.决策模块，用于向用户提供音频/视觉/触觉指示。
本发明的多光谱车辆系统可进一步包含：
a.一个IR单目比较模块(Mono Comparison module)，用于接收来自红外传感器的距离、障碍物分类、车道偏离指示和线型，并将摄像头计算出的距离进行平均，从而提高分类任务和车道偏离指示的置信度；和
b.VL单目比较模块，用于接收来自VL传感器发出的距离信息、障碍物分类、车道偏离指示和线型，并将摄像头计算出的距离进行平均，以提高分类任务和车道偏离指示的置信度。
该多光谱车辆系统还可以包括单目+立体融合模块，该模块从立体融合模块接收立体图像状态下的转向灯状态、根据立体集合(stereo sets)的障碍物坐标、大小和边界框、到障碍物的距离、摄像头/图像状态等数据，汇总“立体融合”模块和“单目比较”模块的结果，并输出从所有指示的平均距离、车道偏离决策和障碍物检测决策。
在其它摄像头发生故障时，每一摄像头都可适合于冗余。
每个摄像头可以具有自动校正模块，这允许将摄像头模块独立地放置在车辆中。
本发明的多光谱车辆系统可进一步包括依赖于非线性拟合和适应平铺显示(adaptive ground tiling)的地面预估器(ground estimator)。
图像获取频率可以与车辆的速度相关。
本发明的多光谱车辆系统还可以包括“图像机内测试”(Built In Tests，BIT)模块，该模块能够至少执行以下测试：
a.图像获取(失败/通过)
b.GL直方图(图像亮度/图像暗度)
c.局部遮挡(检测挡风玻璃上的污渍)
d.颜色直方图(检测失败的通道)
e.时间戳验证，以验证同步情况
本发明的多光谱车辆系统还可包括陀螺仪，该陀螺仪用于获得每帧画面中车辆的精确航向，从而忽略不在车辆前方的障碍物。
根据本发明的车辆可提供以下输入之一：
-速度
-用于检测车道偏离的转向灯状态
当两个传感器的光轴平行时，专用的应用程序可基于视差计算和对极几何结构提供深度映射图。
到障碍物的距离可以计算为两个立体集合(stereoscopic set)之间的平均值。
如果其中一个传感器发生故障，则剩余的单目模块可根据工作集合(workingset)接收距离数据。
附图说明
图1显示了本发明所提供之系统的结构。
具体实施方式
本发明涉及一种避免事故的系统和方法。在任何情况下(即使能见度非常有限)和/或在恶劣天气下，都可以准确地自动检测出由于违反保持最小行驶距离或由于不注意而导致的车辆之间或车辆与物体之间即将发生碰撞的危险情况。本发明的系统使用两对传感器(例如摄像头)：一对包括可见光(VL)传感器，另一对包括红外(IR)传感器。从两对传感器中获取的图像被相互处理，以获得立体视图，从而获得更好的距离预估和检测能力。
本发明提供的系统具有两个对提高驾驶安全性来说必不可少的重要特征：视线检测能力以及视线外碰撞前的预警能力。
视线检测
本发明的系统包括一个多光谱视觉层，该层从四个摄像头接收数据流，该四个摄像头由一对立体(热)红外(IR)摄像头和一对可见光(VL)摄像头组成。每对摄像头都运行模拟并增强人类深度感知生物学机制的人工模块。将从两对摄像头接收到的数据流进行处理，以提供数据的无缝融合，从而获得最大的精确度。红外摄像头和可见光摄像头的组合使系统可以在所有天气和光照条件下(例如完全黑暗、下雨、阴霾、雾和眩光)充分运行。
视线外碰撞前预警
本发明的系统还包括两对传感器与移动电话/资讯娱乐系统(IoS/Android)之间基于蜂窝的通信。该系统运行一个专用的应用程序，该程序根据汽车的速度监控每辆汽车的附近情况，并根据计算出的速度和前进方向，在发现其它车辆位于发生某些碰撞的路径时发出警报。
本发明的系统100适于执行视线外检测，其包括SIM卡和专用的应用程序，该专用的应用程序在被安装以后会在后台持续运行。该应用程序会高频识别汽车的运动并将其位置发送到主服务器，而汽车的位置是根据“陀螺仪、GPS、速度”指示的数据融合以及道路捕捉而计算。该应用程序对主服务器进行高频采样，以接收汽车附近用户的更新。基于最高频的更新，该应用程序计算该区域中每个用户的方位角和速度，并预测潜在的碰撞。如果检测到潜在碰撞，系统将提供视觉和音频警报。
图1显示了本发明系统100的结构。
系统100包括一对IR传感器101a和101b，其可以是两个长波热红外(IR)摄像头。红外摄像头以与车辆速度相对应的频率获取图像，最高每秒45帧(即动态每秒帧数(FramesPer Second，FPS))，即图像获取频率与汽车的速度相关(更高的速度＝更高的频率，最高可达45FPS)。采集的帧将平行传输至三个红外模块：立体检测红外模块7、左红外单目模块11a和右红外单目模块11b。
该系统还包括一对VL传感器102a和102b，它们可以是两个CMOS可见光(VL)摄像头，它们以与车辆速度相关的频率采集图像，最高每秒捕获45帧(“动态FPS”)。获取的帧平行传输至三个VL模块：立体检测VL模块8、左VL模块10a和右VL模块10b。
为了获得立体视图，需要两个同步图像。两组图像(IR和VL)中的每一个都连接到两个对应的同步单元3a和3b，这些同步单元为两个传感器提供相同的时钟，并确保所获取的图像具有完全相同的时间戳(time stamp)。
为了获得具有适当质量的图像，每对传感器使用两个图像内置测试(BIT)单元4a和4b。每个BIT单元接收来自摄像头的图像，接收车速(来自车辆的OBD 6)和接收来自陀螺仪单元5的关于车辆方向的陀螺仪指示。由于本发明的系统能够在所有天气和闪电条件下检测所有障碍物，该系统使用陀螺仪数据获取每帧图中车辆的准确航向。当车辆的航向已知时，系统可忽略不在车辆前方的障碍物。
只要根据预定的一组阈值来说，图像质量是良好的，就不会有来自BIT单元的指示。如果图像质量差或未到达所要求的阈值，则BIT单元将故障图像的ID传送到立体融合模块14(这将在后面描述。如果“速度”或“陀螺仪”指示失败，则将严重警告消息发送到“立体融合”模块。
为了提供适当的预警，车辆的速度对于计算汽车的制动距离至关重要。根据车辆转向灯的状态，激活“车道偏离警告”算法以检测车道偏离的情况。只要转向灯亮起，就不会发出有关车道偏离的警报。
系统100包括两个主要检测模块：IR立体检测模块7和VL立体检测模块8。这两个模块均使用立体视觉技术，该立体视觉技术能够获得真实的深度场景映射图，有助于提升物体分类和距离预估的准确度。
红外立体检测模块
红外立体检测模块7包括以下子模块：
第一子模块是自动校正模块7a，其基于可在两个摄像头的光轴平行时使用的视差计算以及对极几何结构，来重建立体视图的3D深度映射图。自动校正功能允许摄像头模块独立放置在车辆中。
使用从两个摄像头接收的同步图像来执行校正，这些摄像头指向同一场景，并以具有已知放大倍数的校准(aligned)图像结束。由于系统100包含两个独立摄像头，因此它有3个自由度(围绕左右摄像头的X/Y/Z轴旋转)。因此，所计算的变换提供了单应性的非唯一解，这可能会导致结果不稳定，也使距离计算存在较大误差。系统100基于稍后将提及的对极几何形状使用新的修正处理(rectification process)。
在具有预定物体(例如，具有预定大小的正方形的棋盘)的图案上执行初始校准，该预定物体放置在不同距离、对应不同的转动。这一过程为每个摄像头计算一组固有参数(例如：主点、焦距、径向畸变和切向畸变)。例如，可使用Burger-Zhang等摄像头校准算法(一种用于摄像头校准的算法，该算法是基于具有已知坐标的空间中明确定义的点)来完成每对摄像头的立体视觉校准。
校正方法包括若干步骤。第一步包括：对放置在车辆前的指定目标进行(第一次)手动(粗略)校准，在该车辆上安装两个独立摄像头。例如，可将两个独立摄像头安装在挡风玻璃或汽车的横梁、前照灯、汽车的格栅等后面。在第二步中，计算两个外部参数：相对于光轴和每个摄像头的朝向，对每个摄像头进行方向调整(即旋转和平移)。在下一步中，使用加速稳健特征(Speeded Up Robust Features,SURF)算法(这是一种局部特征检测器和描述器，可用于诸如物体识别、图像配准、分类或3D重建等任务)找到匹配点。下一步，对匹配点集合中的离群点进行细化，并执行初始基本矩阵(用于立体视觉匹配的装置：进行成像时，例如，左摄像头中的每个像素在右摄像头中都有一个对应的像素，该矩阵对其进行匹配)的预估。在下一步，通过最小化，执行迭代基本矩阵的预估。
下一步，对左、右单应性进行初始计算(在射影几何中，单应性是射影空间的同构，其向量空间的同构所引发，而射影空间源自向量空间)。它是一种双射(一组点之间的一对一对应关系，在本例中为立体匹配)，其进行线对线的映射，形成共线。通常，某些共线不是单应性，但是射影几何的基本定理认为，在维度的实际射影空间中，情况并非如此，至少两个可使用对极几何体(对极几何是立体视觉的几何。当两个摄像机从两个不同的位置查看3D场景时，3D点及其在2D图像上的投影之间存在一系列的几何关系，这会导致图像点之间存在约束)。
下一步，通过使用摄像头的固有参数、中心点定位、W偏移(传感器中心与光学中心之间的距离偏差)定位，来迭代计算最佳单应性。再下一步，对最佳匹配单应性的内在参数进行预估，该单应性对于整个帧的集合有效。随着作为视差值的二次函数的失准误差增大，并且由于照摄像头未放置在统一的刚性结构上，因此系统100能够实时修复由于抖动而导致的失准。此功能称为自动校正方法，该方法根据最后计算的自动校正来计算内部参数和外部参数。在下一步中，计算左摄像头及右摄像头捕获的重叠区域上的匹配点集。下一步，使用重叠的匹配点，来计算变换两个摄像头的图像空间的单应性(修正处理)。每当车辆不行驶时(速度＝0)，都会定期重复此过程。
匹配视场
红外和可见范围摄像头使用不同的传感器：大小、间距(像素大小)不同，当然还有光谱范围的灵敏度不同。两个传感器的摄像头焦距都不相同，因此两个通道中的每一通道基本都有自己的视场(Field Of View，FOV)。校准过程可确保相同的定向，但是将选择FOV重叠以用于进一步的系统操作。将由一个重叠匹配模块以自动方式执行此功能。
第二个子模块是视差模块7b，它接收两个未失真的(径向和切向)、经过校正(在用适当的单应性进行变换之后)且同步过的图像，并根据以下步骤创建密集精细的视差映射图：第一步：使用普查相关性(Census correlation)(添加纹理)，计算初始成本函数(用于初始视差)。下一步：基于校准结果，以减少度数的方式使用半全局块匹配(Semi-GlobalBlock Matching，SGBM)算法。下一步：将图像拆分为垂直条纹，并计算每个条纹的SGBM算法。下一步：执行所有条纹的全局拟合，以创建全局视差映射图。再下一步：在应用自适应中值滤波器(adaptive median filter)进行平均时，添加纹理贴图拟合(texture mapfitting)(通过使用Census transform)，计算左立体图像(左视差)上的立体分割。
第三子模块是距离测量模块7c，其接收视差映射图，并使用标准的计算方法提供“每像素距离”(Distance per pixel)(每像素的距离＝(焦距镜头*基线/视差))。
第四个子模块是地面预估器模块7d，它根据以下步骤接收密集精细的视差映射图以及经过校准及同步的图像，并提供密集的地平面分段：第一步，计算V视差映射图(V视差映射图像的每一行都是视差映射图中该行上出现的各种视差值的直方图。正确执行后，地平面上各点的视差将在V视差映射图中显示为一条强谱线)，其中V视差映射图像的每一行是出现在计算的视差映射图中适当行上的各种视差值的直方图。地平面上的点的视差将显示为V视差映射图中的强谱线(非垂直)。属于障碍物的点的视差将在V视差映射图中显示为垂直线段。在下一步中，使用V差异找到地面平面点的初始集群(对于平坦的道路几何形状-纯平面的道路，可能是足够的)。在下一步中，对地面平面点的集群进行非线性拟合(执行非平坦道路几何的常见情况)。
用样条(spline)拟合2级曲面(统计观察发现这已足够)。通过将初始地面点集群(在地面上选择的不同点，以定义地面预估量)划分为多个子区域，可以对地面进行平铺。在子区域上执行的(局部)拟合以及随后的整体拟合包括消失点约束(对于非铺装或结构化道路的地面估算器，车道边界是通过估算消失来设置的：水平线，或视角下两条平行线交汇的点)，以优化结果。子区域是适应性计算的，因此较近的点将获得较大的子区域，而较远的点将获得较小的子区域。
第五个子模块是集群模块7e，它接收密集精细的视差映射图、V视差映射图和地平面拟合(基于视差映射图预估每个像素的范围映射)，作为响应，从图像流中提取障碍物(例如，通过添加边界框并提供2D坐标)。第一步，对于不在道路上的物体，V视差映射图提取地平面集群并执行初始分割。而属于障碍物的点的视差将显示为垂直线段。在下一步，局部累积视差映射图上属于同一物体的视差。在下一步中，围绕障碍物构建边界框，以提取障碍物。
第六子模块是追踪模块7f，其接收密集精细的视差映射图、障碍物列表、陀螺仪坐标和车速信息，并提供包含所有被追踪障碍物的结构阵列。该过程可以例如通过使用卡尔曼滤波器预测(Kalman Filter prediction)来完成。
第七子模块是障碍物检测模块7g，它接收障碍物和其速度列表、陀螺仪坐标、汽车速度和地平面拟合，并提供物体ID和特征(例如大小、速度等)以及预估的碰撞时间。如果在关键路径中发现障碍物(不在陀螺仪遮罩下)，并且根据相关速度的制动距离(自速度减去障碍物速度)短于到障碍物的距离范围，则模块将提供关键障碍物指示。
VL立体检测模块
VL立体检测模块8包括与IR立体检测模块8相同的子模块8a-8g。此处，进行与IR立体检测模块8相同的处理，只是处理的对象是VL图像。
立体融合模块
立体融合模块9通过数据总线9d和9e接收以下输入：转向灯状态9a、IR图像BIT状态9b、VL图像BIT状态9c、前方障碍物的距离测量值(由IR集计算)、前方障碍物的距离测量值(由VL集计算)、障碍物坐标和大小(由IR集计算)、障碍物坐标和大小(由VL集计算)。经过处理之后，融合模块9向摄像头单目模块11a、11b、10a和10b输出以下数据：转向灯状态、障碍物坐标和边界框大小、以及到障碍物的距离。如果所有四个传感器(摄像头)101a、101b、102a、102b均可用(基于图像BIT单元4a和4b)，则将距离计算为两个立体集之间的平均值。如果其中一个传感器发生故障，则系统将提供有关摄像头故障的指示，而另一个单目模块则根据工作集，接收距离信息。
本发明的系统100适于应用几个融合水平。VL通道与IR通道之间的数据融合可通过几种方式进行。最简单的方法是在通道之间切换，并根据预定义的标准(例如：图像质量、SNR/SBR等)选择“最佳通道”。另一种方法是同时激活这两个通道并融合检测结果。复杂的模块可以在更早的级别融合通道：视差映射图。在两个映射图之间融合(注册后)也是可行的，以便在物体检测时仅处理单个映射图。
如果根据BIT单元4as和4b，所有四个传感器(摄像头)均可用，则到物体的距离将作为两个立体集之间的平均值计算。如果其中一个传感器发生故障，则另一单目模块将根据工作设置接收距离。这种体系结构允许系统具有4级冗余。在完整的操作组合中，两个红外摄像头(立体)+两个VL摄像头(立体)均处于激活状态。
摄像头故障
对于单个摄像头故障，可能有以下几种组合：
1台红外摄像头(单目)+2台VL摄像头(立体)
2个红外摄像头(单目)+1个VL摄像头(立体)
对于两个摄像头故障，可能有以下组合：
红外摄像头(无法使用)+2VL摄像头(立体)
2台红外摄像头(单目)+0台VL摄像头(无法使用)
1台红外摄像头(单目)+1台VL摄像头(单目)
对于三台摄像头故障，只能使用一台摄像头，并且可以进行以下组合：
1台红外摄像头(单目)+0台VL摄像头(无法使用)
0台红外摄像头(无法使用)+1台VL摄像头(单目)
在这种情况下，每个摄像头都充当“单目视觉”(“Mono Vision”)摄像头，执行以下操作：
a)物体归类：基于深度学习法，该模块可以通过接收传感器获取的完整图像和障碍物的边界框(可从立体图层获得的情况下)，识别例如“汽车”/“行人”/“骑自行车的人”，并在处理之后对物体进行分类(如果障碍物是汽车/行人/骑自行车的人)，根据来自单个摄像头的数据估算物体距离，从而计算到障碍物的距离；
b)车道偏离警告(LDW)：接收由传感器获取的完整图像和转向灯状态，并执行车道识别、车道类型识别，判断偏离车道中心的百分比，在偏离百分比高于定义的阈值的情况下，发出预警。其可以使用车道检测的常规方法实现，如基于霍夫变换(Hough transform，图像处理中用于检测直线的数学工具)和自适应GL阈值(通过在GL上设置阈值(灰度级)以区分实线和噪音)；
c)交通标志识别(TSR—仅在可见光摄像头中可用)：接收传感器获取的完整图像并进行交通标志识别，然后在以下情况之一时提供预警指示：
a.汽车速度高于指定的允许速度
b.车速不允许驾驶员在已识别的“停止”标志前停车
c.“禁止进入”标志标识
可以使用深度学习法来完成物体识别。
红外单目比较模块
IR单目比较模块12增加了分类任务(汽车/行人/骑车人/其它)和车道偏离指示的置信度。该模块还平均摄像头计算的距离。红外单目比较模块12接收与红外传感器的距离、障碍物分类、车道偏离指示和线型。在障碍物分类期间，如果两个传感器都指向大致相同的分类，则将该分类发送到“单目+立体融合”模块14。如果两个传感器都指向车道偏离，则将车道偏离指示发送到“单目+立体融合”模块14，否则，将警报指示发送到“单目+立体融合”模块14。如果两个传感器都指向大约相同的线路类型，则将该线路类型发送到“单目+立体融合”模块14，否则，将“实线”(“Solid line”)指示发送到“单目+立体融合”模块14。
VL单目比较模块
VL单目比较模块13的功能类似于IR单目比较模块12的功能，使用交通标志识别来增加允许的速度，该速度会检测标志上写明的最高速度。如果两个传感器都指向相同的交通标志，则将允许的速度(检测到的标志)发送到“单目+立体融合”模块14，否则，将两个传感器检测到的最低速度发送到“单目+立体”融合”模块14。
单目+立体融合模块
单目+立体融合模块14是一个逻辑单元，用于汇总来自立体融合模块9和单目比较模块12和13的结果。单目+立体融合模块14从立体融合模块9接收转向灯状态、障碍物坐标、基于立体集的大小和边界框、到障碍物的距离、“摄像头/图像”状态(根据图像BIT单元4a和4b)。单目+立体融合模块14从单目比较单元12和13接收距离、障碍物分类和车道偏离输入，并且在处理接收到的数据之后，输出来自所有指示的平均距离、车道偏离判定和障碍物检测决定。
决策模块
决策模块15是对用户的输出，其可以是音频/视觉/触觉指示。
本发明的系统还适于提供预测性碰撞警告。高级驾驶员辅助(Advanced driver-assistance，ADAS)系统是在驾驶过程中帮助驾驶员的系统。ADAS系统旨在检测FOV道路上的物体(例如行人、骑自行车的人等)，并在行车道上的潜在障碍物可能导致前方发生碰撞时发出警报。但是，虚拟路径之外的物体可能会带来另一种危险。考虑到可能的交叉速度矢量，可能会发生碰撞(典型的例子是：行人试图以相对于行驶中的汽车的某一角度穿过马路，并可能导致危险的道路事故)。根据相对速度向量，预测FOV中每个物体的潜在碰撞点的模块，该模块用递归的方式为这种预测提供所需信息。
天气条件(主要是冬季)会产生某些障碍物，例如道路上可能遮蔽分隔线的雪，或可能误导驾驶员的水坑。本发明提出的系统还适于基于Ransac算法(random sampleconsensus，随机抽样一致算法，主要通过增强物体边界及强调深度变化)来检测这种冰坑和水坑。
本发明提出的系统还适于检测坑洼、下陷和其它类型的道路不连续的情况。可以使用正/负视差(从地图中得出)来推断行驶中的车辆是否在障碍物或坑洼或下沉坑的前面。
尽管本文已经对本发明的实施例进行描述说明，但是，应当理解，在不超出权利要求的范围的情况下，本发明的实施方式可以有许多变化、修改和适应性调整。
