一种基于毫米波雷达数据的交通数据清洗方法及系统
技术领域
本发明涉及大数据应用技术领域，尤其是涉及一种基于毫米波雷达数据的交通数据清洗方法及系统。
背景技术
毫米波雷达作为一种交通数据采集手段在交通领域获得了快速的发展，被逐渐应用至车辆防撞探测、交通信息采集、无人驾驶环境感知等诸多方面。目前在车载障碍物探测与行车风险预警方面的应用已较为普及，在道路交通信息采集方面应用相对较少。由于雷达探测器具有安装方便、不受天气影响、不破坏路面、复杂环境下抗干扰能力强、后期维护便捷等优势，在道路交通数据采集方面显示出很好的应用潜力，近年来逐渐为研究人员所重视。
毫米波雷达采集的交通数据是基于移动目标产生的一系列轨迹记录，返回数据包括检测目标的反射面积和相对坐标，但是由于数据丢失、相邻两辆车之间存在反射面积遮挡、定位故障、网络传输错误、静态物体反射噪点等原因造成轨迹数据缺失或数据字段异常。因此雷达返回的数据处理的最重要的一步是数据清洗，删除时间严重错误的数据、速度异常的数据、坐标异常的数据、在后续的处理过程中保证了数据的准确性、真实性。
现有的数据清洗只针对于轨迹数据进行清洗，没有针对具备反射面积的雷达数据进行判断，计算方式简单，无法分辨车辆及路域附属设施，最终处理过的数据仍然存在大量的脏数据，影响了车辆类型、停车行为等数据计算。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于毫米波雷达数据的交通数据清洗方法及系统，通过充分利用轨迹数据，能够使错误数据判断更加准确。
本发明的目的可以通过以下技术方案来实现：
一种基于毫米波雷达数据的交通数据清洗方法，具体包括如下步骤：
S1：利用毫米波雷达获取包括雷达反射面积在内的车辆的雷达反射数据以及车辆的轨迹数据。
所述车辆的雷达反射数据还包括轨迹点的经纬度、轨迹点对应的平均速度、轨迹点对应的平均加速度和雷达反射时间，通过获取反射时间得到该帧数据的时间戳。其中，轨迹点对应的平均速度为该轨迹点与其前一位轨迹点组成的轨迹段的平均速度。
S2：对获取的雷达反射数据进行筛选，剔除雷达反射面积过大的数据；进一步地，剔除雷达反射面积宽度超过5米，长度超过25米的反射数据。
S3：对剔除后的雷达反射数据进行连续性判断，并对毫米波雷达检测到的物体进行车辆判定；
对剔除后的雷达反射数据进行连续性判断的具体内容为：
对于毫米波雷达数据中具有相同指针的物体进行判断，若物体在不同帧中出现了不连续出现的情况，则将其判定为不同的车辆。
对毫米波雷达检测到的物体进行车辆判定的具体内容为：
对毫米波雷达检测到的物体属性设置为激发态和非激发态，当毫米波雷达检测到的物体的速度非零，且出现的位置为检测范围边缘，同时雷达反射面积的宽度在3到5米之间，长度在3到25米之间，则对当前检测到的物体设置为激发态属性，并判定该物体为车辆，剔除所有非激发态的速度为0的数据。
S4：识别反射数据中包含的错误轨迹点，完成清洗。具体地：
根据轨迹点经纬度是否在前后两个时间戳位置之间判断错误反射数据，若超出相邻时间戳的位置范围，则判断为错误轨迹点；或根据轨迹点平均速度是否与前后两个时间戳对应的速度差过大，若速度差过大，则判断为错误轨迹点。
进一步地，若轨迹点平均速度与前后两个时间戳对应的速度差超过5m/s，则判定为该轨迹点为错误轨迹点。
进一步地，若毫米波雷达感知到两辆车的间距持续小于1米时，则将两辆车的反射数据判定为一辆大车，剔除相邻极近的两辆车的轨迹数据。
本发明还提供一种基于毫米波雷达数据的交通数据清洗系统，该系统包括：
车辆数据获取模块，用于获取车辆的轨迹数据；
车辆雷达反射数据获取模块，用于利用交通道路上安装的毫米波雷达单元获取车辆的雷达反射数据，获取的车辆雷达反射数据包括轨迹点经纬度、轨迹点对应的平均速度、平均加速度、雷达反射面积和雷达反射时间；
数据清洗模块，与车辆数据获取模块、车辆雷达反射数据获取模块分别连接，用于根据车辆数据中反射面积、轨迹点的经纬度和/或轨迹点对应的平均速度及方向，识别反射数据中包含的错误反射数据，并剔除错误反射数据。
相较于现有技术，本发明提供的基于毫米波雷达数据的交通数据清洗方法及系统至少具有以下有益效果：
1)本发明依据车辆数据中反射面积、轨迹点的经纬度和/或轨迹点对应的平均速度及方向识别轨迹数据中包含的错误数据，消除由于数据丢失、相邻两辆车之间存在反射面积遮挡、定位故障、网络传输错误、静态物体反射噪点等原因造成轨迹数据缺失或数据字段异常，通过与相邻轨迹点比较判断出车辆轨迹，实现车辆轨迹连续性检测，充分利用轨迹数据，使得错误数据的判断更加准确。
2)本发明对雷达检测物体进行激发态属性和非激发态属性的判断，可进一步提高判定为车辆的准确度，剔除错误数据。
附图说明
图1为实施例中基于毫米波雷达数据的交通数据清洗方法的流程示意图；
图2为实施例中毫米波雷达的检测范围示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
图1为本发明实施例提供的基于毫米波雷达数据的交通数据清洗方法的流程图，本实施例的基于毫米波雷达数据的交通数据清洗方法可适用于对数据进行清洗的情况，该方法可以由数据清洗装置来执行，该装置可以由软件和或硬件方式实现，该装置可以集成在任何硬件设备中，例如典型的用户终端设备或服务器等。
本发明基于毫米波雷达数据的交通数据清洗方法具体包括如下步骤：
步骤一、获取车辆的雷达反射数据以及车辆的轨迹数据。
利用交通道路上安装的毫米波雷达单元，感知交通道路上移动的车辆，获取的车辆的雷达反射数据包括轨迹点经纬度、轨迹点对应的平均速度、平均加速度、雷达反射面积和时间。通过获取反射时间，得到该帧数据的时间戳。通过获取的反射时间来定义帧，每个反射时间对应一个时间戳，也就是一帧。轨迹点对应的平均速度指的是该轨迹点与该轨迹点的前一位轨迹点组成的轨迹段的平均速度。
步骤二、对获取的雷达反射数据进行筛选，剔除反射面积过大的数据。
获取上述雷法反射数据后，对雷达反射面积进行判断，剔除反射面积宽度超过5米，长度超过25米的反射数据。因反射面积宽度超过5米，长度超过25米的物体一定不是车辆，很有可能是大面积绿植、护栏及附属标志广告牌。
步骤三、对剔除后的雷达反射数据进行连续性判断。
因剔除数据后会出现数据缺失，应对数据进行补全，在补全之前应判断不同时间戳中雷达数据ID是否是同一辆车。具体地：
对反射数据的连续性进行判断，由于雷达数据的指针是循环使用的，所以要对相同指针的物体进行区分，对于相同指针的物体(即雷达数据ID对应相同的物体)，若在不同帧中出现的不连续出现的情况，则判定为不同的车。
步骤四、对雷达检测到的物体进行车辆判定。
为了防止由于车辆静止导致在帧中消失，本步骤给检测到的物体属性设置为激发态和非激发态：
当雷达检测物体在出现时：即速度非零，且出现的位置为检测范围边缘，同时反射面积宽度在3到5米之间，长度在3到25米之间，则设置为激发态属性，只有进入激发态属性的物体才能判定为车辆。剔除所有非激发态的速度为0的数据。
而由于拖车的存在，需要剔除相邻极近的两辆车，当车辆间距持续小于1米时，将两辆车的反射数据判定为一辆大车。
步骤五、识别反射数据中包含的错误反射数据(错误轨迹点)。
一方面，判断错误轨迹点可根据轨迹点经纬度(也就是位置)是否在前后两个时间戳位置之间，如果超出相邻时间戳的位置范围，则认为是错误轨迹点。
另一方面，判断错误轨迹点可根据轨迹点平均速度是否与前后两个时间戳对应的速度差过大，如果速度差过大，则认为是错误轨迹。作为优选方案，速度差超过5m/s则认为是错误轨迹。
具体地：依据车辆的轨迹数据中轨迹点的经纬度和/或轨迹点对应的平均速度，识别轨迹数据中包含的错误轨迹。识别某一轨迹点是不是错误轨迹点，不仅需要分析该轨迹点本身的经纬度和或平均速度，还需要分析相邻轨迹点或相邻轨迹段的经纬度和或平均速度。当该轨迹点的经纬度超出同一时间戳相邻轨迹点的位置范围，或当该轨迹点的经纬度超出相邻时间戳轨迹点的位置范围，或当该轨迹点的平均速度与同一时间戳相邻轨迹点速度差超过5m/s，则同样认为很可能是错误轨迹点。
按照上述可消除由于数据丢失、相邻两辆车之间存在反射面积遮挡、定位故障、网络传输错误、静态物体反射噪点等原因造成轨迹数据缺失或数据字段异常，通过与相邻轨迹点比较判断出车辆轨迹，实现车辆轨迹连续性检测，充分利用轨迹数据，使得错误数据的判断更加准确。
图2为实施例中毫米波雷达的检测范围示意图，毫米波雷达通过安装在一定高度的杆件上的同时适当倾斜，实现对一定距离范围内物体位置的探测和感知。
本实施例另一方面还提供一种基于毫米波雷达数据的交通数据清洗系统，该系统包括：
车辆数据获取模块，用于获取车辆的轨迹数据。
车辆雷达反射数据获取模块，用于获取车辆的雷达反射数据，获取的车辆雷达反射数据包括轨迹点经纬度、轨迹点对应的平均速度、平均加速度、雷达反射面积和时间。
数据清洗模块，与车辆数据获取模块、车辆雷达反射数据获取模块相连，用于依据车辆数据中反射面积、轨迹点的经纬度和/或轨迹点对应的平均速度及方向，识别反射数据中包含的错误反射数据，其中每一轨迹点对应的平均速度指的是该轨迹点与该轨迹点的前一位轨迹点组成的轨迹段的平均速度。
本发明依据轨迹数据中轨迹点的经纬度和/或轨迹点对应的平均速度识别轨迹数据中包含的错误轨迹点，通过与相邻轨迹点或相邻轨迹段比较判断出错误轨迹点，充分利用轨迹数据，使得错误轨迹点的判断更加准确。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
