智能驾驶控制方法、装置、系统及存储介质
技术领域
本发明实施例涉及智能驾驶技术，尤其涉及一种智能驾驶控制方法、装置、系统及存储介质。
背景技术
智能驾驶控制技术可以帮助汽车实现智能驾驶，是目前汽车领域最为关注的技术。
但是，目前的智能驾驶控制技术的研究主要集中于城市级道路，对于非铺装道路的智能驾驶控制研究不足。对于矿山等特殊场景下，路面崎岖不平，车辆容易侧滑，且路面摩擦力系数不稳定，行驶路况极为恶劣。因此，需要更加智能化的控制技术才能解决矿山等特殊场景下的智能驾驶问题。
发明内容
本发明提供一种智能驾驶控制方法、装置、系统及存储介质，可以实现复杂路况下的智能驾驶控制。
第一方面，本发明实施例提供一种智能驾驶控制方法，包括：
获取车辆在行驶过程中设置于车辆上的微波雷达采集的微波雷达探测数据；
获取车辆在行驶过程设置于车辆上的中摄像头采集的图像信息，其中，车辆行驶路线上的预设位置设置有多个识别物；
获取车辆在行驶过程中RTK设备输出的车辆定位信息和车辆俯仰角信息，RTK设备设置于车辆中；
确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置，预设高精度地图根据摄像头预先采集的图像信息以及图像信息中多个识别物的位置关系构建；
根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置；
根据RTK设备输出的车辆定位信息和车辆俯仰角信息，修正根据摄像头确定的车辆在预设高精度地图中的位置；
根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制。
在第一方面一种可能的实现方式中，确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置之前，还包括：
根据摄像头拍摄的图像信息，以及摄像头拍摄的图像信息中多个识别物的位置关系，建立预设高精度地图。
在第一方面一种可能的实现方式中，根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置，包括：
根据摄像头拍摄的图像信息，确定多个识别物在以摄像头为中心建立的坐标系中的位置；
根据多个识别物在预设高精度地图中的位置，以及多个识别物在以摄像头为中心建立的坐标系中的位置，确定车辆在高精度地图中的位置。
在第一方面一种可能的实现方式中，根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制，包括：
根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，判断车辆的当前工况以及车辆和周围障碍物的位置关系；
根据车辆的当前工况以及车辆和周围障碍物的位置关系对车辆的速度和转向角度进行控制。
在第一方面一种可能的实现方式中，微波雷达为毫米波雷达。
第二方面，本发明实施例提供一种智能驾驶控制装置，包括：
雷达数据获取模块，用于获取车辆在行驶过程中设置于车辆上的微波雷达采集的微波雷达探测数据；
图像数据获取模块，用于获取车辆在行驶过程设置于车辆上的中摄像头采集的图像信息，其中，车辆行驶路线上的预设位置设置有多个识别物；
RTK数据获取模块，用于获取车辆在行驶过程中RTK设备输出的车辆定位信息和车辆俯仰角信息，RTK设备设置于车辆中；
雷达数据处理模块，用于确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置，预设高精度地图根据摄像头预先采集的图像信息以及图像信息中多个识别物的位置关系构建；
图像数据处理模块，用于根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置；
RTK数据处理模块，用于根据RTK设备输出的车辆定位信息和车辆俯仰角信息，修正根据摄像头确定的车辆在预设高精度地图中的位置；
车辆控制模块，用于根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制。
在第二方面一种可能的实现方式中，图像数据处理模块，还用于根据摄像头拍摄的图像信息，以及摄像头拍摄的图像信息中多个识别物的位置关系，建立预设高精度地图。
在第二方面一种可能的实现方式中，车辆控制模块，具体用于根据摄像头拍摄的图像信息，确定多个识别物在以摄像头为中心建立的坐标系中的位置；根据多个识别物在预设高精度地图中的位置，以及多个识别物在以摄像头为中心建立的坐标系中的位置，确定车辆在高精度地图中的位置。
第三方面，本发明实施例提供一种智能驾驶控制系统，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
一个或多个微波雷达；
一个或多个摄像头；
RTK设备；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一种实现方式的智能驾驶控制方法。
第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一种实现方式的智能驾驶控制方法。
本发明实施例提供的智能驾驶控制方法、装置、系统及存储介质，获取车辆在行驶过程中的微波雷达探测数据、摄像头采集的图像信息和RTK设备输出的车辆定位信息和车辆俯仰角信息，然后确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置，根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置，根据RTK设备输出的车辆定位信息和车辆俯仰角信息，修正根据摄像头确定的车辆在预设高精度地图中的位置；从而可以根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制，相较于现有技术，成本较低，可以实现山路等复杂路况下的智能驾驶。
附图说明
图1为本发明实施例提供的智能驾驶控制方法的流程图；
图2为像素坐标与图像坐标的转换示意图；
图3为世界坐标与像素坐标的转换示意图；
图4为本发明实施例提供的智能驾驶控制方法的应用场景示意图；
图5为本发明实施例提供的智能驾驶控制方法的车辆示意图；
图6为本发明实施例提供的智能驾驶控制装置的结构示意图；
图7为本发明提供的智能驾驶控制系统结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的智能驾驶控制方法的流程图，如图1所示，本实施例提供的智能驾驶控制方法包括：
步骤S101，获取车辆在行驶过程中设置于车辆上的微波雷达探测数据。
本实施例提供的智能驾驶控制方法应用于任一种车辆中，其中车辆上需要设置一个或多个微波雷达，一个或多个摄像头以及RTK设备。
其中，微波雷达至少设置于车辆的正前方，例如微波雷达安装在车辆的车头处，且微波雷达的发射方向面向车辆的正前方的预设角度。或者微波雷达可以安装在车辆的前方、后方、四周中的多个位置。微波雷达通过发射天线发出相应波段的有指向性的微波信号，当微波信号遇到目标点后反射回来，通过接收天线接收反射回来的微波信号。根据微波信号收发之间的时间差测得目标点的位置，延时时间td＝2R/C，其中，R为目标点与车辆之间的距离，C为光速。因此当车辆上设置有微波雷达时，在车辆行驶过程中，就可以获取微波雷达探测数据。微波雷达探测数据包括探测的目标物距离微波雷达(即车辆)的距离以及根据目标物不同位置反射的微波信号而确定的目标物的形状。
其中，微波雷达例如为毫米波雷达。毫米波是一种电磁波，由交变电场和磁场构成，可以在真空、空气和自由空间中传播。其频段比较特殊，频率高于无线电，低于可见光和红外线，频率大致范围是10GHz～200GHz。在这个频段，毫米波相关的特性使其非常适合应用于车载领域。车载领域的毫米波雷达频段主要有三段：24GHz频段、77GHz频段以及79GHz频段。其中，24GHz频段主要用于汽车的盲点监测、变道辅助。24GHz频段的毫米波雷达可以安装在车辆的后保险杠内，用于监测车辆后方两侧的车道是否有车、可否进行变道。77GHz频段的毫米波雷达主要用来装配在车辆的前保险杠上，探测与前车的距离以及前车的速度，实现紧急制动、自动跟车等主动安全领域的功能。79GHz频段的毫米波雷达具备非常高的分辨率，可以达到5cm。这个分辨率在智能驾驶领域非常有价值，因为智能驾驶汽车要区分行人等诸多精细物体。示例性地，目前一种毫米波雷达的性能参数可以如下所示：频率为76～77GHz，探测距离为0.5～250米，视角为±15°，分辨率为0.5米，相对速度为-75～+60米每秒，速度分辨率为0.6米每秒。本实施例所涉及的毫米波雷达可以是上述任一种频段的毫米波雷达，本实施例对此不做限制。
步骤S102，获取车辆在行驶过程设置于车辆上的中摄像头采集的图像信息，其中，车辆行驶路线上的预设位置设置有多个识别物。
在车辆中还可以设置一个或多个摄像头，摄像头至少设置于能够拍摄到车辆正前方的图像信息。在车辆行驶过程中，设置于车辆上的摄像头可以连续地、或者以预设间隔拍摄图像，获取图像信息。也就是说，摄像头采集的图像信息可以为连续的图像，即视频图像信息，也可以为一系列连续的静态图像组成的图像信息。
在车辆行驶路线上的预设位置可以设置多个识别物，识别物例如可以是竖立的标志杆或者其他具有特定形状的能够在摄像头采集的图像中被准确识别的识别物。车辆在行驶过程中，摄像头采集的图像信息中，至少包括一个识别物。那么由于摄像头相对于车辆的位置是固定的，预设位置的多个识别物的位置也是固定的，就可以通过建立空间坐标系，确定车辆与各识别物的相对位置关系，从而确定车辆的具体位置。
步骤S103，获取车辆在行驶过程中RTK设备输出的车辆定位信息和车辆俯仰角信息，RTK设备设置于车辆中。
实时动态(Real-time Kinematic，RTK)是基于载波相位观测值的实时动态定位技术，它能够实时地提供测站点在指定坐标系中的三维定位结果。RTK设备包括两个RTK天线，可以将两个RTK天线设置于车辆的顶部，且两个RTK天线间隔预设距离。RTK设备能够输出车辆的定位信息和车辆俯仰角信息，其中定位信息用于对车辆的定位进行精准校正，俯仰角信息可用于判断车辆是处于下坡阶段还是上坡阶段。
步骤S104，确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置，预设高精度地图根据摄像头预先采集的图像信息以及图像信息中多个识别物的位置关系构建。
通过微波雷达探测数据能够获取车辆附近预设距离的目标物体距离车辆的距离和目标物体的形状，将微波雷达探测数据结合如预设高精度地图中，即可确定车辆附近物体在预设高境地地图中国的位置。其中预设高精度地图根据摄像头预先采集的图像信息以及图像信息中多个识别物的位置关系构建。
具体地，可以根据摄像头拍摄的图像信息，确定多个识别物在以摄像头为中心建立的坐标系中的位置；根据多个识别物在预设高精度地图中的位置，以及多个识别物在以摄像头为中心建立的坐标系中的位置，确定车辆在高精度地图中的位置。
具体的，预设高精度地图通过计算机视觉方法构建，计算机视觉主要是通过摄像头来对道路信息进行捕捉并处理分析。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。相机参数一般通过实验与计算得到，求解参数的过程就称之为相机标定(或摄像机标定)，相机标定的目的是确定相机的一些参数的值。我们通过这些参数可以建立目标的三维坐标系和相机图像坐标系的映射关系，即可以通过这些参数把一个三维空间中的点映射到图像空间。数据融合过程中涉及到的坐标转换介绍如下。
图像坐标系：以CCD图像平面的中心为坐标原点，X轴和Y轴分别平行于图像平面的两条垂直边，用(x,y)表示其坐标值。图像坐标系是用物理单位(例如毫米)表示像素在图像中的位置。
像素坐标系：以CCD图像平面的左上角顶点为原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，用(u,v)表示其坐标值。数码相机采集的图像首先是形成标准电信号的形式，然后再通过模数转换变换为数字图像。每幅图像的存储形式是M×N的数组，M行N列的图像中的每一个元素的数值代表的是图像点的灰度。这样的每个元素叫像素，像素坐标系就是以像素为单位的图像坐标系。图像坐标系与像素坐标系的转换关系如下所示：
相机坐标系(光心坐标系)：以相机的光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，相机的光轴为Z轴，用(Xc,Yc,Zc)表示相机坐标值。相机坐标系与图像坐标系转换关系如下所示：
其中f为焦距(像平面与相机坐标系原点的距离)。用齐次坐标系和矩阵表示上述关系：
世界坐标系：客观三维世界的绝对坐标系，也称客观坐标系。因为数码相机安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述数码相机的位置，并且用它来描述安放在此三维环境中的其它任何物体的位置，用(X,Y,Z)表示其坐标值。相机坐标与世界坐标系转换如下所示：
其中R为3×3正交旋转矩阵，t为三维平移向量。
像素坐标系与世界坐标系转换：
图2为像素坐标与图像坐标的转换示意图，图3为世界坐标与像素坐标的转换示意图。
以上是基于视觉的高精地图系统的基本原理。本发明实施例中通过摄像头对设置在预设位置的多个识别物的识别构建基于视觉的关于复杂场景下道路信息的高精度地图。预设高精度地图是建立在三维坐标系中的地图。
步骤S105，根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置。
在车辆行驶过程中，摄像头拍摄的图像中包括多个预设位置的识别物，由于各识别物的位置是确定的，因此在建立了预设高精度地图后，能够根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置。
步骤S106，根据RTK设备输出的车辆定位信息和车辆俯仰角信息，修正根据摄像头确定的车辆在预设高精度地图中的位置。
RTK设备输出的车辆定位信息是较为精确的位置信息，可以用于对根据摄像头拍摄的图像信息确定的车辆的位置信息进行修正，从而提高车辆位置的准确性。RTK设备输出的车辆俯仰角信息也是较为精确的俯仰角信息，可以用于对行驶中的车辆的行驶状态进行修正。
步骤S107，根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制。
在融合了微波雷达采集的微波雷达探测数据、摄像头采集的图像信息以及RTK设备输出的信息后，可以准确地确定车辆和车辆附近目标物体在预设高精度地图中的位置，进而可以确定车辆目前所处状态和车辆附近目标物体与车辆的位置关系。那么就可以根据上述信息对车辆的行驶参数进行控制，使得车辆根据预设的行驶线路行驶，并避开行驶线路中的障碍物。另外，还可以根据RTK设备输出的车辆俯仰角信息判断出车辆处于上坡、下坡或者平地形式状态，从而可以对车辆的速度、转向角度、扭矩等各种行驶参数进行统一控制，确保车辆的安全行驶。
具体地，可以根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，判断车辆的当前工况以及车辆和周围障碍物的位置关系；根据车辆的当前工况以及车辆和周围障碍物的位置关系对车辆的速度和转向角度进行控制。
本实施例提供的智能驾驶控制方法，获取车辆在行驶过程中的微波雷达探测数据、摄像头采集的图像信息和RTK设备输出的车辆定位信息和车辆俯仰角信息，然后确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置，根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置，根据RTK设备输出的车辆定位信息和车辆俯仰角信息，修正根据摄像头确定的车辆在预设高精度地图中的位置；从而可以根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制，相较于现有技术，成本较低，可以实现山路等复杂路况下的智能驾驶。
图4为本发明实施例提供的智能驾驶控制方法的应用场景示意图，图5为本发明实施例提供的智能驾驶控制方法的车辆示意图。
如图4所示，在车辆41的行驶线路上，预设位置需要设置多个识别物42。如图5所示，车辆41上设置有微波雷达51、摄像头52和两个RTK天线53。一个微波雷达51可以安装在车头处，具体可以安装在车头在左右方向的中点处。车辆41在行驶过程中，可以通过其上安装的微波雷达51采集路况信息。本实施例中，微波雷达51可以采集图4中道路上障碍物信息，包括障碍物基于微波雷达坐标系的位置和障碍物到车的距离信息。车辆41上还安装有摄像头52，摄像头52安装在车辆41中轴线上且位于挡风玻璃内侧。摄像头52一方面对图4中的路边识别物42进行识别，建立基于识别物42的预设高精度地图；另一方面，通过深度学习方法，使用摄像头52用于识别车辆前方的障碍物，并与微波雷达51障碍物检测结果进行融合，提高识别效果。车辆41上还安装有两个RTK天线53，RTK天线53主要安装在车辆顶部，且两个RTK天线53一个置于车头一个置于车尾，两个RTK天线53之间至少相距1米以上。RTK设备的主机安装在车辆41内部，应该防水，且注意防电磁辐射。RTK设备主要用于输出车辆41的经纬度坐标，对车辆的定位进行精准校正，另一方面，RTK设备可以输出车辆的俯仰角信息，可用于判断车辆是处于下坡阶段还是上坡阶段。
图6为本发明实施例提供的智能驾驶控制装置的结构示意图，如图6所示，本实施例提供的智能驾驶控制装置包括：
雷达数据获取模块61，用于获取车辆在行驶过程中设置于车辆上的微波雷达采集的微波雷达探测数据；图像数据获取模块62，用于获取车辆在行驶过程设置于车辆上的中摄像头采集的图像信息，其中，车辆行驶路线上的预设位置设置有多个识别物；RTK数据获取模块63，用于获取车辆在行驶过程中RTK设备输出的车辆定位信息和车辆俯仰角信息，RTK设备设置于车辆中；雷达数据处理模块64，用于确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置，预设高精度地图根据摄像头预先采集的图像信息以及图像信息中多个识别物的位置关系构建；图像数据处理模块65，用于根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置；RTK数据处理模块66，用于根据RTK设备输出的车辆定位信息和车辆俯仰角信息，修正根据摄像头确定的车辆在预设高精度地图中的位置；车辆控制模块67，用于根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制。
本实施例提供的智能驾驶控制装置用于实现图1所示智能驾驶控制方法的技术方案，其实现原理和技术效果类似，此处不再赘述。
进一步地，在图6所示实施例的基础上，图像数据处理模块62，还用于根据摄像头拍摄的图像信息，以及摄像头拍摄的图像信息中多个识别物的位置关系，建立预设高精度地图。
进一步地，在图6所示实施例的基础上，车辆控制模块67，具体用于根据摄像头拍摄的图像信息，确定多个识别物在以摄像头为中心建立的坐标系中的位置；根据多个识别物在预设高精度地图中的位置，以及多个识别物在以摄像头为中心建立的坐标系中的位置，确定车辆在高精度地图中的位置。
图7为本发明提供的智能驾驶控制系统结构示意图。如图7所示，该智能驾驶控制系统包括处理器71、存储器72、微波雷达73、摄像头74以及RTK设备75。该车辆中处理器71的数量可以是一个或多个，微波雷达73的数量可以是一个或多个，摄像头74的数量可以是一个或多个，RTK设备75的数量是一个，图7中以一个处理器71、一个毫米波雷达73、一个摄像头74以及一个RTK设备75为例；该智能驾驶控制系统的处理器71、存储器72、微波雷达73、摄像头74以及RTK设备75可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器72作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的智能驾驶控制方法对应的程序指令以及模块(例如，智能驾驶控制装置中的雷达数据获取模块61、图像数据获取模块62、RTK数据获取模块63、雷达数据处理模块64、图像数据处理模块65、RTK数据处理模块66、车辆控制模块67)。处理器71通过运行存储在存储器72中的软件程序、指令以及模块，从而执行智能驾驶控制系统的各种功能应用以及数据处理，即实现上述的智能驾驶控制方法。
存储器72可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据智能驾驶控制系统的使用所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器72可进一步包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至智能驾驶控制系统。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
微波雷达73为任一种能够发射微波信号并接收目标物体发射的微波信号的设备，摄像头74为任一种能够获取图像信息的设备，RTK设备75为任一种能够获取RTK信号的设备。
本发明还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种智能驾驶控制方法，该方法包括：
获取车辆在行驶过程中设置于车辆上的微波雷达采集的微波雷达探测数据；获取车辆在行驶过程设置于车辆上的中摄像头采集的图像信息，其中，车辆行驶路线上的预设位置设置有多个识别物；获取车辆在行驶过程中RTK设备输出的车辆定位信息和车辆俯仰角信息，RTK设备设置于车辆中；确定微波雷达探测数据对应的目标物体在预设高精度地图中的位置，预设高精度地图根据摄像头预先采集的图像信息以及图像信息中多个识别物的位置关系构建；根据摄像头拍摄的图像信息中多个识别物的位置关系，确定车辆在预设高精度地图中的位置；根据RTK设备输出的车辆定位信息和车辆俯仰角信息，修正根据摄像头确定的车辆在预设高精度地图中的位置；根据述微波雷达探测数据对应的目标物体在预设高精度地图中的位置、修正后的车辆在预设高精度地图中的位置，对车辆的行驶参数进行控制。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
