一种电动履带式挖掘机无人驾驶行走系统及方法
技术领域
本发明涉及智能机器人领域，具体是指一种电动履带式挖掘机的无人驾驶行走系统和方法。
背景技术
挖掘机在国家基础建设中起着至关重要的作用，多年来在建筑、水利、矿山等领域得到了广泛应用。履带式挖掘机越野性能较强，能够在泥泞、湿地、矿山等工况恶劣的场所地方高效作业。传统履带挖掘机以内燃机为驱动，普遍存在污染物排放高、噪声大和效率低等问题，电动式履带挖掘机具有零排放、低噪声和传动效率高等优点，在克服上述问题的基础上方便了履带挖掘机智能化的发展。由于挖掘机工作环境恶劣，经常伴有震动、高温、粉尘等工况，因此要求驾驶员在工作过程中注意力长期高度集中，对复杂的作业环境必须做出快速准确的判断及反应，否则将产生不可挽回的后果；在矿山开采，道路修建等作业任务中，挖掘机的部分工作单一，重复性高，聘用专业驾驶人员造成劳动力的浪费。无人驾驶系统可替代驾驶员对车辆进行控制，在作业时自主对环境进行感知并做出决策，极大的降低了操作人员的作业风险，减少了劳动力的浪费，提高了工作效率。
现有无人驾驶技术多应用于普通汽车，主要针对高速公路，城市街道等普通驾驶环境进行设计，道路特征明显，容易提取。而挖掘机的整车控制系统与汽车差异较大，其行驶场所主要为工地或山路等不规则道路，道路特征难以提取。
发明内容
本发明的目的在于补充无人驾驶在电动履带式挖掘机方面的缺失，提出了一种电动履带式挖掘机无人驾驶行走系统及方法，该系统可实现电动履带挖掘机的自动行走、紧急制动、障碍躲避、路径规划等功能，保证车辆在工地中的正常行驶作业。
为实现上述功能，本发明采用的技术方案是：
一种电动履带式挖掘机无人驾驶行走方法，包括如下步骤：
传感器平台采集车辆行驶的环境信息，包括图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，将信息发送到计算平台；
计算平台中的训练单元接受传感器平台发送的所述环境信息，训练端对端混合网络模型，并将端对端混合网络模型载入到计算平台的实时处理单元；
计算平台中的实时处理单元载入训练好的端对端混合网络模型，预测车辆在行驶过程中的控制信号，载入电子地图，获取行驶路线并标定航站，行驶路线的实时校正信号，并将控制信号和实时校正信号输出到整机控制单元；
整机控制单元接收控制信号和实时校正信号，控制车辆进行行驶。
优选的，传感器平台还对采集到的车辆行驶的环境信息进行预处理与数据融合。
优选的，所述预处理包括：
所述图像信息进行初步处理；
所述点云信息进行过滤裁剪转化为深度图像信息；
将初步处理的图像信息和深度图像信息进行坐标轴转换和信息匹配；
选择初步处理的图像信息和深度图像信息匹配交叉的最小区域作为行驶道路边界。
优选的，所述数据融合包括：
对所述图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，进行全局池化操作和均值池化操作，以分别获取图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息的全局向量和均值向量，拼接图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息全局向量和均值向量的至少之一，以获得融合信息。
优选的，所述端对端混合网络模型包括：输入层，卷积层，第一级网络结构，第二级网络结构，第三级网络结构，上采样层，输出层，所述第一级网络结构、第二级网络结构和第三级网络结构均包括：池化层和基础网络结构。
优选的，所述基础网络结构包括输入层、多个卷积处理模块和全局特征处理模块，所述卷积处理模块包括膨胀卷积层和卷积层并联结构和膨胀卷积层和卷积层串联结构，所述全局特征处理模块包括全局池化层、全连接层和逐点相乘操作。
优选的，所述获取行驶路线并标定航站，得出行驶路线的实时校正信号，包括：在行驶路线实时校正过程中，进行路线分段确认，通过在时间阈值范围内检测是否到达标定航站。
本发明的另一方面还提供一种电动履带式挖掘机无人驾驶行走系统，包括传感器平台、计算平台和控制平台和整机控制单元，所述传感器平台采集车辆行驶的环境信息，包括摄像头、激光雷达、毫米波雷达和GPS定位系统；所述计算平台分为训练单元和实时处理单元，分别在训练过程与车辆行驶过程中对图像数据、点云数据、位置信息进行计算处理，获得相应的控制指令；所述控制平台接收相应控制指令并将所述控制指令发送至整车控制单元，整车控制单元包括控制模块、比例减压阀、多路阀和左右行走马达，控制车辆进行行走、避障、车灯和喇叭。
本发明具有如下有益效果：
1、本发明一种电动履带式挖掘机无人驾驶行走系统及方法，可实现动、静态障碍躲避、路径规划等功能，车辆在行驶过程中完全由系统控制，具有较高的可靠性和安全性。
2、本发明采用端到端混合网络模型，建立了由路况信息到车辆控制信号的直接映射，简化了系统结构，提高了场景遍历效率，降低了车辆改装难度及系统操作难度。
3、本发明传感器平台对采集到的车辆行驶的环境信息进行预处理与数据融合，包括采用图像预处理、点云数据过滤剪裁、点云数据深度图像化进行了道路信息预处理，减少了计算平台的数据处理量，降低了系统实时运行的压力。
4、本发明利用激光雷达、毫米波雷达进行远距离、近距离障碍物检测，提出的端到端混合网络模型能够对检测的图像信息实现语义分割，该模型分割效果较好，有效识别道路上的静止、移动障碍，符合电动式履带挖掘机的行驶要求。
5、在行驶路线实时校正过程中，进行路线分段确认，通过在时间阈值范围内检测是否到达标定航站，降低了行驶路线错误成本。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种电动履带式挖掘机无人驾驶行走系统及方法不局限于实施例。
附图说明
图1是本发明所述一种电动履带式挖掘机无人驾驶行走系统整体结构示意图；
图2是本发明所述一种电动履带式挖掘机无人驾驶行走系统控制策略流程图；
图3是本发明所述一种语义分割网络整体结构图；
图4是本发明所述一种语义分割网络基础网络模块结构图；
图5是本发明所述一种语义分割网络对城市道路图像进行分割的效果图。
附图标识说明：
1、车体 2、摄像头
3、激光雷达 4、毫米波雷达
5、GPS定位6、整车控制单元
7、计算平台 8、前后车灯
9、比例减压阀 10、多路阀
11、左右行走马达12、喇叭
13、控制平台
具体实施方式
本发明提供了一种电动履带式挖掘机无人驾驶行走系统，请参照附图1所示，其显示出了本发明之较佳实施例的具体结构，一种电动履带式挖掘机无人驾驶行走系统，其包括传感器平台、计算平台(7)和控制平台(13)，其特征在于：所述传感器平台包括摄像头(2)、激光雷达(3)、毫米波雷达(4)、GPS定位(5)；所述计算平台(7)分为训练单元和实时处理单元；所述控制平台(13)为电动履带挖掘机整车控制系统，包括整车控制单元(6)、比例减压阀(9)、多路阀(10)、左右行走马达(11)等。
本发明还提供一种电动履带式挖掘机无人驾驶行走方法，包括如下步骤：
步骤S10：传感器平台采集车辆行驶的环境信息，包括图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，将信息发送到计算平台；
传感器平台还对采集到的车辆行驶的环境信息进行预处理与数据融合。
预处理包括：所述图像信息进行初步处理；所述点云信息进行过滤裁剪转化为深度图像信息；将初步处理的图像信息和深度图像信息进行坐标轴转换和信息匹配；选择初步处理的图像信息和深度图像信息匹配交叉的最小区域作为行驶道路边界。
所述数据融合包括：对所述图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，进行全局池化操作和均值池化操作，以分别获取图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息的全局向量和均值向量，拼接图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息全局向量和均值向量的至少之一，以获得融合信息。
实施例中，所述传感器平台在接受到系统开始工作的信号后启动各个传感器器件，摄像头2获取行驶道路的图像信息，通过图像预处理操作对所获得的原始视频进行初步处理；激光雷达3获取行驶道路的点云信息，通过过滤剪裁、深度图像化对点云数据进行原始数据处理；经过初步处理的图像信息和深度图像信息需进行坐标轴转换和信息匹配，选择两者交叉的最小区域作为行驶道路边界，将预处理完毕的图像信息、深度图像信息和行驶道路边界信息输入计算平台7进行下一步操作；毫米波雷达4获取设定范围内的目标位置信息，以CAN信号的形式输入到计算平台7中去；GPS定位系统5获取车辆位置信息传入到计算平台7；在所述系统训练过程中，需通过控制平台13采集车辆的控制信号，输入计算平台7进行神经网络模型训练。
步骤S20：计算平台中的训练单元接受传感器平台发送的所述环境信息，训练端对端混合网络模型，并将端对端混合网络模型载入到计算平台的实时处理单元；
步骤S30：计算平台中的实时处理单元载入训练好的端对端混合网络模型，预测车辆在行驶过程中的控制信号，载入电子地图，获取行驶路线并标定航站，行驶路线的实时校正信号，并将控制信号和实时校正信号输出到整机控制单元。
所述计算平台7分为训练单元与实时处理单元两部分，训练单元需载入图像信息、深度图像信息和车辆控制信号，通过端到端网络模型训练建立图像信息、深度图像信息与车辆控制信号之间的直接映射，获得训练好的网络模型。
端对端混合网络模型包括：输入层，卷积层，第一级网络结构，第二级网络结构，第三级网络结构，上采样层，输出层，所述第一级网络结构、第二级网络结构和第三级网络结构均包括：池化层和基础网络结构。
基础网络结构包括输入层、多个卷积处理模块和全局特征处理模块，所述卷积处理模块包括膨胀卷积层和卷积层并联结构和膨胀卷积层和卷积层串联结构，所述全局特征处理模块包括全局池化层、全连接层和逐点相乘操作。
所述端到端混合网络模型主体为自主设计的语义分割网络，整体网络模型由基础网络模块、普通卷积层和池化层构成，网络结构前端实现了快速缩小分辨率，主要功能为特征提取，由于深度图像数据多了距离信息，故处理深度图像数据的网络相较处理图像数据的网络多一个计算通道。整个网络的核心为特征的堆叠增加，故结构的第三部分包含了整个网络中一半以上的卷积层。语义分割网络的整体结构如附图3所示，采集到的图像数据与深度图像数据通过输入层进入神经网络，以进行距离方面的特征提取，首先由小卷积层进行特征初步提取，再采用最大池化层进行下采样，将获取的数据输入自主设计的基础网络模块中进行进一步计算，在经过3次下采样与基础网络模块的运算后，采用上采样层获得预测值。最终网络输出左右履带电信号值，电信号值转为CAN信号后发送给整机控制单元6。
所述基础网络模块由普通卷积层、膨胀卷积层、池化层、全连接层构成，为扩大模型的感受野采用并行结构进行卷积计算，膨胀卷积层的加入可扩大特征图感受野，提高计算精度，卷积层之后的全局特征处理部分由全局池化层、全连接层、逐点相乘操作完成，池化层可抽取图像关键特征并剔除冗余信息、加速计算过程；全连接层将提取的特征值映射到对应的通道上去；逐点相乘操作即逐像素与输入特征图相乘，利用全局信息对不同通道加权，以达到提取特征的目的。整个全局特征处理部分保证了特征的充分融合。基础网络模块结构如附图4所示。
以下通过对城市道路图像进行语义分割处理为例对该网络进行说明。
所处理的图像为经过预处理的分辨率为480×360的RGB三通道图像。图像在输入网络后首先由3×3小卷积层进行特征初步提取，整个卷积层设置有16个计算通道；提取的数据再经过3次池化与基础网络模块运算，其中池化层为步长为2的最大池化层，下采样过程采用双线性插值算法恢复图像。
获取的数据输入自主设计的基础网络模块中进行进一步计算，3个基础网络模块的k值分别为2、2、15，卷积层仍采用3×3小卷积核；膨胀卷积层的膨胀率为3，卷积核大小为7*7；全局池化层采用2×2最大池化卷积核，步长为2，再利用全连接层进行特征值映射，池化层和全连接层的通道数均保持不变；最后将卷积层输出与全连接层输出逐点相乘需要注意的是，在基础网络模块计算前，需通过拼接分别将通道数增加至48、80，320。
经过3次下采样与基础网络模块的运算后，网络采用双线性插值进行上采样获得预测值，最后通过输出层输出语义分割结果。由于本文为多分类问题，在模型训练过程中使用对数多分类交叉熵损失函数为代价函数，Adam为优化器；学习率设定为0.001；循环次数为300；训练批次设定为4。图5为本语义分割网络处理效果图。
所述端到端网络模型在去掉语义分割网络后加入1个全局池化层和2个全连接层，通道数依次设定为320、128、32，最后输出层采用全连接层，通道数为2，对应电动履带挖掘机的左右履带电信号值，电信号值转为CAN信号后发送给整机控制单元6。
S40：整机控制单元接收控制信号和实时校正信号，控制车辆进行行驶。
电信号值转为CAN信号后发送给整机控制单元6，整机控制单元6向比例减压阀9输出PWM脉冲信号，接收到脉冲信号的比例减压阀9向多路阀输10出先导压力，从而控制左右行走马达11实现车辆行走，转向、躲避障碍、等动作。
实施例中控制车辆动作的具体过程：
(一)车道行驶
车道行驶需向计算平台7载入训练好的网络模型，其功能分为车体1行走、躲避障碍两部分，工作流程如下：
1、行走功能：
(1)获取电动履带挖掘机状态。
(2)判断车辆状态是否正常，若是则执行(3)，若否则进行紧急制动。
(3)载入经过预处理的实时图像、深度图像。
(4)判断是否到达目的地，若是则发出驾驶任务完成标识，若否则执行(5)。
(5)将图像信息、深度信息输入网络模型中进行计算，根据获得的CAN信号控制车体1进行行走。
2、躲避障碍功能：
在系统发出启动指令后实时载入目标位置信息并判断目标是否进入阈值范围，若是则启动车灯8、喇叭12示意并进行紧急制动；若否则继续载入目标位置信息。
(二)行驶路线实时校正
在载入电子地图过程中，系统预先标定多个航站并对行驶方向做出标记，行驶路线实时校正功能的工作流程如下：
(1)获取车辆行驶方向。
(2)判断当前行驶方向是否为目标方向，若是则执行(3)，若否则进行车辆行驶方向校正。
(3)获取街景信息，进行路线分段确认，判断在时间阈值范围内是否到达标定航站，若是则返回执行(1)，若否则意味车辆行驶路线错误，进行紧急制动。
本发明的有益效果在于：
1、本发明一种电动履带式挖掘机无人驾驶行走系统及方法，可实现动、静态障碍躲避、路径规划等功能，车辆在行驶过程中完全由系统控制，具有较高的可靠性和安全性。
2、本发明采用端到端混合网络模型，建立了由路况信息到车辆控制信号的直接映射，简化了系统结构，提高了场景遍历效率，降低了车辆改装难度及系统操作难度。
3、本发明传感器平台对采集到的车辆行驶的环境信息进行预处理与数据融合，包括采用图像预处理、点云数据过滤剪裁、点云数据深度图像化进行了道路信息预处理，减少了计算平台的数据处理量，降低了系统实时运行的压力。
4、本发明利用激光雷达、毫米波雷达进行远距离、近距离障碍物检测，提出的端到端混合网络模型能够对检测的图像信息实现语义分割，该模型分割效果较好，有效识别道路上的静止、移动障碍，符合电动式履带挖掘机的行驶要求。
5、在行驶路线实时校正过程中，进行路线分段确认，通过在时间阈值范围内检测是否到达标定航站，降低行驶路线错误成本。
以上所述，仅是本发明的较佳实施例，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。本发明要求保护范围由所附权利要求书及其等效物界定。
