一种语义智能变电站机器人仿人巡视作业方法及系统
技术领域
本发明属于机器人领域，尤其涉及一种语义智能变电站机器人仿人巡视作业方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
现有的巡检机器人一般采用的是停靠点-预置位的作业方式，其部署实施过程分为配置和运行两个阶段。在配置阶段，对于一所新的环境信息未知的变电站，需要大量的人工参与工作量。巡检机器人检测点通常由现场人员依据巡检任务人工设定，设定时现场人员首先遥控机器人沿巡检路线运行，当运行至待巡检电力设备周边后停靠；之后其再遥控调整机器人上云台姿态，使云台带动可见光摄像机、红外热像仪等非接触检测传感器依次对准机器人周边待巡检的各个设备并记录对应的云台预置位，从而完成一个检测点的设置。重复上述过程，以完成对巡检任务中包含所有待检设备检测点的设置。在运行阶段，在所有检测点设置完成后，巡检机器人沿巡检路线运行，并依次在检测点停靠后，调用云台预置位，完成对设备巡检作业。
发明人发现，现有的变电站机器人对设备巡检作业的过程中存在以下问题：
(1)在机器人现场部署时，巡检检测点设置过程繁琐，需要大量的人工参与工作量，现场配置人员劳动量大且效率低；巡检检测点的设置受现场配置人员的主观判断影响较大，设置的标准不一致，从而导致检测点的设置质量无法保证；机器人采用停靠作业方式，每个检测点都需停车作业，巡检效率低，且频繁启停对机器人的稳定运行造成隐患。
(2)在机器人巡检过程中，传统机器人采用激光单一导航方式，其存在激光点云稀疏导致导航失效的问题，导航的精度无法保证。
(3)在巡检数据分析方面，现有的变电站巡检机器人，机器人前端视频图像处理能力较弱，图像视频数据目前大都采用网络回传后台服务器分析处理方式，受传输网络带宽的影响，数据分析存在延时，无法满足机器人导航、视觉伺服、缺陷及时检测等实时性要求较高的应用场景需求。
(4)工作人员在控制室不能真实地了解变电站环境及设备状况。
发明内容
为了解决上述问题，本发明提供一种语义智能变电站机器人仿人巡视作业方法及系统，打破了传统变电站巡检机器人“停靠点-预置位”作业方式，其实现了机器人巡检的全自主作业。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供了一种语义智能变电站机器人仿人巡视作业方法。
一种语义智能变电站机器人仿人巡视作业方法，包括：
自主构建未知变电站环境的三维语义地图；
基于三维语义地图，结合巡检/作业任务和机器人当前位置，机器人自主规划行走路径；
控制机器人按照规划的行走路径运动，并在行进过程中开展巡检/作业任务；
在开展巡检/作业任务的过程中，实时调整搭载有巡检/作业工具的机械臂的位姿，实现以最佳角度自动采集与识别待巡检设备的图像或以最佳角度自动执行作业任务，完成变电站环境的全自主巡检/作业任务。
进一步地，基于变电站先验知识，自动获取站内设备的位置信息，实现机器人免配置信息注入情况下，自主构建变电站三维语义地图。
进一步地，构建未知变电站环境的三维语义地图的具体过程为：
实时获取当前环境的双目图像数据、巡检图像数据以及三维点云数据；
基于双目图像数据和三维点云数据获取当前环境对象的空间分布，通过巡检图像数据进行实时分析，识别图像中设备标识码，定位设备目标区域，实现空间信息中设备标识和位置的同时获取；
根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，利用局部路径规划方法，实现机器人在未知区域的运动规划，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建。
进一步地，执行未知环境的地图构建的过程包括：
基于双目图像数据及三维激光数据获取当前环境中对象的空间分布；
基于双目图像数据及巡检图像数据获取当前环境中道路、设备及障碍物对象的语义信息，利用空间位置坐标变换，将道路、设备及障碍物空间信息投影至三维点云数据，建立语义地图。
进一步地，根据机器人与待巡检设备间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
实时获取巡检相机图像数据，自动识别跟踪并定位待巡检的设备位置，驱动机械臂位置进行精确调整，以使机械臂末端图像采集设备为最佳的拍摄角度，并驱动图像采集设备调整焦距，补偿由于机器人运动对图像造成的影响，获取目标巡检设备图像，实现目标图像精准拍摄；
基于获取到的设备精细图像，在机器人前端自动进行目标识别，实现图像数据在前端的自动分析，实时获取设备的状态信息。
进一步地，在机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内的过程中，控制机械臂调整位姿始终对准待巡检设备，使得机器人在数据采集时始终与待检设备保持最佳相对位姿关系；
当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
进一步地，在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。
进一步地，在采集数据质量评估优化的过程中，对不同位置及不同光照条件下的巡检数据进行置信度评价，在机器人巡检过程中，选取置信度最高的检测数据作为待检测设备的巡检状态数据。
进一步地，基于数字孪生方法构建变电站全景三维模型，通过图像、声音及触感信息的实时再现方式，实现基于虚拟现实技术的变电站沉浸式巡检作业。
本发明的第二个方面提供一种机器人。
一种机器人，其采用如上述所述的语义智能变电站机器人仿人巡视作业方法进行巡检。
本发明的第三个方面提供一种语义智能变电站机器人仿人巡视作业系统。
本发明提供的一种语义智能变电站机器人仿人巡视作业系统，其包括至少一个如上述所述的机器人。
本发明提供的另一种语义智能变电站机器人仿人巡视作业系统，其包括：
控制中心；
至少一个机器人；所述机器人部署于变电站内各区域；
每个机器人包括机器人本体，机器人本体上设置有机械臂，机械臂末端搭载有巡检/作业工具；
所述控制中心上存储有计算机程序，该程序被处理器执行时实现如上述所述的语义智能变电站机器人仿人巡视作业方法中的步骤。
本发明的第四个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的语义智能变电站机器人仿人巡视作业方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)本发明开创性地发明了语义智能变电站机器人仿人巡视作业方法，提出变电站三维语义地图的自主构建方法，实现了未知变电站环境下道路及设备信息的主动式自主感知，彻底摆脱了传统机器人对人工停靠点以及预置位配置的依赖，打破了传统变电站巡检机器人“停靠点-预置位”巡检作业方式，解决了传统机器人巡检智能化水平不足，人工配置依赖度高，停靠作业效率低的主要问题。
(2)本发明提出了一种机器人语义地图的自动构建方法，实现了机器人语义地图的自动构建，采用视觉激光融合导航方式，实现了机器人三维自主导航，解决传统机器人单一导航方式无效及智能感知能力不足的问题。
(3)本发明提出了一种变电站巡检视频AI前端化识别方法，利用深度学习模型量化裁剪方法降低了算法运算复杂度，提升了系统的实时性，研制了低功耗高性能的变电巡检视频实时分析硬件系统，降低了网络传输压力，提升了数据处理的实时性。
(4)本发明提出一种机器人沉浸式作业方式，结合图像，视频、声音等多模态信息，通过多源多模态信息的深度融合，重构了机器人作业环境全景信息，使工作人员在控制室就能够真实地了解变电站环境及设备状况，实现了变电站机器人的沉浸式巡检作业。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的语义智能变电站机器人仿人巡视作业方法流程图；
图2是本发明实施例的变电站巡检设备最优数据采集过程示意图；
图3是本发明实施例的变电站机器人仿人巡视作业系统架构图；
图4是本发明实施例的巡检机器人定位导航地图自主构建流程图；
图5是本发明实施例的三维电子地图语义分析流程图；
图6是本发明实施例的变电站巡检视频实时识别框架图；
图7是本发明实施例的变电站巡检视频实时识别流程图；
图8是本发明实施例的机器人结构示意图；
图9(a)是本发明实施例的主臂结构示意图；
图9(b)是本发明实施例的从臂结构示意图；
图10是本发明实施例的快速更换结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
实施例一
参照图1给出了本实施例的语义智能变电站机器人仿人巡视作业方法，包括：
S101：自主构建未知变电站环境的三维语义地图；
S102：基于三维语义地图，结合巡检/作业任务和机器人当前位置，自主规划机器人行走路径；
S103：控制机器人按照规划的行走路径运动，并在行进过程中开展巡检/作业任务；
S104：在开展巡检/作业任务的过程中，实时调整搭载有巡检/作业工具的机械臂的位姿，实现以最佳角度自动采集与识别待巡检设备的图像或以最佳角度自动执行作业任务，完成变电站环境的全自主巡检/作业任务。
在步骤S101和S102的具体实施中，基于变电站先验知识，自动获取站内设备的位置信息，实现机器人免配置信息注入情况下，自主构建变电站三维语义地图。
在具体实施中，构建未知变电站环境的三维语义地图的具体过程为：
实时获取当前环境的双目图像数据、巡检图像数据以及三维点云数据；
基于双目图像数据和三维点云数据获取当前环境对象的空间分布，通过巡检图像数据进行实时分析，识别图像中设备标识码，定位设备目标区域，实现空间信息中设备标识和位置的同时获取；
根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，利用局部路径规划方法，实现机器人在未知区域的运动规划，执行未知环境的地图构建，直至完成整个站内环境语义地图的构建。
其中，执行未知环境的地图构建的过程包括：
基于双目图像数据及三维激光数据获取当前环境中对象的空间分布；
基于双目图像数据及巡检图像数据获取当前环境中道路、设备及障碍物对象的语义信息，利用空间位置坐标变换，将道路、设备及障碍物空间信息投影至三维点云数据，建立语义地图。
所述三维语义地图为预先存储的语义地图，其中，巡检/作业路径的制定方法包括：
接收巡检/作业任务，所述巡检/作业任务包括指定巡检/作业区域或指定巡检/作业设备；
根据巡检/作业任务相应的待巡检/作业设备；
将语义地图中所有待巡检/作业设备的三维空间投影坐标作为机器人行走路线上的点，结合机器人当前所在位置，规划巡检/作业路线。
所述语义地图包括变电站三维地图，以及三维地图上设备的语义信息，其构建方法，参照图4，包括：
获取变电站的图纸、电气设计图等先验知识数据，利用知识图谱、知识理解技术，基于所述先验知识数据，形成粗精度的语义地图，并自动构建机器人构建语义地图的任务路径；根据所述任务路径控制机器人运动，运动过程中，通过执行以下步骤实现漫游式语义地图的构建，如图5所示：
(1)自双目视觉相机、巡检相机和三维激光传感器获取当前环境的双目图像、巡检图像和三维点云数据；
(2)根据巡检图像对当前环境中的道路、设备以及障碍物等对象进行识别；嵌入式AI分析模块中预存用于识别道路、设备和各类障碍物的深度学习模型，基于这些模型进行目标检测；即得到了当前环境中的道路、设备以及障碍物语义信息；根据双目图像及三维点云数据获取当前环境中的道路、设备，以及障碍物的空间位置分布；具体地，双目图像和三维点云数据可以获取机器人周边设备或障碍物距机器人本体的距离信息(双目图像用于识别近距离障碍，三维点云数据用于识别远距离障碍)，再结合巡检任务中机器人运行方向信息即可得到障碍物以机器人本体为中心的空间分布。
(3)根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，若存在可通行未知区域，利用局部路径规划方法，实现机器人在未知区域的运动规划，并向机器人的工控机发送运动指令，使机器人运动至可通行未知区域，进入步骤(4)；若不存在可通行未知区域，表示所有未知区域均探索完成，地图构建结束；
(4)根据双目图像和三维点云数据进行三维SLAM地图构建，返回步骤(1)。
所述步骤(4)中根据双目图像和三维点云数据进行三维SLAM地图构建，具体包括：
步骤(4.1)：读取双目相机获取的双目图像、巡检相机获取的巡检图像和三维激光传感器数据；
步骤(4.2)：基于双目图像数据和三维激光数据获取设备、设备及障碍物的空间位置分布，以及基于三维激光传感器数据构建三维点云图；
步骤(4.3)：基于双目图像数据及巡检图像数据获取当前环境中设备、设备及障碍物的语义信息；
步骤(4.4)：利用空间位置坐标变化，根据双目图像，以及根据设备的空间位置，将设备的空间位置投影到所述三维点云图，实现二维到三维点云图的映射，结合步骤(2)当前环境中道路、设备以及障碍物的语义信息，建立语义地图。通过将双目相机识别的设备投影至三维点云图，再结合三维点云图的点云密度分布，能够实现三维导航地图中待检设备的三维位置及点云的准确聚类与语义化，得到漫游语义地图。所述漫游语义地图中包括变电站中设备的三维空间位置及其语义。
通过二维到三维点云的映射，能够将通过二维图像识别出的可通行道路、杆塔、表计等语义信息赋予三维点云，结合基于二维图像的定位，能够更准确的对三维点云进行聚类，使得构建的地图更接近于现实。
机器人在建立好三维导航语义地图后，可利用三维导航地图，利用ROS导航模块，实现机器人在变电站内的运动导航。机器人对于任务规定的巡检设备的不停车检测，采用静态地图和动态地图相结合的方式：静态地图方式是利用漫游语义地图，将设备三维空间坐标投影到行走路线上，将待检设备的空间位置垂直扇形区域作为任务导航点；动态地图方式是机器人在运动过程中，动态识别到任务关注设备后，获取设备当前三维坐标，实现设备的动态识别，并实时更新地图信息。
本实施例提出了一种机器人巡检定位导航地图自主构建方法，实现了三维视觉语义地图的漫游式建图，提出了一种面向任务的双目视觉与三维激光融合的巡检导航控制方法，实现了机器人的激光视觉融合导航规划，解决传统机器人激光点云稀疏导致的导航失效问题。
在步骤S104的具体实施中，根据机器人与待巡检设备间的位置关系，驱动机器人机械臂运动，以使机器人机械臂末端朝向设备的位置且运动到目标设备的局部范围内；
实时获取巡检相机图像数据，自动识别跟踪并定位待巡检的设备位置，驱动机械臂位置进行精确调整，以使机械臂末端图像采集设备为最佳的拍摄角度，并驱动图像采集设备调整焦距，补偿由于机器人运动对图像造成的影响，获取目标巡检设备图像，实现目标图像精准拍摄；
基于获取到的设备精细图像，在机器人前端自动进行目标识别，实现图像数据在前端的自动分析，实时获取设备的状态信息。
参照图2，控制机械臂调整位姿始终对准待巡检设备，使得机器人在数据采集时始终与待检设备保持最佳相对位姿关系；
当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
其中，在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。
在采集数据质量评估优化的过程中，对不同位置及不同光照条件下的巡检数据进行置信度评价，在机器人巡检过程中，选取置信度最高的检测数据作为待检测设备的巡检状态数据，提升巡检数据的有效性。
R＝0.5*Rposition+0.5*Rl
Rposition＝cos(Cdx)
Rl＝1-(L-Lx)/Lx L>Lx
Rl＝1L<Lx
其中R为机器人当前巡检数据的执行度，Rposition为位置置信度，Cdx是当前机器人末端位置与待检测设备表面法向量间的夹角，cos为余弦计算函数；Rl为光照置信度，在机械臂末端与巡检相机同轴安装光照强度传感器，实现当前光照方向及强度的计算，L为当前光照度，Lx为标准光照度，取值为正常光照条件下的光照度，一般取100000Lux。
在具体实施中，基于三维语义地图，获取任务巡检中待巡检设备及机器人的实时位置，基于巡检路径或作业路径控制机器人运动到作业点，驱动机器人机械臂末端朝向待巡检设备的位置。
根据机器人当前所在位置、巡检路径或作业路径及设定的巡检速度，计算机器人与待巡检设备之间的相对运动关系，控制机械臂调整位姿始终对准待巡检设备，以使机器人机械臂末端所搭载的传感器模块对待检设备巡检数据进行采集。
根据三维语义地图，确定机器人针对每个待巡检设备的最佳巡检位姿，根据巡检路线到达各个待巡检设备时，根据最佳巡检位姿进行检测。其中，根据最佳巡检位姿进行检测包括：基于三维语义地图以及双目视觉与三维激光传感器数据，确定机器人当前的实际位姿；根据实际位姿和最佳位姿计算相对位姿偏差；根据相对位姿偏差控制机器人调整位姿，执行检测。
在巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在设备的布局与三维语义地图不一致，若存在，对三维语义地图进行更新。
具体地，在巡检过程，还对设备图像精细化采集，其过程为：
1)：巡检过程中，实时获取图像数据，对图像中的待检测设备进行识别。
变电站环境复杂，采集的图像中可能同时包含多种类型设备。此处构建了深度学习设备识别算法库，包含faster-rcnn、ssd、yolo等主流目标识别算法。该算法库在全卷积深度神经网络的基础上，结合巡检任务包含的设备信息，提取目标检测特征和语义特征，然后对融合的特征进行分类和检测，实现巡检图像中设备的精确识别。
2)：预先根据语义地图中设备的位置，计算机器人机械臂与待检设备最佳相对位姿关系；巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制机器人机械臂调整位姿，使得巡检相机始终对准所述待检测设备，从而从最佳角度采集待检测设备图像，执行检测，提高设备检测的准确性。
本实施例设计了一种结合电力设备空间位置关系特征的目标检测算法(不局限于faster-rcnn算法、ssd、yolo等)算法，构建了一种高性能计算资源自动调度方法，提出了一种设备目标检测及跟踪方法，实现了巡检视频实时高效识别，提升了变电设备识别的准确率。
具体地，还根据变电站三维语义电子地图及机器人位姿计算，计算数据采集时机器人机械臂末端的巡检相机与待检设备最佳相对位置关系，根据机器人当前所在位置、巡检路线以及设定的巡检速度，计算在不停车状态下的下一时刻的机械臂位姿控制参数，使得机器人机械臂末端的巡检相机与待检设备能够保持最佳相对位置关系，即对准待检测设备。
其中，机械臂与待检设备最佳相对位姿关系为：
max[|nx(x-xr)+ny(y-yr)+nz(z-zr)|+|nx*nxr+ny*nyr+nz*nzr|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，x,y,z为待检设备空间坐标，而xr,yr,zr和nxr,nyr,nzr为机器人空间位姿向量，当机器人运行位姿使上式取得最大值时,即可得到机器人与待检测设备的最佳相对位姿。
机械臂末端的空间位姿为：
max[|nx*nxa+ny*nya+nz*nza|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，nxa,nya,nza为机械臂空间姿态向量，若要得到机械臂与待检测设备的最佳数据采集姿态，控制机械臂使上式取得最大值即可。
在机械臂姿态调整过程中，利用待检测设备与机械臂末端的距离信息，自动计算巡检相机的配置焦距，保证待检测设备信息在图像中清晰可见。
同时，实时获取双目视觉相机采集的图像数据，基于深度学习方法对图像中的待检测设备进行识别，并对机械臂姿态进行微调，保证待检测设备区域始终在图像中央区域。
在具体实施中，利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出目标设备时，利用双目立体算法获取目标设备的三维空间位置坐标。提出一种巡检相机姿态局部自调整方法，采用DeblurGAN运动视频去模糊算法。
提出了一种机器人采集图像运动补偿算法，采用了机器人运动补偿提升运动过程中巡检图像采集的稳定性，保证巡检图像的有效性。由于机器人需在行进过程中，始终保持待检测设备在图像中心区域，实现待检测设备的精确采集，为此需对机器人运动进行补偿，本实施例提出了一种机器人采集图像运动补偿算法，公式如下：
Control_x＝Kpx*delta_x+Vx*Kbx*D
Control_y＝Kpy*delta_y+Vy*Kby*D
其中：Control_x、Control_y为机器人末端姿态在X、Y方向的控制调整量，delta_x、delta_y为某一时刻机器人采集图像中设备区域中心与图像中心间在X、Y方向的坐标偏差，Kpx、Kpy为机器人末端姿态在X、Y方向的控制调整量比例系数，Vx，Vy分别为机器人末端在X、Y方向的运动速度，Kbx、Kby为机器人末端姿态在X、Y方向的控制量补偿系数，D为机器人末端与待检测设备间的距离。本实施例的不停车巡检机器人可以用变电站巡检机器人上，可以巡检也可以用在作业上。
当机械臂姿态及机器人巡检相机焦距调整到位后完成设备图像的精细化采集。
在具体实施中，在设备识别的过程中，对巡检所采集的待识别实物的少量图像中设备区域进行标定；将标定后的图像进行去背景处理，并对去背景后的待巡检设备图片进行变换，模拟从不同角度、不同距离拍摄该设备的情况；更新背景图片，获得待巡检设备在不同背景中的图像，从而生成海量已经标定的图片。
通过上述方式实现多种样本图像数据及样本标注文件的扩充，丰富样本的图像数据，便于后续利用人工智能深度学习算法进行图像训练的实现，从而更准确的实现图像设备状态的识别。
为了更好的说明上述技术方案，下面以变电站内某仪表为例进行说明少样本到海量样本的生成过程：
首先，利用巡检机器人现场采集变电站某仪表设备的正面、侧面、背面图像各数张。
对电力巡检所采集的待识别实物的少量图像进行预处理，增强图像的质量。少量图像进行预处理，包括对图像进行去模糊、去抖动等图像预处理。
将采集到的少量图像，进行标定，实现图像中设备区域的标定。由此步骤进行标定，进行标定数量较少。
将标定后的图像进行去背景处理，获得带有透明背景的实物图片。在该步骤中进行去背景处理，从而获得带有透明背景的实物图片，以便后续进行背景的更换，实现不同背景下的实物图像。
对去背景后的实物图片进行变换，具体为：对透明背景的图像做随机放缩、旋转、放射变换。模拟从不同角度、不同距离拍摄该设备的情况。
针对所获得少量图像，由于采集时有些部位不方便采集或者无法进行采集从而得不到对应角度的图像，通过上述步骤的变换处理，可以得到相对全面的实物图像，更能有助于表明实物的结构状态。
对去背景后的实物图片进行变换后，还包括：
将图像导入到Blender软件中，对图像增加不同光照渲染，模拟不同光照条件下的情况，并获取不同光照条件下的图像数据。
由于获得的少量图像是在某一定时间下某种光照的图像，不能满足不同情况光照下的图像的需求，因此，进行上述操作，获得不同光照条件下的图像数据，能够使得图像的种类满足训练时的要求。
更新纹理背景或背景环境，获得待识别实物在不同纹理背景或背景环境中的图像，从而生成海量已经标定的图片，实现多种样本图像数据及样本标注文件的扩充，丰富样本的图像数据。
生成海量已经标定的图片之后，所获得海量图像存在大小样本的情况，样本数量不平衡，因此，采用SMOTE即Synthetic Minority Over-sampling Technique方法，解决样本不平衡问题，从而进一步提升分类器性能。
具体实施例中，多样本数据增强时，具体为：
定义特征空间，将每个样本对应到特征空间中的某一点，根据样本不平衡比例确定采样倍率；
对每一个小样本类样本，按欧氏距离找出最近邻样本，从中随机选取一个样本点，在特征空间中样本点与最近邻样本点的连线段上随机选取一点作为新样本点，实现直到大、小样本数量平衡。
类不平衡现象是很常见的，具体指的是数据集中各类别数量不近似相等。如果样本类别之间相差很大，会影响分类器的分类效果。假设小样本数据数量极少，如仅占总体的1％，则即使小样本被错误地全部识别为大样本，在经验风险最小化策略下的分类器识别准确率仍能达到99％，但由于没有学习到小样本的特征，实际分类效果就会很差。
SMOTE方法是基于插值的方法，它可以为小样本类合成新的样本，主要流程为：
第一步，定义好特征空间，将每个样本对应到特征空间中的某一点，根据样本不平衡比例确定好一个采样倍率N；
第二步，对每一个小样本类样本(x，y)，按欧氏距离找出K个最近邻样本，从中随机选取一个样本点，假设选择的近邻点为(xn，yn)。在特征空间中样本点与最近邻样本点的连线段上随机选取一点作为新样本点，满足以下公式：
(xnew，ynew)＝(x，y)+rand(0-1)*((xn-x)，(yn-y))
第三步，重复以上的步骤，直到大、小样本数量平衡。
具体实施例中，背景图片为现实中拍摄的背景图像或开源的纹理库中背景图像，两种图像呈一定的比例以使训练图像兼顾虚拟和现实数据。
随机现实中拍摄的背景图像，通过固定收集，重复使用。
网上一些开源的纹理库，通过固定收集，重复使用。
两种纹理的组合比例的选择(50％，50％，实现虚拟和现实背景图像的有效融合，使训练图像兼顾虚拟和现实数据，更好提升训练模型的识别精度)。
本实施例提出了一种机器人巡检图像数据自主分析方法，设计了一种基于少样本图像的变电设备自动识别算法，实现了巡检设备状态信息自动分析及筛选，提升了巡检图像数据分析质量。该实施例的电力巡检少样本图像数据增强方法可以应用到普通巡检机器人、无人机巡检等方面，针对所采集的图像进行处理，获得海量已经标定的图片。
具体地，基于待巡检设备位置数据，调整机械臂坐标，以使待巡检设备位于图像中央，实现待巡检设备状态的实时调整。
识别出待巡检设备位置后，还对待巡检设备位置进行跟踪，并将待巡检设备的实时位置信息发送给机械臂控制模块。
本实施例还基于AI前端化对变电站巡检视频进行实时识别，如图7所示，其过程包括：
A)样本及模型构建步骤：采集站内设备及设备各种状态的图像数据，进行标注，形成变电设备的图像样本库，并采用深度学习目标检测算法对样本图像进行训练，形成变电设备模型及变电设备状态识别模型，变电设备模型用于巡视视频中设备的识别及定位；变电设备状态识别模型用于巡视视频中设备状态的识别；
B)识别模型初始化步骤：AI分析模块加载变电设备模型和变电设备状态识别模型；其中，如图6所示，变电站巡检视频实时识别过程中所涉及到的部件包括至少一个固定点相机、至少一个机器人相机及AI分析模块；
机器人相机安装在变电站巡检机器人上，用于采集变电站巡检机器人巡视路线覆盖区域内设备及环境视频信息；固定点相机分布于变电站设备区内，用于采集变电站设备区内机器人巡检无法到达区域内设备及环境视频信息；AI分析模块对固定点相机、机器人相机所采集的变电站巡检视频实时进行处理，识别并输出设备位置信息，并对采集视频中设备图像信息进行分析处理，在前端实现设备状态的实时跟踪。
C)设备识别步骤：AI分析模块启动设备识别服务功能，对固定点监控相机及机器人巡检视频进行设备目标的检测，实现视频中待检测设备实时识别与定位，并输出目标设备在巡检图像中的检测框，包括目标设备中心位置及设备区域的长和宽；
D)设备目标跟踪步骤：AI分析模块实现目标设备的识别后，为保证目标采集的实时性及准确性，对目标设备进行跟踪，使用KCF方法对目标设备进行跟踪，由于目标跟踪算法存在前景剧烈变化情况下，跟踪目标丢失的问题，
(Xt,Yt,Wt,Ht)＝KCF(R(t-Floor((t-dt)/dt)*dt))
(Xt,Yt,Wt,Ht)为t时刻KCF算法跟踪的坐标输出，R(t)为目标检测算法t时刻输出的目标设备的坐标,Floor是取整函数；每隔dt时间间隔计算一次目标检测识别算法，并作为KCF算法的输入坐标，使用目标检测算法定期更新KCF算法的输入坐标，消除错误跟踪的问题，提高目标跟踪的准确性，同时提高了算法的实时性。
E)图像精细采集步骤：在目标跟踪过程中，通过并将设备的实时位置信息发送给机械臂控制模块,调整机械臂末端坐标使得设备位于图像中央,并调整相机的焦距，获得抓图设备的细节图像信息。
F)设备状态识别步骤：AI分析模块启动变电设备状态识别服务，实现对设备细节图像的智能分析，完成识别状态的实时获取，并回传变电站巡视视频后台。
目标识别算法采用YOLOV3算法，目标跟踪算法使用KCF目标跟踪算法。
目标跟踪算法，构架关键帧目标检测与非关键帧目标跟踪交互的设备目标检测框架，利用深度学习模型量化裁剪技术，降低算法运算复杂度，提升系统的实时性。
AI分析模块采用高性能计算资源自动调度方法，实现了变电站机器人及固定点巡检多通道视频的分析功能。
当有多路视频分析处理时，要保证分析的实时性，需一种高性能计算资源自动调度方法，该方面描述如下：
(1)动态监测当前的待识别视频数量；
(2)查看当前显卡资源的使用情况；
(3)当发现有空闲显卡后，分配识别任务到空闲显卡；
(4)当发现没有空闲显卡时，启动轮训分析模式(多路视频帧交替使用显卡资源)，交替实现多路视频的处理，提升视频分析的实时性和有效性。
在其他实施例中，基于数字孪生方法构建变电站全景三维模型，通过图像、声音、触感信息的实时再现方式，实现基于虚拟现实技术的变电站沉浸式巡检作业。
例如：可采用机器人本体上的虚拟现实模块构建变电站作业现场的虚拟环境。VR虚拟现实模块包括VR相机，能够采集现场环境并构建作业现场虚拟环境，运维人员通过此模块，可远程虚拟感知现场作业环境，从而可以实现对现场设备的精准作业。在正常情况下，机器人能够进行自主巡检；当机器人发现设备缺陷、问题后，会将信息及时发送给运维人员，并给出相应的问题类别及对应的解决方案供运维人员参考。
本实施例提出机器人全景沉浸式巡视及作业方法，可结合图像，视频、声音等多模态信息，基于数字孪生技术构建变电站全景三维信息(可以是图像三维，也可以是激光三维，虚拟模型等)，提出一种沉浸式的机器人作业方式(可以是异构也可以是同构，可以是主从也可以是自动化式的)，通过多源、多模态信息的深度融合，重构机器人作业环境全景信息，使工作人员在控制室就能够真实的了解变电站环境及设备状况，实现的变电站机器人的沉浸式巡检作业。
实施例二
本实施例提供了一种机器人，其采用如实施例一所述的语义智能变电站机器人仿人巡视作业方法进行巡检。
如图8所示，机器人包括机器人本体上设置多自由度机械臂1，所述多自由度机械臂末端8搭载巡检设备6。
具体地，多自由度机械臂末端搭载的巡检设备包括：可见光相机、红外相机、手抓、吸盘、局放检测仪等。
参照图9(a)和图9(b)，机器人本体上的多自由度机械臂作为从臂4，另外设置操控主臂5，主臂为适于人员操作的轻便型操作系统，运维人员佩戴上主臂5后，集控运维人员可从集控室内通过5G通信，远程控制从臂4，实现对变电站内设备的巡检作业操作。
另外，机器人本体上还设置VR虚拟现实模块3，用于构建变电站作业现场的虚拟环境。VR虚拟现实模块3包括VR相机，能够采集现场环境并构建作业现场虚拟环境，运维人员通过此模块，可远程虚拟感知现场作业环境，从而可以实现对现场设备的精准作业。
采用本实施例的结构，在正常情况下，机器人能够进行自主巡检；当机器人发现设备缺陷、问题后，会将信息及时发送给运维人员，并给出相应的问题类别及对应的解决方案供运维人员参考。
如果发现的设备问题可以通过远程作业解决的话，运维人员就可以发出在线作业命令，机器人在接受到命令后，会自动切换到远程作业模式。
在进行作业检修时，机器人自行来到需作业检修的设备旁，打开机器人VR虚拟现实模块，通过5G通信模块，在集控中心远程构建现场虚拟环境；
运维人员通过集控中心的主臂，利用5G通信模块，远程控制变电站现场机器人上的从臂；运维人员通过VR虚拟现实，实时感知变电站待检修设备环境，利用从臂进行精细化作业，实现了运维人员对变电站设备的远程检修作业，提高了变电站维护的及时性，确保了运维人员的人身安全。
作为一种可选的实施方式，机器人本体前端设有AI前端数据处理模块，AI前端数据处理模块被配置为实现变电站巡检设备图像的前端识别。将基于图像进行目标识别的过程在机器人前端进行，避免了海量的数据回传后台过程中，由于数据传输存在时间延迟，导致存在视频分析不及时的问题；同时降低了对于带宽的要求。
另外，由于目前的变电站巡检机器人主要集中在可见光及红外测温两方面，大多是将可见光相机及红外相机分别固定在云台的两侧，然后将此云台直接通过螺钉或者螺栓直接固定在机器人本体上，处于外观及IP防护等因素的考虑，固定在机器人本体上的云台就很难在更换下来，所以无法实现检测设备的快速更换。
本实施例中，参照图10，在多自由度机械臂末端设置快换接头，能够实现单一机器人在变电站内完成多种检测作业的突破，解决了传统巡检机器人检测功能单一，无法任意改变检测设备的问题。
具体地，采用的是连接套7的方式实现快速连接和更换；在多自由度机械臂末端8和检测设备6末端均设置螺纹连接头，首先将机械臂末端8及检测设备6对齐，然后转动机械臂末端预制的连接套7，利用机械臂末端及检测设备共有的螺纹丝，使连接套逐渐将机械臂及末端设备固定在一起。
在本实施例中，可供转换的设备包括可见光相机、红外测温、局放检测、机械手抓、电动吸头等四大模块。
实施例三
本实施例提供了一种语义智能变电站机器人仿人巡视作业系统，其包括至少一个如实施例二所述的机器人。
本实施例的语义智能变电站机器人仿人巡视作业系统包括：嵌入式AI分析模块，以及与所述嵌入式AI分析模块连接的多自由度机械臂、巡检相机、双目视觉相机、三维激光雷达、惯导传感器、机器人工控机和机械臂；其中，双目视觉相机设于机器人前端，巡检相机通过机械臂设于机械臂末端，所述机器人机器人工控机连接机器人运动平台，能够实现多个视觉、激光、GPS、惯导等传感器数据接入与同步采集，从而实现对机器人自身及周边环境的全景感知，如图3所示。其中，双目视觉相机用于构建语义地图；巡检数据采集相机用于采集设备的精细图像以执行检测。
所有设备都通过网络与网络交换机连接，构成机器人ROS控制网络。其中嵌入式AI分析模块是系统数据分析处理关键节点，其作为ROS-Core的运行节点，负责机器人各传感器的信息采集、实现机器人底盘驱动的ROS接口、激光/视觉的三维信息分析和融合、机器人的导航控制、及机械臂的控制等。系统采用存ROS接口形式，激光、视觉、驱动都采用标准ROS接口，系统设计主要包括11个node功能包，安功能分类划分为漫游式语义地图构建模块、巡检导航控制模块、设备图像精细化采集模块以及设备状态识别模块。
所述漫游式语义地图构建模块被配置为：
所述漫游语义地图包括变电站三维地图，以及三维地图上设备的语义信息，其构建方法包括：
获取变电站的图纸、电气设计图等先验知识数据，利用知识图谱、知识理解技术，基于所述先验知识数据，形成粗精度的语义地图，并自动构建机器人构建语义地图的任务路径；根据所述任务路径控制机器人运动，运动过程中，通过执行以下步骤实现漫游式语义地图的构建：
(1)自双目视觉相机、巡检相机和三维激光传感器获取当前环境的双目图像、巡检图像和三维点云数据；
(2)根据巡检图像对当前环境中的道路、设备，以及障碍物等对象进行识别；嵌入式AI分析模块中预存用于识别道路、设备和各类障碍物的深度学习模型，基于这些模型进行目标检测；即得到了当前环境中的道路、设备，以及障碍物语义信息；根据双目图像及三维点云数据获取当前环境中的道路、设备，以及障碍物的空间位置分布；具体地，双目图像和三维点云数据可以获取机器人周边设备或障碍物距机器人本体的距离信息(双目图像用于识别近距离障碍，三维点云数据用于识别远距离障碍)，再结合巡检任务中机器人运行方向信息即可得到障碍物以机器人本体为中心的空间分布。
(3)根据当前环境中对象的空间分布，实现机器人周边可通行未知区域的自动识别，若存在可通行未知区域，利用局部路径规划方法，实现机器人在未知区域的运动规划，并向机器人工控机发送运动指令，使机器人运动至可通行未知区域，进入步骤(4)；若不存在可通行未知区域，表示所有未知区域均探索完成，地图构建结束；
(4)根据双目图像和三维点云数据进行三维SLAM地图构建，返回步骤(1)。
所述步骤(4)中根据双目图像和三维点云数据进行三维SLAM地图构建，具体包括：
步骤(4.1)：读取双目相机获取的双目图像、巡检相机获取的巡检图像和三维激光传感器数据；
步骤(4.2)：基于双目图像数据和三维激光数据获取设备、设备及障碍物的空间位置分布，以及基于三维激光传感器数据构建三维点云图；
步骤(4.3)：基于双目图像数据及巡检图像数据获取当前环境中设备、设备及障碍物等对象的语义信息；
步骤(4.4)：利用空间位置坐标变化，根据双目图像，以及根据设备的空间位置，将设备的空间位置投影到所述三维点云图，实现二维到三维点云图的映射，结合步骤(2)当前环境中道路、设备以及障碍物的语义信息，建立语义地图。通过将根据双目相机识别的设备投影至三维点云图，再结合三维点云图的点云密度分布，能够实现三维导航地图中待检设备的三维位置及点云的准确聚类与语义化，得到漫游语义地图。所述漫游语义地图中包括变电站中设备的三维空间位置及其语义。
通过二维到三维点云的映射，能够将通过二维图像识别出的可通行道路、杆塔、表计等语义信息赋予三维点云，结合基于二维图像的定位，能够更准确的对三维点云进行聚类，使得构建的地图更接近于现实。
机器人在建立好三维导航语义地图后，可利用三维导航地图，利用ROS导航模块，实现机器人在变电站内的运动导航。机器人对于任务规定的巡检设备的不停车检测，采用静态地图和动态地图相结合的方式：静态地图方式是利用漫游语义地图，将设备三维空间坐标投影到行走路线上，将待检设备的空间位置垂直扇形区域作为任务导航点；动态地图方式是机器人在运动过程中，动态识别到任务关注设备后，获取设备当前三维坐标，实现设备的动态识别，并实时更新地图信息。
所述巡检导航控制模块，被配置为：
步骤1：接收巡检任务，所述巡检任务包括指定巡检区域或指定巡检设备；
步骤2：根据语义地图确定巡检任务相应的待巡检设备的可检测区域信息；
步骤3：融合机器人当前巡检任务中所有待检测设备的可检测区域信息，结合机器人当前所在位置，基于语义地图中的巡检道路信息，规划巡检路线；具体地，将漫游语义地图中所有待巡检设备的三维空间投影坐标作为机器人行走路线上的点，结合机器人当前所在位置，规划巡检路线；
进一步地，还根据漫游语义地图，确定机器人针对每个待巡检设备的最佳巡检位姿，根据巡检路线到达各个待巡检设备时，根据最佳巡检位姿进行检测；
步骤4：根据所述巡检路线进行巡检，若求取了最佳巡检位姿，根据最佳巡检位姿执行检测。
巡检过程中，实时获取双目视觉和三维激光传感器数据，判断行走路线上是否存在设备的布局与漫游语义地图不一致，若存在，对漫游语义地图进行更新。
所述设备图像精细化采集模块，被配置为：
步骤1：巡检过程中，实时获取图像数据，对图像中的待检测设备进行识别。
变电站环境复杂，采集的图像中可能同时包含多种类型设备。此处构建了深度学习设备识别算法库，包含faster-rcnn、ssd、yolo等主流目标识别算法。该算法库在全卷积深度神经网络的基础上，结合巡检任务包含的设备信息，提取目标检测特征和语义特征，然后对融合的特征进行分类和检测，实现巡检图像中设备的精确识别。
步骤2：预先根据语义地图中设备的位置，计算机械臂与待检设备最佳相对位姿关系；巡检过程中，根据相应的相对位置关系，以及机器人当前所在位置、巡检路线以及设定的巡检速度，控制机械臂调整位姿，使得巡检相机始终对准所述待检测设备，从而从最佳角度采集待检测设备图像，执行检测，提高设备检测的准确性。
具体地，所述步骤2中还根据变电站三维语义电子地图及机器人位姿计算，计算数据采集时机器人机械臂末端的巡检相机与待检设备最佳相对位置关系，根据机器人当前所在位置、巡检路线以及设定的巡检速度，计算在不停车状态下的下一时刻的机械臂位姿控制参数，使得机器人机械臂末端的巡检相机与待检设备能够保持最佳相对位置关系，即对准待检测设备。
具体地，机械臂与待检设备最佳相对位姿关系为：
max[|nx(x-xr)+ny(y-yr)+nz(z-zr)|+|nx*nxr+ny*nyr+nz*nzr|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，x,y,z为待检设备空间坐标，而xr,yr,zr和nxr,nyr,nzr为机器人空间位姿向量，当机器人运行位姿使上式取得最大值时,即可得到机器人与待检测设备的最佳相对位姿。
机械臂末端的空间位姿为：
max[|nx*nxa+ny*nya+nz*nza|]
式中：nx,ny,nz为待检设备检测表面(如标记读数的表盘表面)法向量，nxa,nya,nza为机械臂空间姿态向量，若要得到机械臂与待检测设备的最佳数据采集姿态，控制机械臂使上式取得最大值即可。
在机械臂姿态调整过程中，利用待检测设备与机械臂末端的距离信息，自动计算巡检相机的配置焦距，保证待检测设备信息在图像中清晰可见。
同时，实时获取双目视觉相机采集的图像数据，基于深度学习方法对图像中的待检测设备进行识别，并对机械臂姿态进行微调，保证待检测设备区域始终在图像中央区域。
当机械臂姿态及机器人巡检相机焦距调整到位后完成设备图像的精细化采集。
所述嵌入式AI分析模块还包括设备状态识别模块，被配置为：
当机器人完成待检测设备的精细化抓图后，利用深度学习算法的前端化技术，依托所述嵌入式AI分析模块提供的前端计算能力，实现设备状态的前端实时化分析，及时发现待检测设备的运行缺陷，提升设备的运行安全。
在一个具体实施中，机器人工控机还被配置为执行以下步骤：
基于数字孪生方法构建变电站全景三维模型，实现基于虚拟现实技术的变电站沉浸式巡检作业。
在其他实施例中，机器人工控机还被配置为执行以下步骤：
利用深度学习算法对巡检视频中的每帧图像进行设备识别，当识别出待巡检设备时，利用双目立体算法获取待巡检设备的三维空间位置坐标；
在设备识别的过程中，对巡检所采集的待识别实物的少量图像中设备区域进行标定；将标定后的图像进行去背景处理，并对去背景后的待巡检设备图片进行变换，模拟从不同角度、不同距离拍摄该设备的情况；更新背景图片，获得待巡检设备在不同背景中的图像，从而生成海量已经标定的图片；
进行标定之前，对电力巡检所采集的待识别实物的少量图像进行预处理，增强图像的质量。
对去背景后的实物图片进行变换后，还包括：
对图像增加不同光照渲染，模拟不同光照条件下的情况，并获取不同光照条件下的图像数据。
在其他实施例中，机器人工控机还被配置为执行以下步骤：
控制机械臂调整位姿始终对准待巡检设备，使得机器人在数据采集时始终与待检设备保持最佳相对位姿关系；
当机器人到达待检设备的最佳观测位姿且进入巡检数据采集装置范围内，利用深度学习算法识别并获取设备在图像中的位置，结合机器人与待巡检设备的相对位姿关系，以实现机械臂末端携带采集装置的空间位姿控制；
对采集数据质量进行评估优化，从而实现对待检设备巡检数据的最优采集。
在采集数据质量评估优化的过程中，采用基于历史数据建立的巡检最优图像采集点随时间变化的关系模型，以实现不同季节和不同时间段内巡检点的自主最优选择。
在其他实施例中，对不同位置及不同光照条件下的巡检数据进行置信度评价，在机器人巡检过程中，选取置信度最高的检测数据作为待检测设备的巡检状态数据。
实施例四
本实施例提供了一种语义智能变电站机器人仿人巡视作业系统，包括：
控制中心；
至少一个机器人；所述机器人部署于变电站内各区域；
每个机器人包括机器人本体，机器人本体上设置有机械臂，机械臂末端搭载有巡检/作业工具；
所述控制中心上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的语义智能变电站机器人仿人巡视作业方法中的步骤。
实施例五
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的语义智能变电站机器人仿人巡视作业方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
