风电机组外观缺陷的检测方法、平台、无人机以及系统
技术领域
本发明涉及检测领域，尤其涉及一种风电机组外观缺陷的检测方法、平台、无人机以及系统。
背景技术
我国的风力发电效率与发达国家相比还有一定差距，主要是由风机故障频发而造成的停机。我国自本世纪初开始大力发展风电行业至今，首批风机已经接近寿命极限，甚至部分风机已经超出保质期，这边造成风机的故障层出不穷。其中，造成故障最为严重、检测难度最大、维护成本最高的部件损伤当属风机叶片，由于风力的不断作用，风机叶片也是最容易受损的部位，叶片容易出现裂纹，进而增加风机运行阻力，减少风机发电量，严重时会导致叶片断裂进而导致严重的安全事故。
发明内容
本发明的实施例提供了一种风电机组外观缺陷的检测方法、平台、无人机以及系统，能够提高检测的自动化水平。
一种风电机组外观缺陷的检测方法，包括：
步骤1，无人机根据风电机组的风机状态确定无人机的飞行航线；
步骤2，无人机沿着所述飞行航线进行自动巡检，拍摄所述风电机组的风机的视频流；
步骤3，根据当前网络连接状态，选择给平台实时推送所述视频流或飞行完成后给所述后台推送所述视频流。
所述的方法，还包括：
步骤4，所述后台接收到所述视频流后，对所述视频流进行分析，识别出所述视频流中包含有风电机组缺陷的第一视频帧信息；
步骤5，所述后台保存所述第一视频帧信息，所述第一视频帧信息包括：所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合；
步骤6，所述后台输出所述第一视频帧信息。
所述步骤1包括：
当风电机组的风机在静态状态下，飞行航线为：无人机贴合叶片以预定速度飞行；
当风电机组的风机在转动状态下，飞行航线为：在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上，以距离所述叶片轮毂中心预定安全距离的位置处为起点，向远处以预定速度飞行。
所述的方法，其还包括：
步骤7，当识别出所述视频流中包含有风电机组缺陷的第二视频帧信息时，与所述第一视频帧信息进行比较；当所述第二视频帧信息与所述第一视频帧信息的风电机组缺陷类型、风电机组缺陷目标均一致时，则不保存所述第二视频帧信息。
所述步骤4具体为：使用YOLOV3算法进行检测；该步骤具体包括：
收集所述风电机组的风机叶片的带有缺陷的巡检视频或图像，作为训练素材；
进行标注，将所述训练素材中的缺陷部位通过画框方式标注出来，生成模型训练需要的训练样本；
对标注后获得的训练样本发送给所述平台进行迭代训练，训练完成后，得到针对风电机组得风机叶片的缺陷的检测模型；
对所述检测模型进行测试和调优，选择精度符合模型发布要求的，将模型植入到YOL OV3算法模型中，进行检测。
所述步骤7具体为：使用DeepSort多目标追踪算法进行处理，具体包括：
基于YOLOV3的目标检测算法，识别出第二视频帧的缺陷目标，以此作为第一目标框；
将所述第一目标框从所述第二视频帧中抠出，进行特征提取；
使用卡尔曼滤波基于所述第一视频帧的第一目标框和速度进行预测，预测所述第二视频帧的第二目标框位置；
将所述第二视频帧的第一目标框位置和使用卡尔曼滤波预测的第二目标框位置进行相似度计算，确定是否为同一目标；
当判断为同一目标时，则不保存所述第二视频帧信息。
本发明还提供一种无人机，包括：
确定模块，用于根据风电机组的风机状态确定无人机的飞行航线；
拍摄模块，用于沿着所述飞行航线进行自动巡检，拍摄所述风电机组的风机的视频流；
选择单元，用于根据当前网络连接状态，选择给平台实时推送所述视频流或飞行完成后给所述后台推送所述视频流。
输出单元，输出所述第一视频帧信息。
所述确定模块具体为：
当风电机组的风机在静态状态下，飞行航线为：无人机贴合叶片以预定速度飞行；
当风电机组的风机在转动状态下，飞行航线为：在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上，以距离所述叶片轮毂中心预定安全距离的位置处为起点，向远处以预定速度飞行。
本发明还提供一个风电机组外观缺陷的检测平台，包括：
接收单元，用于接收到所述视频流后，对所述视频流进行分析，识别出所述视频流中包含有风电机组缺陷的第一视频帧信息；
保存单元，用于保存所述第一视频帧信息，所述第一视频帧信息包括：所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合。
输出单元，用于输出所述第一视频帧信息。
本发明还提供一种风电机组外观缺陷的检测系统，无人机和检测平台；
所述无人机用于，根据风电机组的风机状态确定无人机的飞行航线；沿着所述飞行航线进行自动巡检，拍摄所述风电机组的风机的视频流；根据当前网络连接状态，选择给平台实时推送所述视频流或飞行完成后给所述后台推送所述视频流；
所述检测平台用于，接收到所述视频流后，对所述视频流进行分析，识别出所述视频流中包含有风电机组缺陷的第一视频帧信息；保存所述第一视频帧信息，所述第一视频帧信息包括：所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合；输出所述第一视频帧信息。
本发明不需要飞手进行实际作业，整个工作流程交由系统自动检测，既能满足在风机停机状态下的飞行，也能满足在风机低速运行状态下的飞行，提高了自动化水平。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例中，
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的风电机组外观缺陷的检测方法的流程示意图；
图2为本发明应用场景中的风电机组外观缺陷的检测方法的流程示意图；
图3为本发明应用场景中的模型训练流程示意图；
图4为本发明应用场景中YOLOV3算法的示意图；
图5为本发明应用场景中平台进行风电机组外观缺陷的检测方法的具体流程示意图；
图6为本发明应用场景中风电机组的风机在静态状态下的飞行航线示意图；
图7为本发明应用场景中风电机组的风机在在转动状态下的飞行航线示意图；
图8为本发明所述的无人机的连接示意图；
图9为本发明所述的检测平台的连接示意图；
图10为本发明所述的检测系统的连接示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
如图1所示，为本发明所述的一种风电机组外观缺陷的检测方法，包括：
步骤11，无人机根据风电机组的风机状态确定无人机的飞行航线；
所述步骤11包括：
当风电机组的风机在静态状态下，如图6所示，飞行航线为：无人机贴合叶片以预定速度飞行；预定速度可以根据实际情况设定。
当风电机组的风机在转动状态下，如图7所示，飞行航线为：在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上，以距离所述叶片轮毂中心预定安全距离的位置处为起点，向远处以预定速度飞行。预定速度可以根据实际情况设定。
步骤12，无人机沿着所述飞行航线进行自动巡检，拍摄所述风电机组的风机的视频流；
步骤13，根据当前网络连接状态，选择给平台实时推送所述视频流或飞行完成后给所述后台推送所述视频流。
所述的方法，还包括：
步骤14，所述后台接收到所述视频流后，对所述视频流进行分析，识别出所述视频流中包含有风电机组缺陷的第一视频帧信息；
所述步骤14具体为：使用YOLOV3算法进行检测；该步骤具体包括：
收集所述风电机组的风机叶片的带有缺陷的巡检视频或图像，作为训练素材；
进行标注，将所述训练素材中的缺陷部位通过画框方式标注出来，生成模型训练需要的训练样本；
对标注后获得的训练样本发送给所述平台进行迭代训练，训练完成后，得到针对风电机组得风机叶片的缺陷的检测模型；
对所述检测模型进行测试和调优，选择精度符合模型发布要求的，将模型植入到YOL OV3算法模型中，进行检测。
步骤15，所述后台保存所述第一视频帧信息，所述第一视频帧信息包括：所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合；
步骤16，所述后台输出所述第一视频帧信息。
所述的方法，还包括：
步骤17，当识别出所述视频流中包含有风电机组缺陷的第二视频帧信息时，与所述第一视频帧信息进行比较；当所述第二视频帧信息与所述第一视频帧信息的风电机组缺陷类型、风电机组缺陷目标均一致时，则不保存所述第二视频帧信息。否则，进行保存。
所述步骤17具体为：使用DeepSort多目标追踪算法进行处理，具体包括：
基于YOLOV3的目标检测算法，识别出第二视频帧的缺陷目标，以此作为第一目标框；
将所述第一目标框从所述第二视频帧中抠出，进行特征提取；
使用卡尔曼滤波基于所述第一视频帧的第一目标框和速度进行预测，预测所述第二视频帧的第二目标框位置；
将所述第二视频帧的第一目标框位置和使用卡尔曼滤波预测的第二目标框位置进行相似度计算，确定是否为同一目标；
当判断为同一目标时，则不保存所述第二视频帧信息。
以下描述本发明的应用场景。
传统的风力发电机组外观检查，主要是通过班组人员利用望远镜等设备进行肉眼检测，或者当风机停机进行作业时，来检查叶片外观是否出现问题，这样的方法作业效率低，且高空作业存在安全隐患。
目前无人机对风机进行巡检时，需要将风机叶片摆正到特定位置，一般为倒Y字形，但是这样的作业模式需要风机停机刹车，且需要作业人员登塔锁住叶轮锁防止叶片转动，这种模式不但会影响正常的发电工作，而且登塔作业和无人机飞行作业需要专业人员辅助，也会降低巡检的效率。
图2为本发明应用场景中的风电机组外观缺陷的检测方法的流程示意图；本发明通过无人机自主巡检方式解决对叶片外观的巡查，不需要无人机操作员具备专业技能，解放一线工作劳动力，提高巡检的效率和安全性，从而尽早发现叶片问题，协助后期对叶片进行消缺工作。
图3为本发明应用场景中的模型训练流程示意图；基于深度学习的检测，主要需要经历三个过程，首先是收集样本，第二步是针对算法模型训练得到模型，第三步利用训练得到的模型进行检测。
本发明中无人机自主飞行对叶片进行拍照，通过无人机的巡视方式对叶片进行视频巡检，按照网络情况可以进行实时视频推流方式进行识别，也可以选择当此飞行任务结束后，将视频导入到系统进行识别，最后形成检测报告，完成一次检测任务。其步骤如下：
首先，根据风机状态选择无人机巡检作业模式，可以分成两种，一种是风机静止状态下(这里需要注意，在风机静止状态下，最好是远程将风机刹车开启，但不需要到风机内部锁叶轮锁)，一种是风机缓慢转动情况下。根据风机状态选择不同的航线规划模式。
在静态模式下，风机采用贴合叶片进行飞行的模式，图6为本发明应用场景中风电机组的风机在静态状态下的飞行航线示意图；图7为本发明应用场景中风电机组的风机在在转动状态下的飞行航线示意图。
然后，根据实际环境的网络情况，可以选择实时视频推流的方式或者是飞行完成后对存储的视频进行处理，两种模式都可以完成对视频进行处理，视频推流模式下时效性更高，可以一边飞行及时发现问题。
然后，启动智能识别，客户端对接收到的视频进行实时处理，识别是采用YOLOV3算法训练的模型进行检测(该算法融合精度和速度，可以实现对视频流的实时识别，并且精度不会由于识别速度而降低，具体算法介绍如方法所述)，图4为本发明应用场景中基于YOLOV3的检测方法的示意图，识别过程主要是针对叶片上的裂纹、塔筒的油污、胶漆脱落。
由于是基于视频流的处理模式和视频前后帧之间的变化差异不大，所以在识别过程中，如果发现缺陷，则对其进行追踪，采用DeepSort的多目标检测算法，将当前帧的目标与下一帧检测出来的目标进行相似度对比，确定是否为同一个目标，以防同一个缺陷多次进行存储，造成过多缺陷冗余，影响后期审核。
然后，对发现的缺陷进行保存，首先对发现缺陷帧进行存储，并将缺陷目标和缺陷类型在图像上进行绘制，同时保存原图，并将缺陷信息记录到数据库中。
然后，存储记录缺陷；
然后，完成一次飞行任务和识别任务后，对识别出的缺陷进行人工审核，查缺补漏；
然后，完成所有审核后，生成word版本缺陷报告，并将报告导出。
如图5所示，为平台进行风电机组外观缺陷的检测方法的具体流程示意图，包括：
首先，导入视频；从视频中抽取一帧图片；导入图片检测算法进行检测；采用VLOLV3进行图片检测；识别出图片缺陷时，将缺陷导入Deepsort算法，判断是否为新缺陷；如果为是，则记录缺陷目标；如果为否，则判断视频是否检测完毕，如果检测完毕，则结束重新，否则，继续抽取下一帧图片。
如图8所示，本发明还提供一种无人机，包括：
确定模块，用于根据风电机组的风机状态确定无人机的飞行航线；
拍摄模块，用于沿着所述飞行航线进行自动巡检，拍摄所述风电机组的风机的视频流；
选择单元，用于根据当前网络连接状态，选择给平台实时推送所述视频流或飞行完成后给所述后台推送所述视频流。
输出单元，输出所述第一视频帧信息。
所述确定模块具体为：
当风电机组的风机在静态状态下，飞行航线为：无人机贴合叶片以预定速度飞行；
当风电机组的风机在转动状态下，飞行航线为：在垂直于叶片所在平面并穿过叶片轮毂中心的轴线上，以距离所述叶片轮毂中心预定安全距离的位置处为起点，向远处以预定速度飞行。
如图9所示，本发明还提供一个风电机组外观缺陷的检测平台，包括：
接收单元，用于接收到所述视频流后，对所述视频流进行分析，识别出所述视频流中包含有风电机组缺陷的第一视频帧信息；
保存单元，用于保存所述第一视频帧信息，所述第一视频帧信息包括：所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合。
输出单元，用于输出所述第一视频帧信息。
如图10所示，本发明还提供一种风电机组外观缺陷的检测系统，无人机和检测平台；
所述无人机用于，根据风电机组的风机状态确定无人机的飞行航线；沿着所述飞行航线进行自动巡检，拍摄所述风电机组的风机的视频流；根据当前网络连接状态，选择给平台实时推送所述视频流或飞行完成后给所述后台推送所述视频流；
所述检测平台用于，接收到所述视频流后，对所述视频流进行分析，识别出所述视频流中包含有风电机组缺陷的第一视频帧信息；保存所述第一视频帧信息，所述第一视频帧信息包括：所述视频帧的标识、风电机组缺陷类型、缺陷目标中的一个或者多个的任意组合；输出所述第一视频帧信息。
本发明具有以下有益效果：
1、对风力发电机组缺陷采用识别加追踪的视频模式智能识别，本发明主要是采用视频的方式对风电机组缺陷进行智能识别，同时为了防止缺陷过多冗余，在识别的过程中加入多目标追踪方式，通过追踪方式，实现只有当新目标出现时才进行缺陷存储。
2、本发明通过无人机航线自动规划，实现无人机对风机叶片的自主巡检，按照不同的风机状态选择不同的航线规划方式。
3、不需要飞手进行实际作业，整个工作流程交由智能识别系统，既能满足在风机停机状态下的飞行，也能满足在风机低速运行状态下的飞行。
4、智能识别系统通过基于深度学习的智能识别算法，对无人机飞行视频进行实时分析检测，不需要人工盯着屏幕进行缺陷查找，一线人员仅需要在完成飞行后，对识别出的缺陷进行审核。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
