一种基于紫外、深度神经网络的综合火焰检测方法
技术领域
本发明涉及深度学习目标检测领域，尤其涉及一种基于紫外、深度神经网络的综合火焰检测方法。
背景技术
火，在社会发展的过程中一直扮演着重要的角色，但它却也是一把双刃剑。为了减少火灾对生命财产、社会经济的影响，将火灾控制在极小范围内，火灾检测技术显得极为重要。随着电子技术的发展，火灾检测装置也随之兴起，按照火灾探测的原理可以将火灾检测装置分为感烟式、感温式、感光式、图像式火灾探测器。
1、感温火灾探测器时根据环境温度变化而响应的传感器，它可以将环境中的温度信号转化为电信号。感烟式火灾探测器是根据环境空气中烟雾粒子而响应的火灾探测器，它是将探测部位烟雾浓度的变化转换为电信号的一种器件。
2、一般来说，感温式火灾探测器可靠性较感烟探测器高，且对环境要求低；但对初期火灾响应迟钝，不适宜在可能产生烟雾、粉尘的场所使用。感烟式火灾探测器能够在火灾初期及时探测到险情，但是只适用于发生火灾产生烟雾较大的场所或容易产生阴燃的场所，当在通风过快或者平时烟雾较大的环境中使用会有较大的局限性。并且传统的感温式和感烟式探测器都存在误报率高、响应时间长的特点。
3、感光式探测器一般分为紫外探测器和红外探测器，传统的感光性火焰探测器有单紫外，单红外，双红外和三红外探测器。紫外探测器响应快速，对人和高温物体不敏感，但有本底噪声存在，且易受雷电、电弧等影响，红外探测器易受高温物体、人、日光等影响，所以单紫外，单红外探测易发生误报现象。
4、图像式火灾探测器通过对相机拍摄的环境图片数据进行分析处理，判断当前环境是否存在火灾。图像处理技术对火灾检测有一些现有算法，但大多应用一些固定的场景，这使得火灾检测率的提高和误检率的降低很难同时满足。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于紫外、深度神经网络的综合火焰检测方法。
为了实现本发明的上述目的，本发明提供了一种基于紫外、深度神经网络的综合火焰检测系统，包括紫外探测器、相机、控制器和报警装置；
紫外探测器的数据输出端与控制器的第一数据输入端相连，控制器的触发端与相机的触发端相连，相机的数据输出端与控制器的第二数据输入端相连，控制器的报警输出端与报警装置的报警输入端相连；
控制器根据紫外探测器采集的数据，判断其是否符合触发条件，若符合则控制器触发相机采集数据，控制器根据相机采集的数据判断其环境状况，并通过报警装置报警。
本发明还公开了一种基于紫外、深度神经网络的综合火焰检测方法，包括如下步骤：
S1，在所需检测火焰的环境下，获取多种成像方式的图像数据，其中包括存在火焰的样本图像以及无火情的样本图像；
S2，基于Yolo_v4对火焰图像数据集进行处理并训练模型，构建用于识别火焰的深度神经网络模型；
S3，通过紫外传感器对监测环境下的火焰辐射中处于日盲区波段的紫外光谱进行实时检测，当环境中出现火焰时，控制器将触发相机对环境情况进行抓拍，获得当前环境图像数据；
S4，通过深度神经网络模型对图像数据中的火焰情况进行识别，对紫外探测器检测到可能出现的火灾进行进一步的确认，并输出火焰的面积以及火源位置，并通过前后帧火焰面积对比计算出火焰的蔓延速度；
在本发明的一种优选实施方式中，所述S2包括：
S2-1，对获取的火焰图像数据进行预处理，对有无火焰的图像进行分类，并标注出存在火焰图像中火源的位置，得到带有火源标记的火焰图像，再将图像数据集分为训练集和测试集两部分；
S2-2，对Yolo_v4的学习率、迭代次数等超参数进行预设，再将训练集输入神经网络进行分类训练；
S2-3，根据公式计算迭代训练后的Loss、Precision、Recall、F1、AP和mAp值，并设定Loss和mAp的阈值，当训练的最终结果满足阈值时，保留神经网络的权重文件；
S2-4，若训练结果不满足阈值条件，则使用增加数据集、重新设定超参数等方式再重新训练，直到训练结果满足阈值；
S2-5，将测试集输入S2-3中训练完成的神经网络模型，计算神经网络模型对测试集的检测精度，若满足设定值则表明训练成功，若不满足则改变参数重新迭代训练。
在本发明的一种优选实施方式中，所述S3包括：
S3-1，通过紫外探测器对环境下的火焰辐射中处于日盲区波段的紫外光谱进行检测，每隔30ms通过紫外传感器测取一次环境中的紫外光谱，并设置计数器记录环境异常检测次数；
S3-2，当检测到环境中的紫外信号未达到设定阈值时，环境正常，紫外探测器回传第一数据，清空计数器；
S3-3，当检测到环境中的紫外信号达到设定阈值时，开始计数，当计数次数达到设定值时，紫外探测器回传第二数据，并启动相机进行抓拍；
在本发明的一种优选实施方式中，所述S4包括：
S4-1，当紫外探测器触发相机抓拍到当前环境的火焰图像数据后，将图像送入特征提取网络，输出三种尺度的特征图；
S4-2，将特征图输入目标检测层，在三种尺度的特征图上检测火源位置；
S4-3，若检测到图像中确实存在火情，网络会输出火源的预测边界框，包括火焰预测边界框的左上角点在图像中的位置、边界框的长宽等信息。
S4-3，若检测到图像中确实存在火情，网络会输出火焰的预测边界框，包括火焰预测边界框的左上角点在图像中的位置、边界框的长宽等信息，当连续十张图像都检测到火焰信息时，确定发生火灾，向报警装置输出报警信息。
S4-4，通过神经网络输出的火焰预测边界框信息，可以计算出图像中火焰面积大小，再比较输入神经网络的上一帧图像中的火焰面积大小，计算得出火焰的蔓延速度。
其中Area是指图像中火焰面积总大小，N指的是图像中存在火源的个数，L、W指的是每一个火源的火焰预测边界框的长和宽，Rate指的是火焰的蔓延速度，指的是两帧图像输入的间隔时间，下标k指的是输入神经网络的当前帧图像，k-1指的是输入神经网络的上一帧图像。若蔓延速度Rate大于或者等于预设第一蔓延速度阈值，则报警装置发出三级报警信息，若蔓延速度Rate大于或者等于预设第二蔓延速度阈值，预设第二蔓延速度阈值大于预设第一蔓延速度阈值，则报警装置发出二级报警信息，若蔓延速度Rate大于或者等于预设第三蔓延速度阈值，预设第三蔓延速度阈值大于预设第二蔓延速度阈值，则报警装置发出一级报警信息，该一级报警信息为声光报警；二级报警信息为光亮报警；三级报警信息为声响报警。
Areak表示当前帧图像中火焰面积总大小；
Li表示图像中第i个火源的火焰预测边界框的长；
Wi表示图像中第i个火源的火焰预测边界框的宽；
Areak-1表示上一帧图像中火焰面积总大小；
time表示两帧图像采集的时间差；
综上所述，由于采用了上述技术方案，本发明紫外探测器具有响应快速，对人和高温物体不敏感等优点；Yolo_v4神经网络算法具有良好的检测精度和检测速度。本发明是使用紫外探测器与Yolo_v4神经网络算法相结合的方式设计的火灾探测系统，通过使用紫外探测器对环境中处于日盲区波段的波长在180～240nm之间的紫外光谱进行探测，并使用Yolo_v4神经网络模型对检测到可能出现的火灾进行进一步的确认，并获得火灾的面积，再通过前后帧火焰面积对比，计算出火灾的蔓延趋势。这种方法能够避免传统的温度、烟雾、光感传感器在一些复杂场景下产生的误检、漏检等情况。并且针对目前传统的火灾探测器无法对火情蔓延速度进行检测的情况，本发明在火灾检测的基础上增加了对火情蔓延趋势进行度量的功能，在一些本就存在火焰的场景中，还能够监测火焰情况是否失控，能够使消防人员掌握更详细的火情信息。
本发明使用紫外火灾探测器与Yolo_v4神经网络算法相结合的方式，对火灾进行探测，与传统的感烟、感温、感光火灾探测器相比，它具有更强的鲁棒性，降低了发生误检概率，也提升了检测速度。并且相比于传统的火灾探测器，本发明在检测的同时，能够实时对火灾的蔓延速度进行度量，能够给外界提供更多的火情信息。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明系统示意图。
图2是本发明方法流程图。
图3是本发明神经网络检测流程图。
图4是本发明测试使用的环境的图像。
图5是本发明神经网络识别火焰效果示意图。
图6是本发明神经网络识别火焰输出的火焰位置、面积和蔓延速度。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1所示，紫外探测器实时监测环境中的火焰紫外光谱信号，相机由紫外探测器触发抓拍图环境图像，将抓取到的图像信息将输入Yolo_4神经网络进行检测，当检测到有火灾发生时，发出警告。
如图2所示，本系统通过紫外探测器实时监测环境内的紫外光谱，当检测到存在火焰紫外光谱时，紫外探测器将触发相机对环境进行抓拍，并且将抓拍到的图像信息传入Yolo_v4神经网络，通过图像检测环境中是否存在火焰；若确实检测到火焰，那么神经网络将输出火焰的预测框，通过这个预测框我们可以得到火焰在图像中的位置和面积，然后再通过判断是否连续十帧图像都检测到火焰信息来判断火情是否发生；若的确存在火情，则通过最近两帧图像中检测到的火焰的面积和图像输入神经网络相隔的时间来计算出火焰的蔓延速度，最后将火焰的位置、面积、蔓延速度发送至报警装置。
Yolo_v4神经网络模型训练
1、数据集的制作
a)在需要监测火灾情况的环境中安置相机，并在环境中人工模拟各类火焰情况。
b)使用相机对环境进行大量抓拍，采集包括无火焰和存在火焰以及存在多个火源的环境图像数据，保证不同类图像的数量相当。
c)将图像分为无火焰和存在火焰两类，并使用标注工具对存在火焰的图像中的火焰位置、面积进行标注，再生成训练所需的包含图像名称、检测类别等文本文件。
d)将标注好的图像数据分为训练集和测试集，用于之后的神经网络模型训练以及性能测试。
2、训练网络模型并测试
a)对Yolo_v4神经网络训练的学习率、迭代次数等超参数进行预设，再将训练集输入神经网络进行分类训练；
b)根据公式计算迭代训练后的损失值Loss、精确率Precision、召回率Recall、F1、AP和mAp值，并设定Loss和mAp的阈值，当训练的最终结果满足阈值时，保留神经网络的权重文件；
其中T1指的是正确识别出火焰的图像个数；F1指的是错误识别火焰的图像个数；F2指的是未识别出的火焰图像个数，mAp表示对每一个类别都计算出AP然后再计算AP平均值。
c)若训练结果不满足阈值条件，则使用增加数据集、重新设定超参数等方式再重新训练，直到训练结果满足阈值；
d)将测试集输入训练完成的神经网络模型，计算神经网络模型对测试集的检测精度，若满足设定值则表明训练成功，若不满足则改变参数重新迭代训练；
系统主要流程：
1、环境监测
火焰中包含有人肉眼能见到的可见光辐射，以及人肉眼见不到的波长分布在105～380nm之间的紫外辐射，当物质燃烧的时候会发出比较强烈的紫外辐射，因此我们使用紫外光电管来检测环境中的紫外光谱信号，当环境中出现足量的紫外信号时，紫外光电管会产生电流，然后经过电容充放电、整形电路产生一个脉冲信号送入控制器，然后控制器开始对脉冲信号进行计数，每30ms读取一次脉冲信号，若连续计数超过十次则表明环境中确实存在火焰，然后将会触发相机抓拍环境图像信息传入Yolo_v4神经网络。
2、识别环境中的火焰
如图3所示，当一帧环境图像输入神经网络以后，图像首先进入Yolo_v4神经网络的特征提取层，然后输出三中尺度的特征图用于不同尺度的目标检测；然后再将三个特征图输入目标检测层，检测图像中是否存在火焰。
3、输出火源位置、计算火焰面积和蔓延速度
如图4～6所示，当检测到环境中确实存在火焰时，Yolo_v4神经网络会输出火焰的预测框，其中包括火焰左上角的位置信息，火焰预测框的长宽信息，以及火焰目标的检测置信度。
我们使用火焰预测框的面积来当作火焰的预测面积，再比较输入神经网络的上一帧图像中的火焰面积大小，计算得出火焰的蔓延速度。
其中Area是指图像中火焰面积总大小，N指的是图像中存在火源的个数，L、W指的是每一个火源的火焰预测边界框的长和宽，Rate指的是火焰的蔓延速率，指的是两帧图像输入的间隔时间，下标k指的是输入神经网络的当前帧图像，k-1指的是输入神经网络的上一帧图像。
若火焰的蔓延速率大于或者等于预设火焰的蔓延速率，则控制器向报警装置发出报警信号，警示工作人员注意。
4、判断火情准确性
若连续十帧输入神经网络的图像都检测到火焰，那么则判断确实发生火灾，装置会将目前环境中的火焰信息发送至报警装置，包括火焰的位置信息、火焰面积、蔓延速度等。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
