基于边缘计算的森林防火预警系统
技术领域：
本发明属于图像处理、图像分类、深度学习领域，特别涉及基于边缘计算的森林防火预警系统。
背景技术：
森林一般处于偏远山区，稳定的通信和电力供应较为困难，森林航空巡护技术和卫星遥感技术受航线和时间制约，监测观察的范围相对较小，且成本较高，在交通不便、人烟稀少的偏远山区，无法进行地面巡护，对于火焰监测，较多人使用红外摄像头进行高热点的着火点进行探测，但对于森林山火而言，着火点一般距离监控点较远，而山火一般伴随的是浓烟，由于茂密树木的遮挡，无法对着火点的热源进行及时探测。
发明内容：
本发明的目的就在于为了解决上述问题而提供基于边缘计算的森林防火预警系统。
为了解决上述问题，本发明提供了一种技术方案：
基于边缘计算的森林防火预警系统，包括图像数据采集系统、传统图像处理系统、深度学习网络、边缘设备、以及云端服务器，所述图像数据采集通过若干网络摄像头组成，所述边缘设备由图像处理木块以及无线通信模块构成，所述传统图像处理系统通过颜色过滤模块以及运动检测模块组成，所述深度学习分类网络内设特征提取系统以及二分类系统，包括以下步骤：
步骤一：将监控识别设备架设在山区及森林的输电塔及通信塔上，通过摄像头获得实时图像，使用边缘计算设备利用计算机视觉的方法，实时监控山区或森林的火情，一旦发生火情，利用边缘设备的4G或5G模块，将实时的图像上传至云端服务器，再由火险监控中心的管理人员确认是否发生火情，并及时处置。
步骤二：搭建实时山火监测系统的数据采集模块。由三路摄像头为一组实现全方位无死角的实时图像的采集，每一路摄像头分管120度的监测区域，将每一路摄像头挂接在交换机中，边缘设备通过交换机直接读取摄像头的RTSP流图像信息；
步骤三：对于每一路输入的图像，采取传统图像目标检测方法与深度学习的分类网络相结合的思想，进行级联检测火焰与烟雾；
步骤四：对于传统的目标检测方法，主要应用图像运动信息与颜色过滤的方式，滤除不是火焰或烟雾的部分，留下可疑区域，将所有可疑图像区域进行融合；
步骤五：基于传统图像方法的烟雾、火焰检测，将可疑图像区域送入基于深度学习的分类网络，进一步判定该场景下是否有烟雾或者山火，如果判定有山火，则将图像通过边缘设备的4G或5G模块输送给云服务器，进而山火监测中心的工作人员可得到及时的信息并做出快速响应。
作为优选，将边缘设备挂接在森林、山区的输电塔及通信塔上，同时架设三路摄像头为一组的监控系统。
作为优选，所述步骤五中所采取的烟雾、山火识别算法为传统图像算法与深度学习的分类网络结合的级联监测器。
作为优选，传统算法主要使用颜色过滤与运动检测相结合，对山火与烟雾进行粗过滤，所述粗过滤的检测框采用深度学习中的Resnet50网络来提取粗过滤后的图像特征，基于卷积神经网络的特征输出结果，再进行二分类。
作为优选，所述步骤五中传统图像算法与深度学习算法结合的烟雾、山火识别算法包括以下流程：
步骤101：获取监控视频图像；
步骤102：首先基于传统图像方法的烟雾、火焰检测，得到可疑的烟火图像候选区域；
步骤103：将可疑图像区域送入基于深度学习的分类网络，进一步判定该场景下是否有烟雾或者山火。
步骤104：如果判定有山火，则将图像通过边缘设备的4G或5G模块输送给云服务器。
作为优选，所述步骤五中基于传统图像处理算法对非烟、非火的干扰图像信号进行过滤，进而得到可疑的烟火图像候选区域，包括以下算法步骤：
步骤201：对原始输入图像进行白平衡处理，
步骤202：利用HSV特性先将图像转换到HSV空间进行颜色过滤，滤出疑似烟雾区域；
步骤203：进行开操作去除噪点和闭操作连通一些区域，结果记为A；
步骤205：对原始输入图像灰度化，再二值化，结果记为B；
步骤206：将A和B进行与操作，得到最终的疑似烟雾区域C；
步骤207：对C提取最外层轮廓，得到m个轮廓，求得这m个轮廓的最小外接矩形，面积小于10000的过滤掉不做处理，对剩下的n个矩形区域进行矩形处理后输入到神经网络中判断是否为有烟雾；
步骤208：矩形处理：神经网络输入为224x224，若矩形尺寸小于224则由左上为基准扩大到224x224，若大于224x224，从左上到右下依次截取224x224的区域，若超出图片范围，则以右下为基准，截取224x224的区域。
作为优选，所述深度学习分类网络训练输入为由GAN网络生成的大量的森林烟雾图像，特征提取网络ResNet50，采用交叉熵损失作为损失函数进行权值更新，测试过程包括以下步骤：
步骤301：获取大量烟雾图像及真实的山区森林图像，使用GAN网络进行数据增强，生成大量训练图像；
步骤302：对生成的训练集图像进行预处理；
步骤303：对处理后的训练图像进行标注；
步骤304：将标注好的图片数据输入到以ResNet50作为backbone的网络中提取图像深度特征信息；
步骤305：将所提取的深度特征依次接入两个全连接层，得到最后的二分类结果输出；
步骤306：以交叉熵损失作为损失函数，使用随机梯度下降算法对该网络权值进行更新迭代，设置适当的超参数，初始学习率设置为0.001，将学习率设置为自动迭代衰减，逐步减小学习率，最终使得网络得到稳定收敛。
本发明的有益效果：
本发明所述基于边缘计算的森林防火监控预警系统，注重采取边缘计算的方式，缓解了山区森林防火监测中网络通信高延迟所带来的技术困难，通过本发明方法，实现了对森林防火的实时监测，在这一个物联网的时代，充分利用边缘计算的优势，实现边缘侧的有效性，只将最有价值的边缘侧信息传回服务器，相对其他方法，大大降低了计算成本和能源损耗，同时也充分利用了人工智能给人类带来的便利，降低了人工资源的消耗。
附图说明：
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1为本发明的图像数据采集系统示意图；
图2为本发明的传统图像处理系统示意图；
图3为本发明的烟火区域候选系统示意图；
图4为本发明的深度学习运算系统示意图。
具体实施方式：
如图1-图4所示，本具体实施方式采用以下技术方案：基于边缘计算的森林防火预警系统，包括图像数据采集系统、传统图像处理系统、深度学习网络、边缘设备、以及云端服务器，所述图像数据采集通过若干网络摄像头组成，所述边缘设备由图像处理木块以及无线通信模块构成，所述传统图像处理系统通过颜色过滤模块以及运动检测模块组成，所述深度学习分类网络内设特征提取系统以及二分类系统，包括以下步骤：
步骤一：将监控识别设备架设在山区及森林的输电塔及通信塔上，通过摄像头获得实时图像，使用边缘计算设备利用计算机视觉的方法，实时监控山区或森林的火情，一旦发生火情，利用边缘设备的4G或5G模块，将实时的图像上传至云端服务器，再由火险监控中心的管理人员确认是否发生火情，并及时处置。
步骤二：搭建实时山火监测系统的数据采集模块。由三路摄像头为一组实现全方位无死角的实时图像的采集，每一路摄像头分管120度的监测区域，将每一路摄像头挂接在交换机中，边缘设备通过交换机直接读取摄像头的RTSP流图像信息；
步骤三：对于每一路输入的图像，采取传统图像目标检测方法与深度学习的分类网络相结合的思想，进行级联检测火焰与烟雾；
步骤四：对于传统的目标检测方法，主要应用图像运动信息与颜色过滤的方式，滤除不是火焰或烟雾的部分，留下可疑区域，将所有可疑图像区域进行融合；
步骤五：基于传统图像方法的烟雾、火焰检测，将可疑图像区域送入基于深度学习的分类网络，进一步判定该场景下是否有烟雾或者山火，如果判定有山火，则将图像通过边缘设备的4G或5G模块输送给云服务器，进而山火监测中心的工作人员可得到及时的信息并做出快速响应。
其中，将边缘设备挂接在森林、山区的输电塔及通信塔上，同时架设三路摄像头为一组的监控系统，通过边缘设备对自然场景的烟雾、山火的实时监测，方便将一切险情实时上传云服务器。
其中所述步骤五中所采取的烟雾、山火识别算法为传统图像算法与深度学习的分类网络结合的级联监测器，便于对三路摄像头的图像信号进行实时分析。
其中，传统算法主要使用颜色过滤与运动检测相结合，对山火与烟雾进行粗过滤，所述粗过滤的检测框采用深度学习中的Resnet50网络来提取粗过滤后的图像特征，基于卷积神经网络的特征输出结果，再进行二分类，进而判定是否发生了火情，该方法运用了级联思想，充分利用传统算法与深度学习算法的优势，最后实现三摄像头联合的全方位山火实时监测。
其中，所述步骤五中传统图像算法与深度学习算法结合的烟雾、山火识别算法包括以下流程：
步骤101：获取监控视频图像；
步骤102：首先基于传统图像方法的烟雾、火焰检测，得到可疑的烟火图像候选区域；
步骤103：将可疑图像区域送入基于深度学习的分类网络，进一步判定该场景下是否有烟雾或者山火。
步骤104：如果判定有山火，则将图像通过边缘设备的4G或5G模块输送给云服务器。
其中，所述步骤五中基于传统图像处理算法对非烟、非火的干扰图像信号进行过滤，进而得到可疑的烟火图像候选区域，包括以下算法步骤：
步骤201：对原始输入图像进行白平衡处理，
步骤202：利用HSV特性先将图像转换到HSV空间进行颜色过滤，滤出疑似烟雾区域；
步骤203：进行开操作去除噪点和闭操作连通一些区域，结果记为A；
步骤205：对原始输入图像灰度化，再二值化，结果记为B；
步骤206：将A和B进行与操作，得到最终的疑似烟雾区域C；
步骤207：对C提取最外层轮廓，得到m个轮廓，求得这m个轮廓的最小外接矩形，面积小于10000的过滤掉不做处理，对剩下的n个矩形区域进行矩形处理后输入到神经网络中判断是否为有烟雾；
步骤208：矩形处理：神经网络输入为224x224，若矩形尺寸小于224则由左上为基准扩大到224x224，若大于224x224，从左上到右下依次截取224x224的区域，若超出图片范围，则以右下为基准，截取224x224的区域。
其中，所述深度学习分类网络训练输入为由GAN网络生成的大量的森林烟雾图像，特征提取网络ResNet50，采用交叉熵损失作为损失函数进行权值更新，测试过程包括以下步骤：
步骤301：获取大量烟雾图像及真实的山区森林图像，使用GAN网络进行数据增强，生成大量训练图像；
步骤302：对生成的训练集图像进行预处理；
步骤303：对处理后的训练图像进行标注；
步骤304：将标注好的图片数据输入到以ResNet50作为backbone的网络中提取图像深度特征信息；
步骤305：将所提取的深度特征依次接入两个全连接层，得到最后的二分类结果输出；
步骤306：以交叉熵损失作为损失函数，使用随机梯度下降算法对该网络权值进行更新迭代，设置适当的超参数，初始学习率设置为0.001，将学习率设置为自动迭代衰减，逐步减小学习率，最终使得网络得到稳定收敛。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
