疲劳驾驶监测系统及方法
技术领域
本发明实施例涉及安全预警系统技术领域，尤其涉及一种疲劳驾驶监测系统及方法。
背景技术
在机动车的行驶过程中通常需要对驾驶人员的驾驶状态进行检测以保证机动车的行驶安全，现有的疲劳驾驶检测一般分为接触式与非接触式两种。接触式检测为在驾驶员身上贴合心率、呼吸、脑电波检测片，通过检测参数分析驾驶员生理状态，从而判断其疲劳状态，但由于接触式检测会对驾驶员的行驶造成影响，大多采用非接触式。非接触式一般通过摄像头采集驾驶员头部的图像，对驾驶员脸部的嘴巴、眼睛进行检测，从而判断驾驶员是否属于疲劳状态，但是在对采集的驾驶员头部图像处理时，容易受到光照条件的影响，使得驾驶员脸部图像产生模糊，对脸部重要检测区域的识别造成影响，从而降低检测的准确性，并且在处理图像过程中由于图像数据过大，而导致系统处理效率不高，影响检测的实时性，容易产生安全隐患。
发明内容
本发明实施例所要解决的技术问题在于，提供一种疲劳驾驶监测系统，有效提升检测效率与准确性。
本发明实施例进一步所要解决的技术问题在于，提供一种疲劳驾驶监测方法，有效提升检测效率与准确性。
本发明的一个可选实施例提供一种疲劳驾驶监测系统，所述系统包括：
图像采集模块，用于在车辆行驶过程中采集驾驶员头部区域的实时图像；
神经网络模块，与所述图像采集模块相连，用于通过预设的深度学习卷积神经网络对所述实时图像进行图像特征的提取及分类处理，获得实时特征图像，并将所述实时特征图像与预先通过所述深度学习卷积神经网络训练学习获得的正常特征图像进行对比识别，在对比结果符合预设的疲劳驾驶认定标准时发出报警指令；以及
警报模块，与所述神经网络模块相连，用于在接收到所述报警指令时开启警报。
进一步的，所述神经网络模块包括：
特征提取单元，用于对所述实时图像进行特征提取，得到特征平面图；
采样单元，与所述特征提取单元相连，用于对所述特征平面图进行区域采样以压缩特征平面图的大小，并得到特征采样图；
特征区分单元，与所述采样单元相连，用于对特征采样图中的特征区域进行特征分类，将所述特征采样图中的一般特征区域与深层次的重要特征区域进行区分；以及
特征图获取单元，与所述特征区分单元及采样单元相连，用于对一般特征区域与重要特征区域进行进一步的采样压缩以获得与神经网络的神经元对应的特征图。
进一步的，所述神经网络模块还包括：
特征图整理单元，与所述特征图获取单元相连，用于对所述特征图进行整理排列；
特征输出单元，与所述特征图整理单元相连，用于将排列的特征图进行组合输出为对应的实时特征图像；以及
对比识别单元，与所述特征输出单元相连，用于将实时特征图像与正常特征图像进行识别与对比，在对比结果符合预设的疲劳驾驶认定标准时产生并发出报警指令。
进一步的，所述实时特征图像与所述正常特征图像均包括人脸图像、眼部关键点图像及嘴部关键点图像。
进一步的，所述疲劳驾驶认定标准至少包括：连续闭眼时长、闭眼频率、哈欠频率和注意力方向。
另一方面，为进一步解决上述技术问题，本发明实施提供一种疲劳驾驶监测方法，所述方法包括以下步骤：
在车辆行驶时采集驾驶员头部区域的实时图像；
通过预设的深度学习卷积神经网络对所述实时图像进行图像特征的提取及分类处理，获得实时特征图像，并将所述实时特征图像与预先通过所述深度学习卷积神经网络训练学习获得的正常特征图像进行对比识别，在对比结果符合预设的疲劳驾驶认定标准时发出报警指令；以及
根据所述报警指令开启警报。
进一步的，所述通过预设的深度学习卷积神经网络对所述实时图像进行图像特征的提取及分类处理包括：
对所述实时图像进行特征提取，得到特征平面图；
对所述特征平面图进行区域采样以压缩特征平面图的大小，并得到特征采样图；
对特征采样图中的特征区域进行特征分类，将所述特征采样图中的一般特征区域与深层次的重要特征区域进行区分；以及
对一般特征区域与重要特征区域进行进一步的采样压缩以获得与神经网络的神经元对应的特征图。
进一步的，所述获得实时特征图像，将所述实时特征图像与预先通过所述深度学习卷积神经网络训练学习获得的正常特征图像进行对比识别，在对比结果符合预设的疲劳驾驶认定标准时发出报警指令包括：
对所述特征图进行整理排列；
将排列的特征图进行组合输出为对应的实时特征图像；以及
将实时特征图像与正常特征图像进行识别与对比，在对比结果符合预设的疲劳驾驶认定标准时产生并发出报警指令。
进一步的，所述实时特征图像与所述正常特征图像均包括人脸图像、眼部关键点图像及嘴部关键点图像。
进一步的，所述疲劳驾驶认定标准至少包括：连续闭眼时长、闭眼频率、哈欠频率和注意力方向。
采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例通过采用深度学习卷积神经网络来对采集的实时图像进行处理，将图像经过卷积核进行特征提取与采样处理，能够使得神经网络计算更简便并有效减少图像的数据大小，提高系统运行速度，同时将图像转化为神经网络能够处理的特征图数据，再通过特征图数据组成的实时特征图像与经过深度学习卷积神经网络训练学习获得的正常特征图像进行对比，根据对比结果与预设疲劳驾驶认定标准来判断驾驶员是否处于疲劳驾驶状态中，能够方便且准确地判断驾驶员的驾驶状态，对处于疲劳驾驶状态中的驾驶员进行警报提醒。
附图说明
图1是本发明疲劳驾驶监测系统的一个可选实施例的原理方框图。
图2是本发明疲劳驾驶监测系统一个可选实施例神经网络模块的原理方框图。
图3是本发明疲劳驾驶监测系统一个可选实施例的图像处理过程示意图。
图4是本发明疲劳驾驶监测方法一个可选实施例的步骤流程图。
图5是本发明疲劳驾驶监测方法一个可选实施例的步骤S2的流程示意图。
具体实施方式
下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本发明，并不作为对本发明的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
如图1所示，本发明实施例提供一种疲劳驾驶监测系统，包括：
图像采集模块1，用于在车辆行驶过程中采集驾驶员头部区域的实时图像；
神经网络模块3，与所述图像采集模块1相连，用于通过预设的深度学习卷积神经网络对所述实时图像进行图像特征的提取及分类处理，获得实时特征图像，并将所述实时特征图像与预先通过所述深度学习卷积神经网络训练学习获得的正常特征图像进行对比识别，在对比结果符合预设的疲劳驾驶认定标准时发出报警指令；以及
警报模块5，与所述神经网络模块3相连，用于在接收到所述报警指令时开启警报。
本发明实施例通过采用深度学习卷积神经网络来对采集的实时图像进行处理，将图像经过卷积核进行特征提取与采样处理，能够使得神经网络计算更简便并有效减少图像的数据大小，提高系统运行速度，同时将图像转化为神经网络能够处理的特征图数据，再通过特征图数据组成的实时特征图像与经过深度学习卷积神经网络训练学习获得的正常特征图像进行对比，根据对比结果与预设疲劳驾驶认定标准来判断驾驶员是否处于疲劳驾驶状态中，能够方便且准确地判断驾驶员的驾驶状态，对处于疲劳驾驶状态中的驾驶员进行警报提醒。
在本发明的一个可选实施例中，如图2-图3所示，所述神经网络模块3包括：
特征提取单元30，用于对所述实时图像进行特征提取，得到特征平面图；
采样单元31，与所述特征提取单元30相连，用于对所述特征平面图进行区域采样以压缩特征平面图的大小，并得到特征采样图；
特征区分单元32，与所述采样单元31相连，用于对特征采样图中的特征区域进行特征分类，将所述特征采样图中的一般特征区域与深层次的重要特征区域进行区分；以及
特征图获取单元33，与所述特征区分单元32及采样单元31相连，用于对一般特征区域与重要特征区域进行进一步的采样压缩以获得与神经网络的神经元对应的特征图。
本实施例通过设置特征提取单元30进行特征提取，在实际中，由卷积神经网络中的卷积层对图像像素的卷积操作来实现，能够将图像分割成若干张具有明显特征的平面图，通过采样单元31对特征平面图进行采样来压缩图片的大小，将特征平面图中相连特征区域的特征以一个采样图来进行表示，在保持图像特征性的同时有效减小图像的大小，使得系统处理更方便快速，通过特征区分单元32对特征采样图中的一般特征区域与重要特征区域进行分类区分，在进行判断参考时的一般特征区域与重要特征区域权重不同，使判断结果更准确，最后通过特征图获取单元33获取与神经元对应的特征图，在实际中，特征图表示为一维的数据，且与神经元一一对应，使得神经网络能够很好的处理这些特征图数据，提高系统处理速度。
在本发明的一个可选实施例中，所述神经网络模块3还包括：
特征图整理单元34，与所述特征图获取单元相连，用于对所述特征图进行整理排列；
特征输出单元35，与所述特征图整理单元相连，用于将排列的特征图进行组合输出为对应的实时特征图像；以及
对比识别单元36，与所述特征输出单元相连，用于将实时特征图像与正常特征图像进行识别与对比，在对比结果符合预设的疲劳驾驶认定标准时产生并发出报警指令。
本实施例通过设置特征图整理单元34，能够将特征图进行有序排列，方便系统处理，通过特征输出单元35将特征图进行组合并输出为对应的特征图像，方便系统进行整体对比，最后由对比识别单元36将对比结果与预设疲劳驾驶认定标准进行对照，从而有效精确的识别出驾驶员所处的驾驶状态。
在本发明的一个可选实施例中，所述实时特征图像与所述正常特征图像均包括人脸图像、眼部关键点图像及嘴部关键点图像。本实施例通过设置特征图像包括人脸图像，使得该系统能够针对不同的驾驶员进行检测，同时眼部关键点图像与嘴部关键点图像的检测能够判断驾驶员是否存在打哈欠、闭眼或注意力集中方向有偏差等现象，是驾驶员驾驶状态的判断更准确。
在本发明的一个可选实施例中，所述疲劳驾驶认定标准至少包括：连续闭眼时长、闭眼频率、哈欠频率和注意力方向。本实施例通过检测驾驶员驾驶过程中的连续闭眼时长、闭眼频率、哈欠频率和注意力方向，在系统中可以根据具体情况进行对应调整，使得系统整体更灵活，同时能够有效进行疲劳驾驶警报提醒。
另一方面，如图4所示，本发明实施提供一种疲劳驾驶监测方法，所述方法包括以下步骤：
S1：在车辆行驶时采集驾驶员头部区域的实时图像；
S2：通过预设的深度学习卷积神经网络对所述实时图像进行图像特征的提取及分类处理，获得实时特征图像，并将所述实时特征图像与预先通过所述深度学习卷积神经网络训练学习获得的正常特征图像进行对比识别，在对比结果符合预设的疲劳驾驶认定标准时发出报警指令；以及
S3：根据所述报警指令开启警报。
本实施例通过采用上述方法，能够对驾驶员的实时驾驶情况进行检测，通过深度学习卷积神经网络对采集的图像进行处理，将大像素的图像转化为神经网络中易于处理的特征图像，并通过特征图像中的具体特征信息进行准确判断，有效提高疲劳驾驶检测的效率与准确性。
在本发明的一个可选实施例中，如图5所示，所述步骤S2包括以下步骤：
S21：对所述实时图像进行特征提取，得到特征平面图；
S22：对所述特征平面图进行区域采样以压缩特征平面图的大小，并得到特征采样图；
S23：对特征采样图中的特征区域进行特征分类，将所述特征采样图中的一般特征区域与深层次的重要特征区域进行区分；以及
S24：对一般特征区域与重要特征区域进行进一步的采样压缩以获得与神经网络的神经元对应的特征图。
本实施例通过采用上述方法，能够将大像素的图像通过特征提取、采样压缩与特征分类等步骤获得与神经网络中神经元一一对应的特征图，将图像具体分离为具有区别特征的特征图，方便系统进行识别对比，同时避免了因特征过多而产生的过拟合现象，提高系统准确性。
在本发明的一个可选实施例中，所述步骤S2还包括以下步骤：
S25：对所述特征图进行整理排列；
S26：将排列的特征图进行组合输出为对应的实时特征图像；以及
S27：将实时特征图像与正常特征图像进行识别与对比，在对比结果符合预设的疲劳驾驶认定标准时产生并发出报警指令。
本实施例通过采用上述方法，能够将特征图进行有效输出及对比，通过特征图中的特征区域，例如眼睛、嘴巴的图像对比，能够有效判断出驾驶员的驾驶状态是否与正常状态相似或一致，提高了检测准确性。
在本发明的一个可选实施例中，所述实时特征图像与所述正常特征图像均包括人脸图像、眼部关键点图像及嘴部关键点图像。
本实施例通过采用上述方法，对驾驶员的人脸部分进行具体的检测，能够使得检测判断结果更准确，同时避免因判断点过多而影响系统检测结果。
在本发明的一个可选实施例中，所述疲劳驾驶认定标准至少包括：连续闭眼时长、闭眼频率、哈欠频率和注意力方向。
本实施例通过采用上述方法，通过检测连续闭眼时长、闭眼频率、哈欠频率和注意力方向，能够简单方便的识别出驾驶员的驾驶状态，提高检测效率与准确性。
本发明实施例所述的功能如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。
