一种基于智能距离感知技术的婴儿监护方法
技术领域
本发明涉及计算机视觉技术领域，具体的内容涉及到立体视觉和图像分割领域，特别涉及一种基于智能距离感知技术的婴儿监护方法。
背景技术
随着"二胎"政策的开放，用更加智能的技术以减轻父母劳累同时减少婴儿危险的需求日益强烈。由于婴儿身体器官尚未发育完全，其自主能力差且无法用言语表达情感，同时由于父母无法时刻陪伴在婴儿身边，婴儿受到意外的风险较高，因此，本文提出了一种利用相机基于立体视觉的婴儿智能监护方案。我们需要加强对婴儿的监护以减少危险发生。
目前市场上的婴儿监护都是简单的通过传感器或摄像头与手机等设备进行远程连接。父母通过终端设备观察婴儿的情况，通过传感器，对温度、湿度、空气质量进行监控检测。有的通过摄像头这种非接触式的监护有防止儿童蹬被子：利用红外透视镜，通过儿童身上盖着被子与没有盖被子(或者部分盖被子)时发出的红外能量差异，对儿童身上盖被子的状态进行判断。知名的婴儿监护软件BabbyCam思路是利用图像识别技术检测婴儿人脸是否出现在婴儿床上。父母也可以通过手机APP即时观察到婴儿的实时状态。
现实中防止婴儿翻出床沿，目前主要有利用摄像头，监护婴儿是否在床上，主体的思路是：周期性地保存摄像头所捕获的图像，比较相邻两张图像的差异。当噪声点数达到一定的程度，发出报警信息。还有一种方案是在床体放置红外感应装置。对婴儿试图翻出婴儿床进行预警。但这些对于预防婴儿翻出床沿的方案有的起不到预防的作用，有的成本太高，不适合应用的推广。还有提出利用传统图像分割的方法，将婴儿与背景分割出来，然后再根据分割后的婴儿图像与婴儿床的空间距离关系来进行婴儿监护。
为了将目标从图像区域中分离出来，传统图像分割主要的方法有基于边缘的分割、基于图论的分割和基于聚类的分割。
1)基于边缘的分割。基于图像内不同物体边界的轮廓像素点灰度值两边具有明显的变化的原理，通过灰度图像的二阶导数是否过零点来判断图像中物体的轮廓。常用的边缘检测微分算子有Sobel算子、Laplace算子，但是这种方法不能保证物体边缘分割的连续性或是形成闭环，对图像中的小区域分割的效果也不好。
2)基于图论的分割。利用图论的方法，将图像看成是带权重的无方向图，将图像分为不同的子集，通过计算权重图，不断迭代权重。GraphCut算法是在此基础上又加上了两个叫终端顶点的顶点，将分割问题转化为求最小割的问题。还有如利用图像的灰度和区域边界信息的GrabCut等图论的算法。
3)基于聚类的分割。是先将图像中的像素分割为超像素块，然后再进行区域融合。基于核密度梯度估计的Meanshift算法，通过建立一个高维的球，通过Meanshift向量不断迭代到图像密度最大的地方，在图像上形成超像素块。SLIC(simple linear iterativeclustering)算法是K-means算法在图像分割中的应用，它将图像中的像素点变为五维的向量，通过图像中像素的距离以及像素颜色相似大小来构造距离的度量标准。然而，聚类算法对初始点的选择较敏感，分割效果会受到影响，抗干扰性差。
发明内容
本发明提出了一种基于智能距离感知技术的婴儿监护方法，目的是优化图像语义分割方法，利用立体视觉的方法，提高婴儿监护系统的效率。
为实现本发明的目的，本发明提供的一种基于智能距离感知技术的婴儿监护方法，包括如下步骤：步骤一：对婴儿周围的环境进行取景；步骤二：对采集的图像中婴儿分割出来；步骤三：判定分割出来的婴儿相对于床的距离，从而判断婴儿是否有跌落的危险；当判定距离小于预设阈值的时候，进行报警；其中，通过语义分割方法对采集的图像进行分割。
进一步地，通过语义分割方法对采集的图像进行分割是基于全卷积神经网络的编码器-解码器结构，通过改进深度卷积神经网络，利用VGG-19网络的卷积池化部分作为图像的特征提取器，改进带池化索引结构，对婴儿图像进行语义分割。
进一步地，所述全卷积神经网络分为两个阶段，即编码阶段和解码阶段，在编码阶段利用深度卷积神经网络VGG-19模型的架构，去除网络中的全连接层，保留池化过程中对于最大池化位置保存的信息；每一层的Encoder都对应着一层Deconder；在解码阶段，利用编码阶段保存的最大池化信息，还原对应位置的最大值信息，通过这种方式完成对图像的上采样，将特征图的分辨率放大至和原图像同样的大小，在解码器网络的后端接入一个softmax分类器对每个像素生成类别概率，形成一个和类别数相等的通道数概率图，预测网络输出概率值最大所对应的类别。
进一步地，在上采样过程中，通过池化索引的方式，将特征图中对应索引位置的权值设为与待上采样相等的值，在对应池化核的其他位置，将权值设为最大特征值的一半，保证了图像通过池化过滤出最大特征位置信息的同时，将最大特征位置周围的特征也进行了还原。
进一步地，使用双目相机的方式进行测距；其中，双目相机在世界空间坐标系下X-O-Y平面的投影的几何结构中，OR、OT是两个相机的光心，空间中任意一点P在两像平面的投影点为p、p′，XR、XT为其到像平面原点的距离，两相机之间距离，即基线长度为b，Z为P点到基线的距离，F为光心到像平面的距离，即焦距大小，可知ΔPpp′～ΔPOROT，所以有以下关系：
令D＝XR-XT，可得：
其中，(xR，yR)和(xT，yT)分别为空间P点在双目相机的相平面上的投影点坐标，D为两张图像的视差(disparity)。通过视差可以计算物体距离相机的距离；然后对相机进行标定，标定主要是为了获取相机的内参数、外参数以及畸变系数；通过进行标定建立相机成像的几何模型，来计算物体的空间三维信息，立体标定是计算空间上位置不同的两个相机之间的几何关系，得到相机间旋转和平移的对应关系，最终得到物体的三维空间信息。
进一步地，利用MATLAB工具箱进行标定，计算得出相机的内参矩阵、径向畸变、切向畸变、旋转矩阵、平移向量，标定过程中，选取的标定板均匀分布在图像的各个角落，可以有效的计算出透镜的径向畸变和切向畸变。
进一步地，通过下述方法进行图像中不同物体距离的计算：
首先通过双目相机得到空间物体的具体坐标值：
其中，uL、uR表示左右相机距离各像平面左边缘的像素距离；fx是通过标定的内参值；d＝uL-uR。b为两相机的光心距离；以左相机光心为世界坐标系原点，u、v表示像素坐标系下点的坐标；uo、vo为左相机图像平面的中心原点在像素坐标系下的坐标值；通过联立方程组，转化为齐次坐标，以矩阵的形式得到:
其中X＝W*Xw,Y＝W*Yw,Z＝W*Zw，由于双目相机间的旋转矩阵T在x方向的数值表示相机2在相机1的水平方向的平移量，有b＝-Tx。令u0、u0′为左右相机图像平面的原点水平分量在像素坐标系下的坐标值，由于两个数值的差值很小，因此近似为0，所以得到下列等式：
令
则可以推出：
通常Q被称为重投影矩阵，通过4×4的重投影矩阵Q，可以将二维平面坐标转为空间三维坐标，该空间点的坐标为(Xw＝X/W,Yw＝Y/W,Zw＝Z/W)，通过结合立体视觉与图像分割，能够求出图像中不同物体间的空间位置距离。
进一步地，通过卷积神经网络模型，检测婴儿的表情特征，以此判断婴儿的状态，当出现哭闹时，触发报警单元及时预警。
与现有技术相比，本发明的有益效果为，本申请提出了利用带池化索引的方法对图像分割算法中的上采样部分进行改进，使得在上采样过程中，可以获得更多的特征信息，以提高语义分割在图像的边界轮廓上的精准性。实验表明，提出的带池化索引的方法在边缘轮廓的准确性上优于现在较为流行的语义分割算法；同时利用立体视觉算法，智能感知婴儿在真实场景中的实际距离，提高对婴儿的监护效率。
附图说明
图1是本申请提出的婴儿监护方案布置图；
图2是本申请提出的婴儿监护系统工作的总体流程图；
图3是本申请采用的网络架构；
图4是本申请提出的改进后的上池化方法；
图5是本申请双目相机立体测距流程图；
图6是本申请双目测距的二维结构图；
图7是本申请极线约束示意图；
图8是本申请双目相机采集到的原始图像；
图9是本申请校正后的图像；
图10是本申请原始图像与经语义分割后图像的对比图；
图11是本申请婴儿轮廓凸包与床轮廓直线检测图；
图12是本申请实验数据与误差计算图表。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1-图11所示，本申请将躺在床上的婴儿的身体上方安装摄像头，利用摄像头对婴儿周围的环境进行取景。通过对图像中婴儿相对于床的距离判断婴儿是否有跌落的危险。采用语义分割方法是将图像中的目标物体逐像素点的区分出来，而不是通过图像检测中检测框(Bounding Box)标出具体位置，这样像素点级别的分割，对于目标主体和图像中其他物体的位置关系会更加的精细。婴儿像素点与床的距离比图像检测中的检测框判断距离更加的精准。利用该方法，可以减少对实际距离的误判。
为了设计报警的临界条件，通过相机测得实际高度，利用相似三角形原理，求得实际的最小距离，从而判断婴儿的状态是否危险。同时通过卷积神经网络模型，检测婴儿的表情特征，以此判断婴儿的状态。当出现哭闹时，及时预警防止意外发生。
本申请基于全卷积神经网络(FCN)的编码器-解码器结构，通过改进深度卷积神经网络，利用VGG-19网络的卷积池化部分作为图像的特征提取器，改进带池化索引结构，对婴儿图像进行语义分割。通过图像操作，求出图像的最小像素距离，进而利用双目相机的立体视觉技术求出婴儿距离相机的距离，最终间接求出最小边界距离的实际尺寸。
接下来将更加详细地介绍监护系统的设计。首先介绍图像分割的方法。本申请，在特定场景下图像只有三种类别，即婴儿、床、背景。图像中的目标物体尺寸相对于整体图像而言适中，不需要处理图像中目标多尺度问题，且目标是为了能够在保持一定细粒度的境况下，使得模型处理分割任务的速度尽可能的快。因此，本设计利用VGG网络的预训练模型作为骨架，在FCN模型中通过将编码阶段的特征图与上采样的特征图进行特征融合，通过跳跃连接结构改善图像分割的粗糙程度。然而在卷积操作中的池化层部分，下采样使得图像的语义信息不断的丢失，得到的图像分割结果较为粗糙。
本申请采用的网络分为两个阶段，即编码(Encoder)阶段和解码(Decoder)阶段。在编码阶段利用深度卷积神经网络VGG-19模型的架构，去除网络中的全连接层，保留池化过程中对于最大池化位置保存的信息。每一层的Encoder都对应着一层Deconder。在解码阶段，利用编码阶段保存的最大池化信息，还原对应位置的最大值信息。通过这种方式完成对图像的上采样，将特征图的分辨率放大至和原图像同样的大小。在解码器网络的后端接入一个softmax分类器对每个像素生成类别概率，形成一个和类别数相等的通道数概率图，预测网络输出概率值最大所对应的类别。在解码阶段需要对图像进行上采样(upsampling)，使得图像可以还原到与原图像同样尺寸大小。上采样一般有三种方式，一种是对图像使用如双线性(bilinear)插值，利用差值算法直接对图像进行缩放。另一种是利用转置卷积(Transposed Convolution)对图像进行上采样，将卷积后的特征图还原到原图像尺寸大小的空间上。最后一种方法称为上池化(unpooling)操作，保持原特征图中最大值的信息，通过将其他位置进行补零操作实现分辨率的放大。使用转置卷积进行上采样时，像素间准确的位置关系要通过矩阵间的计算进行学习，使得网络的参数变多，对网络的性能有极大的影响，增加系统保存低特征图信息的空间开销，影响模型的性能。另一种方法是通过保存池化过程中过滤的特征位置信息，将对应上采样过程中的像素值进行信息还原，将相近邻(Nearest Neighbor)的对应位置都设置为相等的值。该方法很简单的还原了原图像的位置信息，但是，由于将近邻的位置都设为相同大小的值，使得还原后的图像对于图像的边缘细节不能有效的刻画分辨出来，使得还原后的图像在整体细节上表现的不好。
本申请中采用带池化索引的方法，对上采样进行改进，提高图像分割的效果。在上采样过程中，通过池化索引的方式，将特征图中对应索引位置的权值设为与待上采样相等的值。
在对应池化核的其他位置，将权值设为最大特征值的一半。这样保证了图像通过池化过滤出最大特征位置信息的同时，将最大特征位置周围的特征也进行了还原，使得图像在上采样过程中，可以获得更多的特征信息，保障语义分割在图像的边界轮廓上更加的精准。
接下来介绍本设计中采用的测距方法。首先对测距相机进行选型，从测距原理、精度、硬件成本等多种因素出发，最终确定使用基于双目相机的方式进行测距。
双目相机在世界空间坐标系下X-O-Y平面的投影的几何结构中，OR、OT是两个相机的光心。空间中任意一点P在两像平面的投影点为p、p′，XR、XT为其到像平面原点的距离。两相机之间距离，即基线长度为b。Z为P点到基线的距离。F为光心到像平面的距离，即焦距大小。可知ΔPpp′～ΔPOROT，所以有以下关系：
令D＝XR-XT，可得：
同理，可以得到P点的其他坐标信息：
其中，(xR，yR)和(xT，yT)分别为空间P点在双目相机的相平面上的投影点坐标，D为两张图像的视差(disparity)。通过视差可以计算物体距离相机的距离。
然后对相机进行标定，标定主要是为了获取相机的内参数、外参数以及畸变系数。通过进行标定建立相机成像的几何模型，来计算物体的空间三维信息。立体标定是计算空间上位置不同的两个相机之间的几何关系，得到相机间旋转和平移的对应关系，最终得到物体的三维空间信息。标定的方法有人工标定、基于OpenCV函数、基于MATLAB工具箱等方法。MATLAB较其他方法有更高的精确度和较强的鲁棒性，本设计种采用MATLAB工具箱进行相机的标定。利用MATLAB工具箱计算得出相机的内参矩阵(Intrinsic Matrix)、径向畸变(Radial Distortion)、切向畸变(Tangential Distortion)、旋转矩阵(RotationMatrices)、平移向量(Translation Vectors)等参数。标定过程中，选取的标定板均匀分布在图像的各个角落，可以有效的计算出透镜的径向畸变和切向畸变。利用得到的参数对图像进行矫正。避免图像的光学失真。在实际操作中要求双目相机拍摄的图像在水平位置上严格对齐。然而由于机械的误差，完美对准双目相机在实际中是不存在的，因此对拍摄到的两张图像进行立体校正。通过研究两个相机成像的关系发现，三维图像在二维像平面上存在几何关系，称为对极几何。
首先通过双目相机得到空间物体的具体坐标值：
其中，uL、uR表示左右相机距离各像平面左边缘的像素距离。fx是通过标定的内参值。d＝uL-uR。b为两相机的光心距离。以左相机光心为世界坐标系原点，u、v表示像素坐标系下点的坐标。uo、vo为左相机图像平面的中心原点在像素坐标系下的坐标值。通过联立方程组，转化为齐次坐标，以矩阵的形式得到:
其中X＝W*Xw,Y＝W*Yw,Z＝W*Zw。由于双目相机间的旋转矩阵T在x方向的数值表示相机2在相机1的水平方向的平移量，有b＝-Tx。令u0、u0′为左右相机图像平面的原点水平分量在像素坐标系下的坐标值，由于两个数值的差值很小，因此近似为0。所以得到下列等式：
令
则可以推出：
通常Q被称为重投影矩阵(reprojection matrix)。通过4×4的重投影矩阵Q，我们可以将二维平面坐标转为空间三维坐标。该空间点的坐标为(Xw＝X/W,Yw＝Y/W,Zw＝Z/W)。通过结合立体视觉与图像分割，可以求出图像中不同物体间的空间位置距离。
在本发明中，基于立体视觉原理，设计了一种智能距离感知的婴儿监护系统。提出了利用带池化索引的方法对图像分割算法中的上采样部分进行改进，使得在上采样过程中，可以获得更多的特征信息，以提高语义分割在图像的边界轮廓上的精准性。实验表明，提出的带池化索引的方法在边缘轮廓的准确性上优于现在较为流行的语义分割算法；同时利用立体视觉算法，智能感知婴儿在真实场景中的实际距离，提高对婴儿的监护效率。
下面简要介绍图12中的实验环境。实验用到的相机是1080p的双目摄像头模组，出厂焦距为2.6MM，范围为100°。传感器大小为1/3”CMOS。像元尺寸2.0um(H)×2.0um(V)。镜头中心点距离可调范围为：25m-70mm。实验设备搭载的是Ubuntu18.04.3LTS操作系统，配备主频为3.70GHz的Intel I5-9600K处理器和16G RAM。GPU型号为GeForce RTX2070，8G显存。CUDA版本9.0.176，cuDNN版本为7.3.1，tensorflow-gpu版本为1.12.3。综合以上实验数据，真实的最小距离与计算值平均误差为2.52％。实验过程中的误差基本在三毫米范围内，可以达到对婴儿与床位置信息判断的标准。当最短距离小于一定大小时，发出预警，提高对婴儿的监护效率。
需要说明的是，本申请中未详述的技术方案，采用公知技术。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
