基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉、医疗领域，具体涉及基于计算机视觉的牙齿正畸方法、装置、设备及存储介质。
背景技术
口腔疾病是一种常见的多发性疾病。据世界卫生组织统计，错颌畸形己经成为三大口腔疾病(踊齿、牙周病和惜倾畸形)之一。牙齿畸形对口腔健康、口腔功能、颌面骨胳的发育及外貌都有很大的影响。口腔正畸学己被认为是口腔保健治疗中的一个必不可少的重要部分。口腔正畸是针对牙齿排列畸形或错颌，利用弓丝、托槽等组成的固定矫治器械，或者牙套等隐形可摘式矫治器械，对牙齿施加三维矫治力和力矩，调整颜面骨胳、牙齿和颌面肌肉三者间的平衡和协调，经过一段时间的矫治后改善面型、排齐牙列并提高咀嚼效能。
在正畸前，取牙齿模型除了起到帮助诊断和设计治疗方案外，还会再和以后牙齿矫正过程中的情况来做对比。传统取模则是通过取模泥整口取模待模泥固化扫描成3维模型；取模过程耗时长约10-20分钟，舒适度差，患者在取模时会伴随恶心呕吐等情况。口内扫描仪是通过口内扫描，实时生成三维模型。优点取模耗时短约3分钟，舒适度高，缺点需要每次去医院使用专业的口扫仪设备进行扫描取模，耗费精力以及成本昂贵，推广不易。
公开号为CN 109712703 A的发明专利申请公开了一种基于机器学习的正畸预测方法及装置，所述方法包括获取原始口腔CT影像数据：将所述原始口腔CT影像数据输入预先训练好的第一生成器，以得到标注口腔CT影像数据；所述标注口腔CT影像数据中以标注的形式圈出每一帧图像上的牙齿区域：圈出的区域标注出相应牙齿编号，非牙齿区域置为0；将所述标注口腔CT影像数据输入第二生成器以得到以编码形式表征的正畸方案；将所述牙齿三维数字化模型和所述以编码形式表征正畸方案输入第三生成器以便于得到所述正畸方案的预测结果。本发明能够快速便捷形象地得到正畸方案的预测效果，『降低了从业人员的工作难度，显著降低了医生的负担，也提升了患者对于其将要接受的正畸方案的形象感官认识。
上述申请提及了基于原始口腔CT影像数据得到多张切片，进而得到三维坐标系的体素数据，通过面重建算法(比如移动立方体法等)，获得上述数据的三维面数据，仍然需要专业的CT影像进行三维数字化模型重建，不方便用户根据需要随时监控牙齿正畸效果。此外，基于原始口腔CT影像直接重建得到的三维数字化模型，三维场景精度差。
因此，如何实现高精度的牙齿三维建模，同时使用户能够随时监控牙齿正畸效果，是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于计算机视觉的牙齿正畸方法、装置、设备及存储介质。本发明利用手机相机进行取模，然后利用深度学习和三维重建技术，进行牙齿模型重建，保证总体的提取的牙齿模型的高精度的同时患者可以利用自己的手机在家完成扫描，完成实时监控牙齿正畸效果。
为了实现以上目的，本发明采用以下技术方案：
一种基于计算机视觉的牙齿正畸方法，包括步骤：
S1、接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；
S2、基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；
S3、将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；
S4、将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；
S5、对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；
S6、将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。
进一步地，所述步骤S2具体包括：
S21、利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；
S22、对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；
S23、基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；
S24、基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云。
进一步地，所述训练生成牙齿分割模型具体包括：
S31、构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；
S32、对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；
S33、基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。
进一步地，所述平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。
本发明还提出一种基于计算机视觉的牙齿正畸装置，包括：
位姿信息估计模块，用于接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；
稠密点云生成模块，用于基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；
牙齿提取模块，用于将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；
牙齿点云模型生成模块，用于将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；
优化模块，用于对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；
配准模块，用于将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。
进一步地，所述稠密点云生成模块具体包括：
特征提取与匹配模块，用于利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；
稀疏点云构建模块，用于对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；
深度图计算模块，用于基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；
稠密点云构建模块，用于基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云。
进一步地，所述训练生成牙齿分割模型具体包括：
构建模块，用于构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；
训练数据生成模块，用于对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；
训练模块，用于基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。
进一步地，所述平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。
本发明还提出一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于计算机视觉的牙齿正畸方法。
本发明还提出一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述基于计算机视觉的牙齿正畸方法。
本发明利用手机相机进行取模，然后利用深度学习和三维重建技术，进行牙齿模型重建，保证总体的提取的牙齿模型的高精度的同时患者可以利用自己的手机在家完成扫描，完成实时监控牙齿正畸效果。本发明通过深度学习和三维重建技术，能够精确地构建牙齿模型。此外，本发明中，用户可以实时拍摄牙齿矫正效果生成三维模型；省时省力，只需要配套手机的取模工具，成本低，用户花销少，利于推广。
附图说明
图1是实施例一提供的一种基于计算机视觉的牙齿正畸方法流程图；
图2是实施例一中两帧口腔内图像的特征提取及匹配示例图；
图3是实施例一中生成的位姿信息示例图；
图4是生成的深度图示意图；
图5是重建的稠密点云示意图；
图6是实施例二提供的一种基于计算机视觉的牙齿正畸系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一
本实施例提出了一种基于计算机视觉的牙齿正畸方法，该牙齿正畸方法应用于服务器中，例如可以为云端服务器。该服务器与移动终端进行数据交互。移动终端通过自带的摄像装置采集口腔内的图像。为了方便移动终端采集口腔内图像，需要利用口腔撑开器撑开口腔。移动终端在三维场景中自由移动，以采集口腔内的图像信息。如图1所示，基于计算机视觉的牙齿正畸方法包括：
S1、接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；
本发明利用移动终端进行口腔图像的采集，移动终端连续对口腔图像进行采集，形成包括多帧图像的视频。服务器接收移动终端采集的图像，基于采集的图像估计位姿信息。本发明利用并发建图与定位算法(simultaneous localization and mapping，SLAM)进行建图与定位，具体地，可以采用ORB_SLAM，本发明不对具体的建图与定位算法进行限定。以ORB_SLAM为例，能够实现跟踪、建图、闭环检测。
对于跟踪，当通过移动终端采集到口腔内图像后，从图像中提取ORB特征。提取ORB特征后，可以通过前一图像帧估计初始位姿，也可以通过全局重定位来初始化位姿。然后跟踪已经重建的局部地图，优化位姿，再根据一些规则确定新关键帧。
对于建图，是用于根据每个新的关键帧构建局部地图，包括对关键帧的插入，验证最近生成的地图点并进行筛选，然后生成新的地图点，使用局部捆集调整(Local BA)，最后再对插入的关键帧进行筛选，去除多余的关键帧。
对于闭环检测，分别是闭合回环探测和闭合回环校正。闭合回环检测先使用WOB进行探测，然后通过Sim3算法计算相似变换。闭合回环校正，主要是闭环融合和EssentialGraph的图优化。
为了使移动终端采集的图像能够更清楚地显示口腔内的状态，因此本发明需要对移动终端的移动范围进行约束。因此，根据采集的图像确定位姿信息后，本发明还可以根据所有的位姿信息，约束移动终端在X方向移动，从而约束移动终端在移动范围内进行拍摄。
S2、基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；
本发明实现高精度的牙齿三维建模，因此，需要基于位姿信息及采集的口腔内图像进行口腔三维模型重建，得到相应的稠密点云。具体包括对口腔内图像的特征提取与匹配、稀疏点云数据的构建及稠密点云数据的构建。具体为：
S21、利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；
为了得到比提取的ORB特征更为稠密的点云数据，本发明首先利用图像特征提取匹配算法获取口腔内图像中的特征点并进行匹配。具体地，由于尺度不变特征变换(Scale-invariant feature transform，SIFT)具有较好的稳定性和不变性，其鲁棒性较强，适合用来提取尺度变换和旋转角度的各种图片特征点信息，其准确性强，本发明采用SIFT算法提取口腔内图像中的特征点并进行匹配。
SIFT提取口腔内图像中的特征点包括构建尺寸空间、空间极值点检测及描述符生成。完成SIFT特征提取后，进行特征匹配。主要包括使用最近邻方法寻找匹配点及匹配点对筛选。图2显出了两帧口腔内图像的特征提取及匹配示意图。
S22、对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；
由二维图像信息获取三维空间信息是三维重建的核心步骤。由二维到三维本质上是运动恢复结构的过程。这个过程模仿人眼观察世界，在运动中观察物体时，物体造成的阴影被人眼识别，才会感知到物体是三维的。因此，从两个视角同时观察场景时，相当于在模仿该过程，利用这种特性可以去恢复三维信息。因此，对二维图像进行特征点提取与匹配后，本发明利用全局运动恢复结构(Global Structure from motion，Global SFM)算法对匹配后的特征点以及位姿信息进行运算，得到相应的稀疏点云数据。图3给出了生成的位姿信息示意图。
S23、基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；
重建出目标的稀疏点云，对于外形简单，十分规则的目标，稀疏点云是可以反映目标三维轮廓特征的，但是在真实场景下，重建的目标大多结构比较复杂，稀疏点云无法反映完整的外部特征。因此，需要通过稠密重建的过程对对稀疏点云进行加密，使其能较完整的表征重建目标。
单个图像中的像素，只能提供物体与相机成像平面的角度以及物体采集到的亮度，而无法提供物体的距离。而进行稠密点重建时，需要知道每一个像素点(或大多数像素点)的距离。因此，对于移动终端采集的口腔内图像，为了实现牙齿三维建模，本发明进行稠密深度估计。
具体地，在稠密深度估计中，不能把每个像素都当作特征点计算描述子，所以，本发明采用极线搜索和块匹配技术来确定第一幅图的某像素出现在其他图里的位置，即投影点位置。极线搜索和块匹配需要基于SFM运算中的极线信息。
确定投影点位置后，利用三角测量确定口腔内图像的深度值，并由此生成口腔内图像的深度图。值得注意的是，本发明使用多次三角测量让深度估计收敛，而不仅仅是一次。图4示出了利用位姿信息生成的深度图示意图。
S24、基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云；
获取到口腔内图像及其相应的深度图、位姿信息后，本发明进一步进行点云的拼接，具体地，构建一个点云节点接收关键帧拼接生成点云数据，由此生成稠密点云，更进一步地，得到比ORB提取更为绸密的点云。对于每帧点云，对相应的点进行处理，具体包括：去掉深度值太大或无效的点、利用统计滤波器去除孤立点等。图5为重建的稠密点云示意图。
S3、将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；
由于采集的口腔内图像包括了牙齿区域与非牙齿区域，为了实现对牙齿的三维建模，本发明对采集的口腔内图像进行区域分割，以识别出相应的牙齿区域。具体地，本发明基于深度学习的方法对牙齿区域进行分割。在对采集的口腔内图像进行牙齿分割前，需要训练生成相应的牙齿分割模型，具体包括：
S31、构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；
本发明利用卷积神经网络(Convolutional Neural Networks，CNN)进行牙齿分割。CNN是一类包含卷积计算且具有深度结构的前馈神经网络，主要由输入层、卷积层、采样层、全连接层、输出层组成。
本发明首先构建卷积神经网络，利用大量标注的口腔内图像数据对卷积神经网络进行训练，得到最终使用的卷积神经网络。将口腔内图像数据输入卷积神经网络前，需要对采集的口腔内图像数据进行预处理。
首先，本发明搜集不同的口腔内图像数据，并对收集的口腔内图像数据进行牙齿区域标注。使用Adobe Photo shop CS6(64Bit)软件抠图工具得到牙齿的二值区域掩膜，其中，白色区域表示牙齿区域，其像素值为1，黑色区域表示背景区域，其像素值为0。
S32、对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；
为了优化牙齿分割效率，本发明所有输入分割模型的口腔内图像数据均为256*256像素，格式为RGB原图。因此，对输入口腔内图像数据进行预处理，将原始图像的长边缩放至256，短边等比缩放，不足之处补0对齐，得到尺寸为256*256*3的RGB输入的训练口腔内图像数据X。对该口腔内图像数据相应的二值化牙齿掩膜做同样的缩放操作得到训练掩膜Y。
S32、基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。
训练数据集生成后，将数据集中的口腔内图像数据输入卷积神经网络，卷积神经网络利用卷积神经网络提取训练口腔内图像数据中的牙齿概率图。卷积神经网络由编码子模块和解码子模块组成，其中编码子模块由一系列卷积层和下采样层组成，解码子模块由一系列卷积层和上采样层组成。即输入的口腔内图像数据编码和解码过程后，得到尺寸为256*256*1牙齿概率图M。
基于深度学习的牙齿分割通过不断对卷积神经网络进行训练，使损失函数降到预期值。因此，本发明基于大量的口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，使最后的损失函数满足需求，由此得到最终的牙齿分割模型。
训练生成牙齿分割模型后，就能对集到的口腔内图像数据进行牙齿分割。对于待牙齿分割的图像数据，将原始图像的长边缩放至256，短边等比缩放，不足之处补0对齐，得到尺寸为256*256*3的RGB输入的待分割人像数据X。将预处理后的口腔内图像输入牙齿分割模型，得到尺寸为256*256*1牙齿概率图M。
通过牙齿分割模型，本发明得到牙齿概率图，确定相应的牙齿区域。其中，牙齿区域，其像素值为1，黑色区域表示背景区域，其像素值为0。对于口腔内图像数据的深度图，将掩膜外的像素深度值变成0。
S4、将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；
完成口腔内图像稠密点云的构建后，本发明就能将分割出的牙齿掩膜投射到稠密点云上，由此得到牙齿点云模型。
S5、对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；
为了得到更精细化的牙齿模型，本发明首先对生成的牙齿点云模型进行滤波，本发明不对具体的滤波方式进行处理，可以为双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。
此外，为了使生成的牙齿模型与实际的牙齿模型更一致，本发明通过牙弓优化点云的曲面关系。牙弓是位于上、下颌骨的牙齿连续排列在牙槽骨形成抛物线的弓形。实际的牙齿模型中，牙弓通常为椭圆形牙弓，尖圆形牙弓，方圆形牙弓，即牙弓为顺滑的线条。因此，本发明基于牙弓的形态优化点云的曲面关系，进一步优化牙齿点云模型。
S6、将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。
本发明使用户能够随时监控牙齿正畸效果，因此，在获取到精细化牙齿模型后，可以将其与治疗方案中的模型进行对比，得到每个牙齿在空间上的旋转以及平移值。
为了准确输出各牙齿的正畸效果，本发明对按照齿科标准的牙位表示法对各个牙列进行标记。其中，牙位表示法是给每颗人类牙齿编号表示的方法：用十字符号将上下牙列分为上下左右四个区，右上区又称为A区，左上区又称为B区，右下区又称为C区，左下区又称为D区。常见的牙位表示法为FDI牙位表示法(数字标记法)，其中的每颗牙用2个阿拉伯数字记录：每颗牙用两位阿拉伯数字表示，第一位表示牙齿所在的象限，第二位表示牙齿的位置。
本发明通过6自由度确定牙齿的空间位置，对于空间上的旋转以及平移值，其中，平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。因此，本发明将精细化牙齿模型与冶疗方案模型中每颗牙齿进行依次对比，得到相应的位置关系，具体为每个牙齿在空间上的旋转以及平移值。
实施例二
如图6所示，对应于上述牙齿正畸方法，本实施例提出了一种基于计算机视觉的牙齿正畸装置，包括：
位姿信息估计模块，用于接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；
本发明利用移动终端进行口腔图像的采集，移动终端连续对口腔图像进行采集，形成包括多帧图像的视频。服务器接收移动终端采集的图像，基于采集的图像估计位姿信息。本发明利用并发建图与定位算法(simultaneous localization and mapping，SLAM)进行建图与定位，具体地，可以采用ORB_SLAM，本发明不对具体的建图与定位算法进行限定。以ORB_SLAM为例，能够实现跟踪、建图、闭环检测。
对于跟踪，当通过移动终端采集到口腔内图像后，从图像中提取ORB特征。提取ORB特征后，可以通过前一图像帧估计初始位姿，也可以通过全局重定位来初始化位姿。然后跟踪已经重建的局部地图，优化位姿，再根据一些规则确定新关键帧。
对于建图，是用于根据每个新的关键帧构建局部地图，包括对关键帧的插入，验证最近生成的地图点并进行筛选，然后生成新的地图点，使用局部捆集调整(Local BA)，最后再对插入的关键帧进行筛选，去除多余的关键帧。
对于闭环检测，分别是闭合回环探测和闭合回环校正。闭合回环检测先使用WOB进行探测，然后通过Sim3算法计算相似变换。闭合回环校正，主要是闭环融合和EssentialGraph的图优化。
为了使移动终端采集的图像能够更清楚地显示口腔内的状态，因此本发明需要对移动终端的移动范围进行约束。因此，根据采集的图像确定位姿信息后，本发明还可以根据所有的位姿信息，约束移动终端在X方向移动，从而约束移动终端在移动范围内进行拍摄。
稠密点云生成模块，用于基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；
本发明实现高精度的牙齿三维建模，因此，需要基于位姿信息及采集的口腔内图像进行口腔三维模型重建，得到相应的稠密点云。具体包括对口腔内图像的特征提取与匹配、稀疏点云数据的构建及稠密点云数据的构建。具体包括：
特征提取与匹配模块，用于利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；
为了得到比提取的ORB特征更为稠密的点云数据，本发明首先利用图像特征提取匹配算法获取口腔内图像中的特征点并进行匹配。具体地，由于尺度不变特征变换(Scale-invariant feature transform，SIFT)具有较好的稳定性和不变性，其鲁棒性较强，适合用来提取尺度变换和旋转角度的各种图片特征点信息，其准确性强，本发明采用SIFT算法提取口腔内图像中的特征点并进行匹配。
SIFT提取口腔内图像中的特征点包括构建尺寸空间、空间极值点检测及描述符生成。完成SIFT特征提取后，进行特征匹配。主要包括使用最近邻方法寻找匹配点及匹配点对筛选。
稀疏点云构建模块，用于对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；
由二维图像信息获取三维空间信息是三维重建的核心步骤。由二维到三维本质上是运动恢复结构的过程。这个过程模仿人眼观察世界，在运动中观察物体时，物体造成的阴影被人眼识别，才会感知到物体是三维的。因此，从两个视角同时观察场景时，相当于在模仿该过程，利用这种特性可以去恢复三维信息。因此，对二维图像进行特征点提取与匹配后，本发明利用全局运动恢复结构(Global Structure from motion，Global SFM)算法对匹配后的特征点以及位姿信息进行运算，得到相应的稀疏点云数据。图3给出了生成的位姿信息示意图。
深度图计算模块，用于基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；
重建出目标的稀疏点云，对于外形简单，十分规则的目标，稀疏点云是可以反映目标三维轮廓特征的，但是在真实场景下，重建的目标大多结构比较复杂，稀疏点云无法反映完整的外部特征。因此，需要通过稠密重建的过程对对稀疏点云进行加密，使其能较完整的表征重建目标。
单个图像中的像素，只能提供物体与相机成像平面的角度以及物体采集到的亮度，而无法提供物体的距离。而进行稠密点重建时，需要知道每一个像素点(或大多数像素点)的距离。因此，对于移动终端采集的口腔内图像，为了实现牙齿三维建模，本发明进行稠密深度估计。
具体地，在稠密深度估计中，不能把每个像素都当作特征点计算描述子，所以，本发明采用极线搜索和块匹配技术来确定第一幅图的某像素出现在其他图里的位置，即投影点位置。极线搜索和块匹配需要基于SFM运算中的极线信息。
确定投影点位置后，利用三角测量确定口腔内图像的深度值，并由此生成口腔内图像的深度图。值得注意的是，本发明使用多次三角测量让深度估计收敛，而不仅仅是一次。
稠密点云构建模块，用于基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云；
获取到口腔内图像及其相应的深度图、位姿信息后，本发明进一步进行点云的拼接，具体地，构建一个点云节点接收关键帧拼接生成点云数据，由此生成稠密点云，更进一步地，得到比ORB提取更为绸密的点云。对于每帧点云，对相应的点进行处理，具体包括：去掉深度值太大或无效的点、利用统计滤波器去除孤立点等。
牙齿提取模块，用于将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；
由于采集的口腔内图像包括了牙齿区域与非牙齿区域，为了实现对牙齿的三维建模，本发明对采集的口腔内图像进行区域分割，以识别出相应的牙齿区域。具体地，本发明基于深度学习的方法对牙齿区域进行分割。在对采集的口腔内图像进行牙齿分割前，需要训练生成相应的牙齿分割模型，具体包括：
构建模块，用于用于构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；
本发明利用卷积神经网络(Convolutional Neural Networks，CNN)进行牙齿分割。CNN是一类包含卷积计算且具有深度结构的前馈神经网络，主要由输入层、卷积层、采样层、全连接层、输出层组成。
本发明首先构建卷积神经网络，利用大量标注的口腔内图像数据对卷积神经网络进行训练，得到最终使用的卷积神经网络。将口腔内图像数据输入卷积神经网络前，需要对采集的口腔内图像数据进行预处理。
首先，本发明搜集不同的口腔内图像数据，并对收集的口腔内图像数据进行牙齿区域标注。使用Adobe Photo shop CS6(64Bit)软件抠图工具得到牙齿的二值区域掩膜，其中，白色区域表示牙齿区域，其像素值为1，黑色区域表示背景区域，其像素值为0。
训练数据生成模块，用于对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；
为了优化牙齿分割效率，本发明所有输入分割模型的口腔内图像数据均为256*256像素，格式为RGB原图。因此，对输入口腔内图像数据进行预处理，将原始图像的长边缩放至256，短边等比缩放，不足之处补0对齐，得到尺寸为256*256*3的RGB输入的训练口腔内图像数据X。对该口腔内图像数据相应的二值化牙齿掩膜做同样的缩放操作得到训练掩膜Y。
训练模块，用于基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。
训练数据集生成后，将数据集中的口腔内图像数据输入卷积神经网络，卷积神经网络利用卷积神经网络提取训练口腔内图像数据中的牙齿概率图。卷积神经网络由编码子模块和解码子模块组成，其中编码子模块由一系列卷积层和下采样层组成，解码子模块由一系列卷积层和上采样层组成。即输入的口腔内图像数据编码和解码过程后，得到尺寸为256*256*1牙齿概率图M。
基于深度学习的牙齿分割通过不断对卷积神经网络进行训练，使损失函数降到预期值。因此，本发明基于大量的口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，使最后的损失函数满足需求，由此得到最终的牙齿分割模型。
训练生成牙齿分割模型后，就能对集到的口腔内图像数据进行牙齿分割。对于待牙齿分割的图像数据，将原始图像的长边缩放至256，短边等比缩放，不足之处补0对齐，得到尺寸为256*256*3的RGB输入的待分割人像数据X。将预处理后的口腔内图像输入牙齿分割模型，得到尺寸为256*256*1牙齿概率图M。
通过牙齿分割模型，本发明得到牙齿概率图，确定相应的牙齿区域。其中，牙齿区域，其像素值为1，黑色区域表示背景区域，其像素值为0。对于口腔内图像数据的深度图，将掩膜外的像素深度值变成0。
牙齿点云模型生成模块，用于将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；
完成口腔内图像稠密点云的构建后，本发明就能将分割出的牙齿掩膜投射到稠密点云上，由此得到牙齿点云模型。
优化模块，用于对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；
为了得到更精细化的牙齿模型，本发明首先对生成的牙齿点云模型进行滤波，本发明不对具体的滤波方式进行处理，可以为双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。
此外，为了使生成的牙齿模型与实际的牙齿模型更一致，本发明通过牙弓优化点云的曲面关系。牙弓是位于上、下颌骨的牙齿连续排列在牙槽骨形成抛物线的弓形。实际的牙齿模型中，牙弓通常为椭圆形牙弓，尖圆形牙弓，方圆形牙弓，即牙弓为顺滑的线条。因此，本发明基于牙弓的形态优化点云的曲面关系，进一步优化牙齿点云模型。
配准模块，用于将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。
本发明使用户能够随时监控牙齿正畸效果，因此，在获取到精细化牙齿模型后，可以将其与治疗方案中的模型进行对比，得到每个牙齿在空间上的旋转以及平移值。用户通过移动终端能够直接获取相应的旋转以及平移值，及时监控牙齿正畸效果。
为了准确输出各牙齿的正畸效果，本发明对按照齿科标准的牙位表示法对各个牙列进行标记。其中，牙位表示法是给每颗人类牙齿编号表示的方法：用十字符号将上下牙列分为上下左右四个区，右上区又称为A区，左上区又称为B区，右下区又称为C区，左下区又称为D区。常见的牙位表示法为FDI牙位表示法(数字标记法)，其中的每颗牙用2个阿拉伯数字记录：每颗牙用两位阿拉伯数字表示，第一位表示牙齿所在的象限，第二位表示牙齿的位置。
本发明通过6自由度确定牙齿的空间位置，对于空间上的旋转以及平移值，其中，平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。因此，本发明将精细化牙齿模型与冶疗方案模型中每颗牙齿进行依次对比，得到相应的位置关系，具体为每个牙齿在空间上的旋转以及平移值。
实施例三
本申请实施例提供的一种基于计算机视觉的牙齿正畸计算机设备及存储介质。该计算机设备可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
该非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行一种基于计算机视觉的牙齿正畸方法。
该处理器用于提供计算和控制能力，以支撑整个计算机设备的运行。
该内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行一种基于计算机视觉的牙齿正畸生成方法。
该网络接口用于与其它设备进行网络通信。本领域技术人员可以理解，上述计算机设备结构仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，该程序实现实施例一所述的一种基于计算机视觉的牙齿正畸生成方法。
应当理解，在本申请实施例中，处理器可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行实施例一所述的一种基于计算机视觉的牙齿正畸生成方法。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
