一种双足三维扫描方法、装置及系统
技术领域
本发明涉及足部测量技术领域，尤其涉及一种双足三维扫描方法、装置及系统。
背景技术
使用三维扫描方式可以快速、稳定地对足部进行非接触式测量。利用非接触式三维重建技术获取足部三维模型，主要实现方法有两类：一类是使用线激光的方式；另一类是基于双目立体视觉原理的方式。
使用线激光方式获取足部三维模型，设备价格比较贵且需要有运动机构来控制激光头运动，所以设备结构较为复杂。
使用工业级散斑匹配三维扫描设备，需要包含一个散斑投射器、两个工业相机，虽然精度较高，但是设备造价昂贵，不适合消费电子产品领域。
使用光栅结构光三维扫描设备，一次测量需要投射多幅光栅，测量时间较长，适合扫描静态物体，测量时人体轻微晃动，就会对测量结果造成影响。
现有技术中缺乏一种经济、效果好的双足三维扫描方法。
发明内容
本发明为了解决现有的技术问题，提供一种双足三维扫描方法、装置及系统。
本发明采用的技术方案如下所述：
一种双足三维扫描方法，包括如下步骤：S1：调整至少两个深度相机的视角以使所述深度相机获取被测双足的深度图像；S2：标定每一个所述深度相机的外方位元素并得到标定结果，其中，所述外方位元素是指所述深度相机的坐标系到世界坐标系的转换关系；S3：通过所述深度相机依次获取多个视角下的所述被测双足的深度图像，其中，所述深度图像与所述深度相机的彩色图像是对齐的；S4：对采集到的多个视角下的所述被测双足的深度图像进行三维点云重建，得到所述被测双足对应的三维点云数据集合，其中，所述三维点云数据集合包括多幅点云；S5：根据所述标定结果对所述三维点云数据集合进行拼接，将每个所述被测双足的三维点云数据转换到同一所述世界坐标系下，并做点云配准，以得到所述被测双足的三维模型。
优选地，还包括：S6：根据所述被测双足的三维模型提取所述被测双足的尺寸参数。
优选地，所述深度相机为5个，4个位于所述被测双足的上方，用于获取所述被测双足的足背的深度图像，1个位于所述被测双足的足底下方，用于获取所述被测双足的足底的深度图像。
优选地，标定每一个所述深度相机的外方位元素并得到标定结果包括如下步骤：S21：利用每个所述深度相机中的彩色相机拍摄T形标定板，以获取标定图片，其中，所述T形标定板上设置有编码标志点；S22：检测所述编码标志点并利用单像后方交会法标定每一个所述深度相机的外方位元素；S23：采用外方位元素捆绑调整优化算法对所述深度相机的外方位元素进行整体的迭代优化，得到每个所述深度相机的坐标系到世界坐标系的旋转平移矩阵；S24：将所述深度相机的坐标系到世界坐标系的旋转平移矩阵设置为所述标定结果。
优选地，通过所述深度相机依次获取多个视角下的所述被测双足的深度图像包括如下步骤：S31：每次获取每个所述深度相机的至少5帧深度图像，取所述至少5帧深度图像的均值得到一张新的深度图像；S32：对所述新的深度图像进行高斯滤波，滤除边缘点杂点得到滤波后的深度图像；S33：所述滤波后的所述深度图像通过以下公式重建原始三维点云：
其中，f是焦距，cx、cy是主点偏差，Xij是所述深度图像第i行第j列对应在所述深度相机的坐标系里的X坐标；Yij是所述深度图像第i行第j列对应在所述深度相机的坐标系里的Y坐标；Zij是所述深度图像第i行第j列的深度值。
优选地，得到所述被测双足的三维模型包括如下步骤：S51：将每个所述深度相机得到的所述三维点云数据转换到同一所述世界坐标系下；S52：利用全局迭代最邻近点算法将转换到同一所述世界坐标系下的所述三维点云数据做点云配准，使得所述三维点云数据配准的累积误差降到设定的最低阈值；S53：对点云配准以后的所述三维点云数据设置景深框并剔除所述景深框范围以外的三维点云数据，只保留所述被测双足的三维点云数据；S54：对所述被测双足的三维点云数据进行滤波去噪操作；S55：利用泊松重建方法，由所述被测双足的三维点云数据得到第一被测双足网格模型；S56：对所述第一被测双足网格模型进行拉普拉斯光顺得到第二被测双足网格模型；S57：对所述第二被测双足网格模型进行网格化得到所述被测双足三维模型。
本发明又提供一种双足三维扫描装置，包括：深度相机，包括采用如上任一所述的方法获取被测双足的三维模型的模块。
优选地，还包括：玻璃台面，用于承载所述被测双足；平面反射镜，设置于所述玻璃台面下面，所述平面反射镜的镜面与铅垂线的夹角为30°-45°；获取所述被测双足的足底的三维点云的所述深度相机安装在所述平面反射镜的前方。
优选地，所述玻璃台面是超白钢化玻璃，且所述玻璃台面的下表面镀红外增透减反膜；所述平面反射镜是前镀膜镜；获取所述被测双足的足底的三维点云的所述深度相机的镜头上安装遮光罩；所述玻璃台面、所述平面反射镜和双足三维扫描装置的本体组成的腔体的内部喷涂黑色吸光材质。
本发明再提供一种双足三维扫描系统，包括：第一单元，用于调整至少两个深度相机的视角以使所述深度相机获取被测双足的深度图像；第二单元，用于标定每一个所述深度相机的外方位元素并得到标定结果，所述外方位元素是指所述深度相机的坐标系到世界坐标系的转换关系；第三单元，用于通过所述深度相机依次获取多个视角下的所述被测双足的深度图像，其中，所述深度图像与所述深度相机的彩色图像是对齐的；第四单元，用于对采集到的多个视角下的所述被测双足的深度图像进行三维点云重建，得到所述被测双足对应的三维点云数据集合，其中，所述三维点云数据集合包括多幅点云；第五单元，用于根据所述标定结果对所述三维点云数据集合进行拼接，将每个所述被测双足的三维点云数据转换到同一所述世界坐标系下，并做点云配准，以得到所述被测双足的三维模型。
本发明的有益效果为：提供一种双足三维扫描方法、装置及系统，通过计算调整深度相机安装位置，调节深度相机视场范围，可在深度相机最佳测量范围内获取无遮挡获取双足的深度图像；并通过标定深度相机的外方位元素并得到标定结果，实现深度相机坐标系到世界坐标系的转换，实现粗配准，然后点云精配准，让点云完全拼接在一起，得到被测双足的三维模型。可以一次性同步完成双足的扫描；进一步的，使用深度相机获取三维模型的成本低，且获得的三维模型完全可以满足鞋类定制、足部矫正等消费领域对双足尺寸提取的需求。
附图说明
图1是本发明实施例中一种双足三维扫描方法的示意图。
图2是本发明实施例中又一种双足三维扫描方法的示意图。
图3是本发明实施例中标定所述深度相机之间的外方位元素的方法的示意图。
图4是本发明实施例中T形标定板的结构示意图。
图5是本发明实施例中获取所述被测双足的深度图像的方法示意图。
图6是本发明实施例中得到所述被测双足的完整的三维模型的方法示意图。
图7是本发明实施例中一种双足三维扫描方法的流程图。
图8是本发明实施例中足部三维模型的示意图。
图9是本发明实施例中一种双足三维扫描装置的示意图。
图10是本发明实施例中一种双足三维扫描系统的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
部分名词解释
1.深度相机：每一个深度相机内部包含一个彩色相机、一个红外相机和一个红外散斑投射器，其中彩色相机、红外相机的内方位元素出厂时已经标定，使用时只需标定深度相机外方位元素。
2.深度图像：在3D计算机图形中，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，深度图类似于灰度图像，每一个像素存储的是传感器距离物体的实际距离。
3.深度相机内、外方位元素：深度相机内、外方位元素，是指深度图对应相机的内、外方位元素，当深度和彩色图对齐时，彩色相机内、外方位元素即为深度相机内、外方位元素。
如图1所示，本发明提供一种双足三维扫描方法，包括如下步骤：
S1：调整至少两个深度相机的视角以使所述深度相机获取被测双足的深度图像；
通过计算调整相机安装位置，调节相机视场范围，可在深度相机最佳测量范围内，无遮挡的扫描双足获得深度图像。这里的遮挡包括双足的相互遮挡。
S2：标定每一个所述深度相机的外方位元素并得到标定结果，其中，所述外方位元素是指所述深度相机的坐标系到世界坐标系的转换关系；
多相机标定方面，深度相机出厂时已经标定了相机内方位元素，设备使用前需要标定一次多个相机的外方位元素，相机固定相对牢靠，一般不用再次标定，方便用户使用，适合消费电子产品。此处标定是实现坐标系的转换实现粗配准。
S3：通过所述深度相机依次获取多个视角下的所述被测双足的深度图像，其中，所述深度图像与所述深度相机的彩色图像是对齐的；
S4：对采集到的多个视角下的所述被测双足的深度图像进行三维点云重建，得到所述被测双足对应的三维点云数据集合，其中，所述三维点云数据集合包括多幅点云；
S5：根据所述标定结果对所述三维点云数据集合进行拼接，将每个所述被测双足的三维点云数据转换到同一所述世界坐标系下，并做点云配准，以得到所述被测双足的三维模型。
获取三维模型之后，可以直接显示三维模型，也可以更进一步，利用所述三维模型提取被测双足的尺寸参数。
如图2所示，本发明的方法还包括：
S6：根据所述被测双足的三维模型提取所述被测双足的尺寸参数。
利用双足三维模型从中提取了一些足部尺寸测量的特征点，然后据此计算需要的双足尺寸参数，比如说脚长、脚宽这样的一般数据。
在本发明的一种实施例中，深度相机为5个，4个位于所述被测双足的上方，用于获取所述被测双足的足背的深度图像，1个位于所述被测双足的足底下方，用于获取所述被测双足的足底的深度图像。
如图3所示，标定所述深度相机之间的外方位元素包括如下步骤：
S21：利用每个所述深度相机中的彩色相机拍摄T形标定板，以获取标定图片，其中，所述T形标定板上设置有编码标志点；
如图4所示，T形标定板由A、B、C三个面构成，A、B两面贴有16个编码标志点、C面贴有11个编码标志点，编码标志点作为已知控制点使用。进行标定的时候，T形标定板放置在玻璃台面上。
S22：检测所述编码标志点并利用单像后方交会法标定每一个所述深度相机的外方位元素；
S23：采用外方位元素捆绑调整优化算法对所述深度相机的外方位元素进行整体的迭代优化，得到每个所述深度相机的坐标系到世界坐标系的旋转平移矩阵；
S24：将所述深度相机的坐标系到世界坐标系的旋转平移矩阵设置为所述标定结果。
如图5所示，所述深度相机依次获取各个视角下的所述被测双足的深度图像包括如下步骤：
S31：每次获取每个所述深度相机的至少5帧深度图像，取所述至少5帧深度图像的均值得到一张新的深度图像；
在本发明的一种实施例中，每个深度相机获取5帧深度图像，然后在每帧深度图像的在每一个像素点取5幅图中同一位置深度值的均值，作为新深度图像中该像素位置的值，所以是有5幅图计算得到了一张新的深度图像。
每次测量时，每个相机连续采集5帧深度数据，并求取其均值作为最终使用的深度数据，可以增强深度数据的稳定性，有效避免由于深度数据缺失、跳动对测量结果稳定性造成的影响。
S32：对所述新的深度图像进行高斯滤波，滤除边缘点杂点得到滤波后的深度图像；
在点云数据处理方面，对原始点云数据进行适当滤波，去除飞点、杂点，在保证测量结果准确的前提下，提高测量结果的可靠性。
S33：所述滤波后的所述深度图像通过以下公式重建原始三维点云：
其中，f是焦距，cx、cy是主点偏差，Xij是所述深度图像第i行第j列对应在所述深度相机的坐标系里的X坐标；Yij是所述深度图像第i行第j列对应在所述深度相机的坐标系里的Y坐标；Zij是所述深度图像第i行第j列的深度值。
如图6所示，得到所述被测双足的完整的三维模型包括如下步骤：
S51：将每个所述深度相机得到的所述三维点云数据转换到同一所述世界坐标系下；
具体的，将每个深度相机得到的三维点云数据乘以相应的深度相机到世界坐标系的旋转平移矩阵，就可以将所有点云转换到同一所述世界坐标系下。
S52：利用全局迭代最邻近点算法将转换到同一所述世界坐标系下的所述三维点云数据做点云配准，使得所述三维点云数据配准的累积误差降到设定的最低阈值；
全局迭代最邻近点算法，也叫全局注册，即迭代最近点(Iterative ClosestPoint,ICP)算法的改进，是一种点云匹配算法。迭代最近点(Iterative Closest Point,ICP)算法是针对两幅三维点云数据配准，而全局迭代最邻近点算法是对多幅三维点云数据配准。迭代最近点(Iterative Closest Point,ICP)算法思想是：通过旋转、平移使得两个点集之间的距离最小。通过如上步骤，可以减少点云整体配准误差。
在全局迭代最邻近点算法中包括最低阈值来控制循环的结束，用于进行误差控制。一般会设置到0.001毫米或者更小的数值，可以根据需要设置。
S53：对点云配准以后的所述三维点云数据设置景深框并剔除所述景深框范围以外的三维点云数据，只保留所述被测双足的三维点云数据；
S54：对所述被测双足的三维点云数据进行滤波去噪操作；
S55：利用泊松重建方法，由所述被测双足的三维点云数据得到第一被测双足网格模型；
此处得到的第一被测双足网格模型表面比较粗糙，与正常足部表面不符。
S56：对所述第一被测双足网格模型进行拉普拉斯光顺得到第二被测双足网格模型；
通过对第一被测双足网格模型的表面进行平滑处理使得到的第二被测双足网格模型更接近正常足部表面。可以理解的是，平滑在保持细节的前提下进行，处理后的第二被测双足网格模型足部特征点明显且表面平滑。
S57：对所述第二被测双足网格模型进行网格化得到所述被测双足三维模型。
在网格数据处理方面，利用泊松重建的方法，生成三角网格，然后进行网格去孤立项、重新网格化、光顺等，使得生成的足部三维模型更加美观。
如图7所示，是本发明的一种双足三维扫描方法的流程图。流程图中以5个深度相机为例。
如图8所示，是本发明的的方法获取的足部三维模型的示意图。
本发明的方法使用深度相机采集双足三维数据，深度相机具有价格便宜、外观小巧等特点，且深度值精度在毫米量级，其测量得到的双足三维模型，完全可以满足鞋类定制、足部矫正等消费领域对双足尺寸提取的需求。使用深度相机为三维数据获取手段，在保证测量精度的前提下，使得设备外观更轻巧，并且成本更低。相比线激光扫描仪，使用深度相机的方式，设备无需步进电机、导轨等运动控制机构，无硬件控制电路，机械结构简单。
如图9所示，本发明还提供一种双足三维扫描装置，包括：深度相机，包括采用如上任一所述的方法获取被测双足的三维模型的模块。深度相机为5个，4个位于所述被测双足的上方，图中示出的为深度相机1和深度相机2，其余两个未视出，用于获取所述被测双足的足背的三维点云；1个深度相机3位于被测双足的足底下方，用于获取被测双足的足底的三维点云。
在本发明的一种实施例中，双足三维扫描装置还包括：
玻璃台面4，用于承载所述被测双足；
平面反射镜5，设置于玻璃台面下面，平面反射镜的镜面与铅垂线的夹角为30°，获取被测双足的足底的三维点云的深度相机3安装在平面反射镜5的前方。
这里的夹角为30°-45°可用于节省空间，并能保证深度相机的采集角度。可以理解的，根据角度不同，设备尺寸也会适应性改变。
玻璃台面4是超白钢化玻璃，且所述玻璃台面的下表面镀红外增透减反膜，可以有效减少反射面，消除反射光对散斑的影响。
平面反射镜5是前镀膜镜，减少光线折射对散斑的影响。
获取所述被测双足的足底的三维点云的深度相机3的镜头上安装遮光罩，消除投射器直接投射到足底的散斑，只保留经平面镜反射到足底的散斑，提高散斑质量。
玻璃台面、平面反射镜和双足三维扫描装置的本体组成的腔体6的内部喷涂黑色吸光材质，减少消除光线在腔体内多次反射对散斑质量的影响。
通过几何光学、物理光学分析，通过硬件改进对技术组合应用解决双足三维扫描中的问题，有效提高深度相机散斑图质量，得到较为完整的足底深度数据。
如图10所示，本发明再提供一种双足三维扫描系统，包括：
第一单元，用于调整至少两个深度相机的视角以使所述深度相机获取被测双足的深度图像；
第二单元，用于标定每一个所述深度相机的外方位元素并得到标定结果，所述外方位元素是指所述深度相机的坐标系到世界坐标系的转换关系；
第三单元，用于通过所述深度相机依次获取多个视角下的所述被测双足的深度图像，其中，所述深度图像与所述深度相机的彩色图像是对齐的；
第四单元，用于对采集到的多个视角下的所述被测双足的深度图像进行三维点云重建，得到所述被测双足对应的三维点云数据集合，其中，所述三维点云数据集合包括多幅点云；
第五单元，用于根据所述标定结果对所述三维点云数据集合进行拼接，将每个所述被测双足的三维点云数据转换到同一所述世界坐标系下，并做点云配准，以得到所述被测双足的三维模型。
本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
