一种快速的三维图像获取方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种快速的三维图像获取方法。
背景技术
三维重建技术是计算机视角的一个分支，是计算机视角和计算机图形图像处理相结合的一个研究方向。它广泛的用于工业自动化、逆向工程、文物保护、计算机辅助医疗、虚拟现实、增强现实和机器人应用等场景
虚拟现实(VR)是一种新兴的“专业级应用”，其有潜力彻底改变现有处理各种任务的方式。拍摄一个360度全景视频并用于创建一个计算机建模的3D空间。然后，用户戴上特制的护目镜如头戴式显示器(HMD)，其能主动选择并改变用户视角以获取身临其境的体验。
然而，现有技术中，对于以VR显示端视角进行的图像确定步骤复杂、计算量大，导致系统响应慢，用户体验流畅性低，且，所显示的三维图像不能自适应VR显示端，尤其是当针对实时目标物体进行三维重建，此问题更加突出。
故，有必要提供一种技术方案，以解决上述技术问题。
发明内容
有鉴于此，本发明实施例提供了一种快速的三维图像获取方法，其通过合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，通过对视角权重的调整，可自适应VR显示端，如此可大大提高系统流畅性，增强用户体验。
本发明实施例的第一方面提供了一种快速的三维图像获取方法，应用于VR显示终端，所述获取方法包括：
获取所述VR显示终端与地面的距离；
根据所述距离，调整虚拟摄像机互动视角；
根据所述互动视角与所述距离，确定虚拟场景中的场景元素数据以及所述场景元素数据对应的第一视角权重；
根据所述场景元素数据以及所述第一视角权重，显示所确定的三维图像。
优选的，在本发明中，所述根据所述距离，调整虚拟摄像机互动视角包括：
调整VR显示终端与所述虚拟摄像机的第一视角信息；
调整所述虚拟摄像机与中心场景的第二视角信息。
优选的，在本发明中，还包括：根据所述VR显示终端的配置信息以及所述三维图像的匹配信息确定第二视角权重。
优选的，在本发明中，根据所述场景元素数据以及所述第二视角权重，显示所确定的三维图像或者二维图像。
优选的，在本发明中，所述虚拟场景获取包括：
S1：获取多目相机在移动过程中每个摄像头拍摄的视频；
S2：根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正。
S3：提取所述待处理视频中所述目标物体编码数据、定位数据；
S4：根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；
S5：根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型；
S6：将所述第一三维重建模型与第二三维重建模型进行融合，形成所述虚拟场景。
优选的，在本发明中，获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视角原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
本发明实施例与现有技术相比存在的有益效果是：一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端。另一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高系统流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种快速的三维图像获取方法的实现流程示意图；
图2是本发明实施例二提供的一种快速的三维图像获取方法所对应的虚拟场景的实现流程示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
如图1所示，为本发明实施例的第一方面提供了一种快速的三维图像获取方法，应用于VR显示终端，所述获取方法包括：
获取所述VR显示终端与地面的距离；
根据所述距离，调整虚拟摄像机互动视角；
根据所述互动视角与所述距离，确定虚拟场景中的场景元素数据以及所述场景元素数据对应的第一视角权重；
根据所述场景元素数据以及所述第一视角权重，显示所确定的三维图像。
其中，获取VR显示终端与地面的距离是用于确定用户最佳视角高度；通过最佳视角高度，同时也是符合人眼视觉效果，以提高用户的体验感。调整互动视角是用于确定用户视线角度以及虚拟场景自适应最佳场景角度，在提高用户使用体验感同时，也对虚拟场景最出最佳、最优化的模拟。获取的三维图像是可以根据第一视角权重以及VR显示端配置信息进行调整，以达到符合VR显示端的最佳显示效果，即实现三维图像自适应VR显示端，也进一步提高了用户的体验感。
优选的，在本发明中，所述根据所述距离，调整虚拟摄像机互动视角包括：
调整VR显示终端与所述虚拟摄像机的第一视角信息；
调整所述虚拟摄像机与中心场景的第二视角信息。
其中，通过调整第一视角信息、第二视角信息是用于根据用户在虚拟1080场景中确定三维角度信息，用于准确获取用户的关注视角，同时也可以进行其他调整视角，以符合用户所需要的视角。
优选的，在本发明中，还包括：根据所述VR显示终端的配置信息以及所述三维图像的匹配信息确定第二视角权重。
其中，当根据VR显示终端的距离、互动视角确定的第一视角权重的情况，再次根据VR显示终端的配置信息以及三维图像的匹配信息确定第二视角权重，则是为了进一步或者是至少有一个视角权重可用于获取三维图像，且第一视角权重与第二视角权重是可以相互作用的，用于更加精确提供三维图像、甚至可以是二位图像以及其他图像。
优选的，在本发明中，根据所述场景元素数据以及所述第二视角权重，显示所确定的三维图像或者二维图像。
如图2所示，为本发明所提供的一种快速的三维图像获取方法所对应的虚拟场景生成方法，具体的，在本发明中，所述虚拟场景获取包括：
S1：获取多目相机在移动过程中每个摄像头拍摄的视频；
S2：根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正。
S3：提取所述待处理视频中所述目标物体编码数据、定位数据；
S4：根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；
S5：根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型；
S6：将所述第一三维重建模型与第二三维重建模型进行融合，形成所述虚拟场景。
优选的，在本发明中，获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
具体的，所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
具体的，所述根据所述待处理视频提取关键帧包括：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。
优选的，在本发明中，所述根据所述待处理视频提取关键帧包括：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
其中，将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；
提取所有关键帧的角点，用ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述的算法)描述子描述角点；
匹配任意两个关键帧，用单应性矩阵或基础矩阵约束匹配点，剔除误匹配点(例如用RANSAC方法剔除误匹配点)；选择单应性矩阵或基础矩阵的依据是满足哪个矩阵的匹配点数更多就选择哪个矩阵；
优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态(R，t)，利用基础矩阵和摄像头的相机矩阵计算本质矩阵，从本质矩阵中分解出四对相机姿态(R，t)，其中，R表示旋转矩阵，t表示平移向量，用四对相机姿态(R，t)将匹配点的三维坐标解算出四组点云；
将在两个摄像头的前方的一组点云对应的相机姿态(R，t)作为正确的相机姿态(R，t)；
将正确的相机姿态(R，t)和点云投影到零系，零系是指第一个关键帧对应的摄像头坐标系；
利用光束平差法做优化，将零系中的所有三维点，根据每个关键帧的相机姿态(R，t)投影到每个关键帧上，计算每个三维点的投影误差，并调整每个关键帧的相机姿态(R，t)(例如用LM算法)，多次迭代(例如迭代100次就足够达到收敛的次数，通常情况下十几次或几十次就收敛了)，将投影误差降到最小。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视角原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
其中，将所述目标物体的表面进行三维测量时，得到目标物体的局部表面的第一散斑图像和第二散斑图像，
具体是采用左相机和右相机以不同的视角，分别对所述局部区域的表面同时进行拍摄，得到左散斑图像(第一散斑图像)和右散斑图像(第二散斑图像)。
根据所述整像素级对应点，以及所述第一散斑图像中的各像素点坐标，对所述第二散斑图像进行亚像素对应点搜索，得到所述第二散斑图像中的亚像素对应点。
利用双目立体视觉原理，结合所述第二散斑图像的亚像素的对应关系进行三维重建，得到所述目标物体表面的第二三维重建模型数据。
将所述第二三维重建模型变换到全局坐标系下，根据所述重叠区将所述第二三维重建模型数据与所述第一三维重建模型数据进行配准，更新所述第一三维重建模型数据。
如此，本发明所提供的技术方案，一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端。另一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高系统流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
