一种实时三维全景信息互动影息系统
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种实时三维全景信息互动影息系统。
背景技术
三维重建技术是计算机视觉的一个分支，是计算机视觉和计算机图形图像处理相结合的一个研究方向。它广泛的用于工业自动化、逆向工程、文物保护、计算机辅助医疗、虚拟现实、增强现实和机器人应用等场景
虚拟现实(VR)是一种新兴的“专业级应用”，其有潜力彻底改变现有处理各种任务的方式。拍摄一个360度全景视频并用于创建一个计算机建模的3D空间。然后，用户戴上特制的护目镜如头戴式显示器(HMD)，其能主动选择并改变用户视角以获取身临其境的体验。
现有技术通常利用基于普通镜头的多目相机采集图像，然后通过SFM(StructureFrom Motion，运动恢复结构)算法进行三维重建。然而普通镜头的视场角比较窄，采集的图像不能覆盖完整的角度，相邻两个镜头的重合度比较低，因此三维重建的鲁棒性较差。且针对现有技术中，对于实时目标物体的三维重建，并未有合适与三维重建模型相融合，导致虚拟场景中的真实性差、降低使用者的体验感。尤其是，在三维重建模型过程中，用户进行交互的同时，导致虚拟场景不流程，严重影响用户使用与交流。
且进一步，现有技术中，对于以VR显示端视角进行的图像确定步骤复杂、计算量大，导致系统响应慢，用户体验流畅性低，且，所显示的三维图像不能自适应VR显示端，尤其是当针对实时目标物体进行三维重建，此问题更加突出。
故，有必要提供一种技术方案，以解决上述技术问题。
发明内容
有鉴于此，本发明实施例提供了一种实时三维全景信息互动影息系统。
本发明实施例的第一方面提供了一种实时三维全景信息互动影息系统，所述互动影息系统包括：VR端、云端：
其中，所述VR端包括：
定位模块，用于获取VR显示端与地面的距离；根据所述距离，调整虚拟摄像机互动视角；
第一信息采集模块，用于实时获取用户的生理特征信号、语音信号；
第二信息采集模块，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；
处理器模块，用于根据所述生理特征信号、所述语音信号，触发相应的控制信号；
信息传输模块，用于将所述控制信号发送至所述VR显示端；
所述VR显示端，用于显示所述控制信号；
所述云端，包括：
第一处理器，用于用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；
第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；
三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合，形成实时三维模型；
优选的，在本发明中，所述云端还包括：点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
优选的，在本发明中，所述VR显示端，还可用于显示所述实时三维模型。
优选的，在本发明中，所述第一信息采集模块包括心率传感器，呼吸传感器和温度传感器；
所述心率传感器，用于实时获取用户的心率感应信号；
所述呼吸传感器，用于实时获取用户的呼吸频率信号；
所述温度传感器，用于实时获取用户的体温感应信号；
所述心率传感器、呼吸传感器和温度传感器均与处理器模块连接。
优选的，在本发明中，所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
优选的，在本发明中，所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视觉原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
本发明实施例与现有技术相比存在的有益效果是：一方面，通过获取用户的生理特征信号或者语音信号等，实现多人VR交互，提升用户体验；一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端；一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高系统流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理视频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种实时三维全景信息互动影息系统的结构示意图；
图2是本发明实施例二提供的一种实时三维全景信息互动影息系统所对应的虚拟场景的实现流程示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
如图1所示，为本发明实施例的第一方面提供了一种实时三维全景信息互动影息系统，所述互动影息系统包括：VR端、云端：
其中，所述VR端包括：
定位模块，用于获取VR显示端与地面的距离；根据所述距离，调整虚拟摄像机互动视角；
第一信息采集模块，用于实时获取用户的生理特征信号、语音信号；
第二信息采集模块，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；
处理器模块，用于根据所述生理特征信号、所述语音信号，触发相应的控制信号；
信息传输模块，用于将所述控制信号发送至所述VR显示端；
所述VR显示端，用于显示所述控制信号；
所述云端，包括：
第一处理器，用于用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；
第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；
三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合，形成实时三维模型；
优选的，在本发明中，所述云端还包括：点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
优选的，在本发明中，所述VR显示端，还可用于显示所述实时三维模型。
优选的，在本发明中，所述第一信息采集模块包括心率传感器，呼吸传感器和温度传感器；
所述心率传感器，用于实时获取用户的心率感应信号；
所述呼吸传感器，用于实时获取用户的呼吸频率信号；
所述温度传感器，用于实时获取用户的体温感应信号；
所述心率传感器、呼吸传感器和温度传感器均与处理器模块连接。
优选的，在本发明中，所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
优选的，在本发明中，所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视觉原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
在本发明中，一方面，通过获取用户的生理特征信号或者语音信号等，实现多人VR交互，提升用户体验；一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端；一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高系统流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理视频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
如图2所示，为本发明所提供的一种实时三维全景信息互动影息系统所对应的虚拟场景生成方法，具体的，在本发明中，所述虚拟场景获取包括：
S1：获取多目相机在移动过程中每个摄像头拍摄的视频；
S2：根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正。
S3：提取所述待处理视频中所述目标物体编码数据、定位数据；
S4：根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；
S5：根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型；
S6：将所述第一三维重建模型与第二三维重建模型进行融合，形成所述虚拟场景。
优选的，在本发明中，获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
具体的，所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
具体的，所述根据所述待处理视频提取关键帧包括：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。
优选的，在本发明中，所述根据所述待处理视频提取关键帧包括：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
其中，将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；
提取所有关键帧的角点，用ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述的算法)描述子描述角点；
匹配任意两个关键帧，用单应性矩阵或基础矩阵约束匹配点，剔除误匹配点(例如用RANSAC方法剔除误匹配点)；选择单应性矩阵或基础矩阵的依据是满足哪个矩阵的匹配点数更多就选择哪个矩阵；
优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态(R，t)，利用基础矩阵和摄像头的相机矩阵计算本质矩阵，从本质矩阵中分解出四对相机姿态(R，t)，其中，R表示旋转矩阵，t表示平移向量，用四对相机姿态(R，t)将匹配点的三维坐标解算出四组点云；
将在两个摄像头的前方的一组点云对应的相机姿态(R，t)作为正确的相机姿态(R，t)；
将正确的相机姿态(R，t)和点云投影到零系，零系是指第一个关键帧对应的摄像头坐标系；
利用光束平差法做优化，将零系中的所有三维点，根据每个关键帧的相机姿态(R，t)投影到每个关键帧上，计算每个三维点的投影误差，并调整每个关键帧的相机姿态(R，t)(例如用LM算法)，多次迭代(例如迭代100次就足够达到收敛的次数，通常情况下十几次或几十次就收敛了)，将投影误差降到最小。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视角原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
其中，将所述目标物体的表面进行三维测量时，得到目标物体的局部表面的第一散斑图像和第二散斑图像，
具体是采用左相机和右相机以不同的视角，分别对所述局部区域的表面同时进行拍摄，得到左散斑图像(第一散斑图像)和右散斑图像(第二散斑图像)。
根据所述整像素级对应点，以及所述第一散斑图像中的各像素点坐标，对所述第二散斑图像进行亚像素对应点搜索，得到所述第二散斑图像中的亚像素对应点。
利用双目立体视觉原理，结合所述第二散斑图像的亚像素的对应关系进行三维重建，得到所述目标物体表面的第二三维重建模型数据。
将所述第二三维重建模型变换到全局坐标系下，根据所述重叠区将所述第二三维重建模型数据与所述第一三维重建模型数据进行配准，更新所述第一三维重建模型数据。
如此，本发明所提供的技术方案，一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端。另一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高系统流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
