基于MR眼镜的地下管网教学辅助系统及方法
技术领域
本发明涉及一种地下管网信息增强教学辅助系统及方法，尤其是一种基于MR眼镜的地下管网教学辅助系统及方法。
背景技术
传统地下管网探测及巡检中，地下管网的具体位置确定主要依托于检测仪器与二维施工图纸，但是定位结果不精准，定位过程不直观，二维施工图纸的使用需要经常结合各种测量工具，非常繁琐。同样在教学中也存在这样的问题，这对管网检测领域的入门学生造成了较大困扰。目前在地下管网领域仍未有一个直观高效的解决方案。
随着混合现实技术的快速发展，混合现实眼镜变得更为轻便且易于穿戴，依托于多种交互方式，便于操作。通过设备内置的测量单元、环境理解摄像机、深度传感器，混合现实眼镜能够对环境进行较高准确度的空间扫描与定位，并基于三维显示与虚拟图形渲染，增强显示真实环境中不存在的虚拟对象、数据、影响信息，在显示的同时保证显示定位的准确性。因而混合现实眼镜能较好的实现携带便捷，实时交互，定位精准，虚实结合的使用效果。
在地下管网探测及巡检中采用混合现实技术，将实时场景与增强显示信息结合，实现在巡检的信息化、智能化、高效化。
发明内容
发明目的：提供一种基于MR眼镜的地下管网教学辅助系统及方法，能够将实时场景与增强显示信息结合，实现在巡检的信息化、智能化、高效化。
技术方案：本发明所述的基于MR眼镜的地下管网教学辅助系统，包括空间感知模块、识别对比模块、输入模块、混合现实模块以及输出模块；
所述的空间感知模块用于获取地下管网实训场地的三维场景信息，并将实时的三维场景信息发送至识别比对模块和输出模块；
所述的识别对比模块用于比对确认实时的三维场景信息中当前区域是否为已映射空间；
所述的输入模块用于在识别比对模块确认为已映射空间后获取交互指令；
所述的混合现实模块用于根据输入模块的交互指令生成待渲染的辅助加强信息，并将辅助加强信息发送至输出模块；
所述的输出模块用于接收辅助加强信息和三维场景信息，并根据辅助加强信息和三维场景信息对三维影像进行虚拟渲染形成增强影像信息，再将增强影像信息发送至混合现实眼镜用于叠加呈现。
进一步的，所述的混合现实模块包括虚拟管网融合子模块、管网信息添加子模块以及管网事故呈现子模块；
所述的虚拟管网融合子模块用于在输入模块获取到相应交互指令后根据施工布置图和现场测绘数据进行真实建模的融合；
所述的管网信息添加子模块用于在输入模块获取到相应交互指令后附加地下管网的管道类型、材质、管径以及埋深；
所述的管网事故呈现子模块用于在输入模块获取到相应交互指令后呈现地下管网的两种管道事故，包括管道爆炸和管道漏水。
进一步的，所述的输入模块在获取交互指令时，采用焦点及手势相结合的交互方式，和/或语音交互的交互方式；所述的焦点及手势相结合的交互方式是通过焦点确定交互区域，再配合手势操控交互内容。
进一步的，所述的输出模块包括虚拟渲染子模块以及混合现实呈现子模块；
所述的虚拟渲染子模块用于接收混合现实模块发送的辅助加强信息以及空间感知模块发送的三维场景信息，并根据辅助加强信息以及三维场景信息对三维影像进行虚拟渲染，形成增强影像信息；
所述的混合现实呈现子模块用于接收虚拟渲染子模块传送的增强影像信息，并将增强影像信息发送至混合现实眼镜。
进一步的，所述的三维场景信息包括场景视角及深度信息。
本发明还提供了一种基于MR眼镜的地下管网教学辅助方法，包括如下步骤：
步骤1，实时获取地下管网实训场地的三维场景信息；
步骤2，根据三维场景信息判断当前区域是否为已映射空间，若不是已映射空间，则返回步骤1继续获取三维场景信息，若是已映射空间，则进入步骤3；
步骤3，实时获取交互指令；
步骤4，根据交互指令生成待渲染的辅助加强信息；
步骤5，根据辅助加强信息和三维场景信息对三维影像进行虚拟渲染形成增强影像信息，再将增强影像信息发送至混合现实眼镜用于叠加呈现。
进一步的，步骤1中，三维场景信息包括场景视角及深度信息。
进一步的，步骤4中，辅助加强信息包括虚拟管网融合、管网信息添加以及管网事故呈现三个方面的辅助加强；
所述的虚拟管网融合用于依据相应的交互指令根据施工布置图和现场测绘数据进行真实建模的融合；
所述的管网信息添加用于依据相应的交互指令附加地下管网的管道类型、材质、管径以及埋深；
所述的管网事故呈现用于依据相应的交互指令呈现地下管网的两种管道事故，包括管道爆炸和管道漏水。
进一步的，所述的交互指令在获取时，采用焦点及手势相结合的交互方式，和/或语音交互的交互方式；所述的焦点及手势相结合的交互方式是通过焦点确定交互区域，再配合手势操控交互内容。
进一步的，步骤5中，在对三维影像进行虚拟渲染形成增强影像信息时，具体步骤为：
接收辅助加强信息以及三维场景信息，并根据辅助加强信息以及三维场景信息对三维影像进行虚拟渲染，形成增强影像信息；
将增强影像信息发送至混合现实眼镜。
本发明与现有技术相比，其有益效果是：本发明通过空间感知模块能够确保感知形成的空间映射能如实反映地下管网探测及巡检场地的实际情况，也保证了最终混合现实模块能准确的叠加在混合现实眼镜所看到的地面上。
附图说明
图1为本发明系统的组成示意图；
图2为本发明方法的工作流程图；
图3为本发明系统的空间感知模块的组成示意图；
图4为本发明系统的管网信息添加子模块的内容示意图；
图5为本发明系统的人机交互示意图。
具体实施方式
下面结合附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
本发明提供了一种基于MR眼镜的地下管网教学辅助系统和方法，致力于解决目前地下管网探测及巡检常规作业与日常教学同时存在定位结果不精确，定位过程不直观，定位操作较繁琐的问题；MR全称Mixed Reality，即混合现实技术，是虚拟现实技术的进一步发展。它是通过在虚拟环境中引入现实场景信息，将虚拟世界、现实世界和用户之间搭起一个交互反馈信息的桥梁，从而增强用户体验的真实感。MR技术的关键点就是与现实世界进行交互和信息的及时获取，也因此它的实现需要在一个能与现实世界各事物相互交互的环境中。
实施例1：
如图1所示，本发明提供了一种基于MR眼镜的地下管网教学辅助系统，包括空间感知模块、识别对比模块、输入模块、混合现实模块以及输出模块；
所述的空间感知模块用于获取地下管网实训场地的三维场景信息，并将实时的三维场景信息发送至识别比对模块和输出模块；空间感知模块安装在地下管网探测及巡检实训操作人员头部位置，通过感知操作人员的方向、位置偏移以及环境深度来实现对实训场地的三维场景的空间映射与信息采集；
所述的识别对比模块用于比对确认实时的三维场景信息中当前区域是否为已映射空间；
所述的输入模块用于在识别比对模块确认为已映射空间后获取交互指令；
所述的混合现实模块用于根据输入模块的交互指令生成待渲染的辅助加强信息，并将辅助加强信息发送至输出模块；
所述的输出模块用于接收辅助加强信息和三维场景信息，并根据辅助加强信息和三维场景信息对三维影像进行虚拟渲染形成增强影像信息，再将增强影像信息发送至混合现实眼镜用于叠加呈现。
如图3所示，空间感知模块配备了一个IMU惯性测量单元、四个可见光摄像机以及一个深度传感器；地下管网探测及巡检场地往往出现大面积同材质地面，而空间感知模块利用四个可见光摄像机，基于视差原理，捕获真实环境图像并从中提取特征点，之后匹配相邻帧图像的特征点，通过特征点相对位置的变化来反向推出设备转动的角度和产生的位移，形成对环境的初步感知；同时由于场地大带来的高计算量，空间感知模块通过深度传感器，基于ToF原理，结合原先获得的方向、位移信息，更高效的转化场景信息为三维点云；而此时形成的位置信息精确度有限，容易导致最终渲染的混合现实影响不能稳定的呈现，因而需要IMU惯性测评单元来完成最终的位姿确定；通过空间感知模块传感器之间的配合，从而确保感知形成的空间映射能如实反映地下管网探测及巡检场地的实际情况，也保证了最终混合现实模块，尤其是虚拟管网融合子模块的模型能准确的叠加在混合现实眼镜所看到的地面上。
进一步的，所述的混合现实模块包括虚拟管网融合子模块、管网信息添加子模块以及管网事故呈现子模块；
所述的虚拟管网融合子模块用于在输入模块获取到相应交互指令后根据施工布置图和现场测绘数据进行真实建模的融合；
所述的管网信息添加子模块用于在输入模块获取到相应交互指令后附加地下管网的管道类型、材质、管径以及埋深，如图4所示；
所述的管网事故呈现子模块用于在输入模块获取到相应交互指令后呈现地下管网的两种管道事故，包括管道爆炸和管道漏水，如图4所示。
进一步的，所述的输入模块在获取交互指令时，采用焦点及手势相结合的交互方式，和/或语音交互的交互方式；所述的焦点及手势相结合的交互方式是通过焦点确定交互区域，再配合手势操控交互内容；在实训操作时也支持通过语音进行多元化输入完成相应加载。如图5所示，输入模块通过红外摄像机、可见光摄像机以及麦克风阵列组成实现对眼动、手势和语音的采集。
进一步的，所述的输出模块包括虚拟渲染子模块以及混合现实呈现子模块；
所述的虚拟渲染子模块用于接收混合现实模块发送的辅助加强信息以及空间感知模块发送的三维场景信息，并根据辅助加强信息以及三维场景信息对三维影像进行虚拟渲染，形成增强影像信息；所述的辅助加强信息包括虚拟管网融合子模块融合的模型、管网信息添加子模块添加的参数以及管网事故呈现子模块的管道事故三维影像信息；
所述的混合现实呈现子模块用于接收虚拟渲染子模块传送的增强影像信息，并将增强影像信息发送至混合现实眼镜，叠加显示在地下管网探测及巡检实训场地的地面上。
进一步的，所述的三维场景信息包括场景视角、位置偏移及深度信息。
如图5所示，为输入模块、混合现实模块、输出模块与空间感知模块的人机交互示意图，地下管网探测及巡检人员发出的不同指令类型被对应的传感装置实时采集，并转化为输入模块中对应的计算机指令，依据指令加载混合现实模块的各个子模块，但是此时直接进行渲染并叠加显示会导致增强影像信息无法准确的出现在本应出现的位置上，对实际的探测及检测作业造成干扰；因而空间感知模块在获取场景位姿数据之外，还会依据操作人员眼动状态、双摄像头视角进行实时调整，从而保证了最终叠加显示的准确性。
实施例2：
如图2所示，本发明还提供了一种基于MR眼镜的地下管网教学辅助方法，包括如下步骤：
步骤1，实时获取地下管网实训场地的三维场景信息；
步骤2，根据三维场景信息判断当前区域是否为已映射空间，是通过比较当前区域与系统内存储空间映射数据来实现判断的，若不是已映射空间，则返回步骤1继续获取三维场景信息，若是已映射空间，则进入步骤3；
步骤3，实时获取交互指令；
步骤4，根据交互指令生成待渲染的辅助加强信息；
步骤5，根据辅助加强信息和三维场景信息对三维影像进行虚拟渲染形成增强影像信息，再将增强影像信息发送至混合现实眼镜用于叠加呈现。
进一步的，步骤1中，三维场景信息包括场景视角及深度信息。
进一步的，步骤4中，辅助加强信息包括虚拟管网融合、管网信息添加以及管网事故呈现三个方面的辅助加强；
所述的虚拟管网融合用于依据相应的交互指令根据施工布置图和现场测绘数据进行真实建模的融合；
所述的管网信息添加用于依据相应的交互指令附加地下管网的管道类型、材质、管径以及埋深；
所述的管网事故呈现用于依据相应的交互指令呈现地下管网的两种管道事故，包括管道爆炸和管道漏水。
进一步的，所述的交互指令在获取时，采用焦点及手势相结合的交互方式，和/或语音交互的交互方式；所述的焦点及手势相结合的交互方式是通过焦点确定交互区域，再配合手势操控交互内容。
进一步的，步骤5中，在对三维影像进行虚拟渲染形成增强影像信息时，具体步骤为：
接收辅助加强信息以及三维场景信息，并根据辅助加强信息以及三维场景信息对三维影像进行虚拟渲染，渲染混合现实眼镜对应场景视角和与深度的三维影像，形成增强影像信息；
将增强影像信息发送至混合现实眼镜，叠加显示在地下管网探测及巡检实训场地的地面，辅助操作人员进行教学、实训、巡检操作。
本发明提供的一种基于MR眼镜的地下管网教学辅助系统和方法，有效解决了目前地下管网探测及巡检常规作业与日常教学同时存在定位结果不精确，定位过程不直观，定位操作较繁琐的问题，将实时场景与增强显示信息结合，使得地下管网在不开挖的情况下能被直观形象识别，提升了教学效果与巡检效率。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。
