混合现实高仿真战现场急救训练平台及其训练方法
技术领域
本发明涉及虚实结合和训练器具技术领域，具体涉及一种混合现实高仿真战现场急救训练平台及其训练方法。
背景技术
近年，新兴技术与医学领域的深入交叉融合加速推动着医学教育教学的改革。《新媒体联盟地平线报告：2019高等教育版》指出：移动学习、分析技术、混合现实(mixedreality， MR)、人工智能、区块链和虚拟助理等六项技术将成为促进高等教育与训练的关键技术。其中，MR是指通过计算机、图像处理、人工交互技术等生成的虚实结合的可视化环境，可实现使用者与现实世界和虚拟世界交互以及虚拟世界和现实世界的内容交互。战伤急救训练具有自身的特殊性，如战救技术需要和战术背景结合进行训练、常需要团队协作完成等；同时战伤自救互救很多情况下是由作战人员实施，而作战人员通常没有医学背景，缺乏战现场急救的救治决策知识。
针对战现场急救的特殊性，有必要建立以特定环境(如高原或海岛等)为战术背景、以混合现实为基础的高仿真战伤自救互救训练平台，并提出相应的训练方法，以训练作战人员在战现场急救中快速准确决策和团队协作能力。
发明内容
有鉴于此，本发明的目的在于提供一种以高原作战为背景的、基于团队协作和移动式混合现实的高仿真战现场急救训练平台。该平台设置有训练和考核2个模式，可实现对受训人员的培训和考核。该平台附带有监测、定位和传输系统，教员可根据需要实时显示或切换不同受训人员的救治操作界面，还可通过上帝视角，显示训练过程中多人协作救治场景整体界面，实现教员对训练过程的观摩、指导、示教和教学需求设计，并提供规范的训练方法进行全流程体验训练，解决了现有技术存在的战术背景与战救训练脱离，受训人员普遍缺乏战术背景下的战现场急救正确决策以及救治过程中的组织实施和团队协作能力不足的问题。
本发明之一通过以下技术方案实现：
混合现实高仿真战现场急救训练平台，由硬件部分和软件部分构成，所述硬件部分包括数据处理系统、实时监控系统、头戴式显示设备、智能射击器械、穿戴式感知器械和操纵手柄，所述软件部分包括3D战场场景模拟系统、3D伤情模拟系统、伤情救治决策系统以及可移动大空间团队协作和虚拟交互系统。
所述3D战场场景模拟系统包括地理环境3D模型和战斗场景3D模型，
所述地理环境3D模型包括地形层、地表层、植被层、建筑层和环境层，用地形层还原训练环境的地形结构及形态，用地表层还原地表形态，植被层还原植被情况，建筑层还原建筑结构和外貌，环境层还原环境光和天气，
所述战斗场景3D模型包括战斗人物、武器装备、战斗协同、战斗氛围营造等；
所述3D伤情模拟系统通过3D次世代建模技术进行伤情的高仿真模拟，对创面的大小、形态和颜色进行1：1仿真，动态伤情则通过设置动态条件触发和调用不同伤情对应动画来呈现，
所述伤情救治决策系统根据自救互救决策流程形成训练体系结构图，然后利用虚幻引擎 UE4提供的可视化图形编辑环境进行编程，用于训练人员战现场急救决策能力使用；
所述可移动大空间团队协作和虚拟交互系统通过空间定锚共享核心技术和内向外追踪定位技术将所有人的虚拟世界根点锚定到现实世界的定锚点上，使处于不同空间位置的人相对虚拟空间位置和现实空间位置完成无误差的多人交互，实现团队协同，
所述数据处理系统包括与实时监控系统、头戴式显示设备、智能射击器械、穿戴式感知器械和操纵手柄无线连接的PC终端，PC终端设置有无线通信模块，用于接收监控信息或手柄指令，发出射击指令、穿戴式感知指令和头戴式显示指令，
所述实时监控系统包括音视频采集设备、音视频传输设备和存贮设备，所述音视频采集设备对训练人员全貌及行走空间进行全程摄像，音视频传输设备接收到该信号进行转输至PC终端，
所述头戴式显示设备佩戴于人体头部，通过无线通信与PC终端连接提供虚拟画面；
所述智能射击器械包括枪械和设置在枪械上的更换弹夹模拟装置和后坐力模拟装置，通过更换弹夹模拟装置可以感知更换弹夹操作，通过后坐力模拟装置可对人体产生6牛/平方厘米的作用反力；
所述穿戴式感知器械包括战术背心和设置在战术背心上的击中感应装置。
进一步，所述3D伤情模拟系统通过真实法线和贴图呈现创面形态，用法线贴图描绘创面的凸凹变化，用颜色贴图表现创面颜色和纹理，用高光贴图表现创面在光线照射条件下体现出的质感。
进一步，所述更换弹夹模拟装置包括设置在枪械上的触摸感应器，触摸感应器与数据处理系统通过无线通信进行交互。
进一步，所述后坐力模拟装置包括固定在枪械尾部的固定座和撞击杆，所述固定座具有一个与枪械轴线方向同轴设置的磁力发生空腔，所述磁力发生空腔远离枪械一端设置有一开口，所述撞击杆的一端通过所述开口装入磁力发生空腔内，另一端延伸出缸体，撞击杆在缸体内的一端设置铁质活塞，铁质活塞与开口的空腔内设置有电磁铁，撞击杆延伸出缸体的端部设置有撞击柄。
进一步，所述击中感应装置设置多个，多个击中感应装置在战术背心的同一圆周上均布。
进一步，所述击中感应装置包括微型震动电机、震动电源和电磁开关阀，所述电磁开关阀与数据处理系统无线连通。
本发明之二通过以下技术方案实现：
采用如上所述的混合现实高仿真战现场急救训练平台进行训练的方法，通过空间定锚共享技术将所有参与人员的虚拟世界根点锚定到现实世界的定锚点上，使处于不同空间位置的人相对虚拟空间位置和现实空间位置完成无误差的多人交互，再结合内向外追踪定位方法进行大空间团队协作训练，具体的训练方法包括以下步骤：
1)穿戴好显示设备，通过操纵手柄在显示设备的虚拟世界创建房间，并选择模式和关卡，等待队员；
2)集结完成后，全体队员进入现实世界的准备区域；
3)队长进入准备区域，确认各硬件的无线通讯正常和各软件的正常使用，触发起始区域训练开始；
4)队员根据显示设备的显示，在现实场景中行进并和虚拟世界同步，通过敌人AI对敌人进行射击和躲避，通过后坐力模拟装置感知射击行为，通过击中感应装置感知被击中信号，触发伤情事件；
5)队员被击中后，队员倒地，伤情信息和方位信息通过PC终端处理后通过3D伤情模拟系统即时传递给队长，队长根据即时情况进行伤情救治指挥；
6)被指派的救治人员根据敌情、我情及战场环境等情况进行综合判断，实施救治。。
7)救治完成。
8)若为训练模式，完成战术任务、救治结束即训练结束；若为考核模式，从组织指挥和团队协作、完成战术任务、完成救治任务3个方面进行团队评分，评分完即训练结束。
进一步，所述空间定锚共享技术首先通过VR设备对每个现实场地进行3D中心定位，再通过处理器把各自的物理中心3D坐标和虚拟世界中心3D坐标进行数据对齐，最后通过网络建立 C/S服务器同步每个队员之间的虚拟空间3D坐标，并计算各自虚拟空间和现实世界对齐的坐标进行3D空间数据同步以及VR空间3D显示。
进一步，受伤方位及反馈力的反馈方法：以队员所在的位置为坐标中心建立军事方位坐标系，并以军事方位坐标0－6000对应360度进行参考计算，任一方位坐标值对应一个角度值，并在战术背心的圆周上按一定角间隔设置力反馈装置，在该坐标系里，攻击者的攻击方向与被攻击者之间的夹角即为受伤方位，该受伤方位所在的力反馈装置发出反馈信息。
本发明的有益效果在于：
本发明通过虚实结合硬件及软件的开发和组合应用，实现现实世界与虚拟世界的高度融合，高度模拟战场环境，提供对敌战斗、伤员产生、实施救治和完成战术任务的全流程体验，突出战现场救治决策及团队协作训练，且在混合现实等技术的支撑下强化了虚实结合的沉浸式训练和感知效果。本发明可实现战现场急救决策和团队协作训练及考核，解决了战现场急救训练中缺乏战术背景和团队协作训练等瓶颈问题，有助于提升自救互救实战化水平。
附图说明
图1为本发明的结构示意图；
图2为后坐力模拟装置工作时的示意图；
图3为后坐力模拟装置非工作时的示意图；
图4为空间定锚共享技术的示意图；
图5为内向外追踪技术的示意图；
图6为受伤方位及反馈力的示意图。
附图标记说明：
1－数据处理系统；2－实时监控系统；3－头戴式显示设备；4－智能射击器械；5－穿戴式感知器械；6－操纵手柄；7－枪械；8－触摸感应器；9－后坐力模拟装置；10－固定座；11－撞击杆；12－磁力发生空腔；13－铁质活塞；14－电磁铁；15－复位弹簧；16－撞击柄；17－战术背心；18－击中感应装置。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的上述描述中，需要说明的是，术语“一侧”、“另一侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“相同”等术语并不表示要求部件绝对相同，而是可以存在微小的差异。术语“垂直”仅仅是指部件之间的位置关系相对“平行”而言更加垂直，并不是表示该结构一定要完全垂直，而是可以稍微倾斜。
如图1至图6所示，本实施例的一种混合现实高仿真战现场急救训练平台，由硬件部分和软件部分构成，硬件部分用于获取、显示信息，软件部分用于分析并处理信息、虚拟现实，并提供决策，具体的，硬件部分可以包括数据处理系统1、实时监控系统2、头戴式显示设备3、智能射击器械4、穿戴式感知器械5和操纵手柄6；软件部分可以包括3D战场场景模拟系统、 3D伤情模拟系统、伤情救治决策系统以及可移动大空间团队协作和虚拟交互系统。
本实施例的3D战场场景模拟系统包括地理环境3D模型和战斗场景3D模型，地理环境3D 模型可以用多层来表达，通常情况下，可以在2－10层之间，作为一种优选，本实施例为五层，具体包括地形层、地表层、植被层、建筑层和环境层，地形层通过高精度地面还原技术和基于等高线综合的三维地形生成算法生成还原；地表层是在对地表材质进行采样和分析的基础上，采用复合材质球技术进行制作；植被层和建筑层，根据模拟战场植被情况、训练任务和假想敌目标情况使用次世代建模技术进行制作；环境层主要根据训练内容模拟不同的作战时间相对应真实环境光和天气；
本实施例的战斗场景3D模型包括通过次世代建模技术建立高精度的人物、装备及运输工具等模型，模型建成后，基于相关系统运行变量和条件判定模拟物体状态参数，系统运算和调用资源输出动画，可以使人物、装备及运输工具在显示设备中实时展示，且真实世界和虚实世界保持同步；
本实施例的3D伤情模拟系统通过3D次世代建模技术对创面的大小、形态和颜色进行1：1 仿真，具体制作流程如下：通过真实法线和贴图来呈现创面的形态，法线贴图来描绘创面细节的凸凹变化；颜色贴图来表现创面的颜色和纹理；高光贴图来表现创面在光线照射条件下体现出的质感。此外，为了呈现动态伤情，通过设置动态条件触发和调用不同伤情对应动画来呈现。
本系统中，提出了四肢大出血、气道阻塞、张力性气胸、开放性气胸、颌面部烧伤、肠脱出、开放性骨折、闭合性骨折等8种核心伤情，其中，前4种为导致可预防的战伤死亡的主要伤情，是战现场急救的重点内容；后4种为战场上比较常见的伤情，有的处理需要进行强化训练。
本实施例中，伤情救治决策系统根据自救互救决策流程形成训练体系结构图，然后利用虚幻引擎UE4提供的可视化图形编辑环境进行软件编程，训练人员战现场急救决策能力；
为实现大空间内团队协同训练且现实世界和虚拟世界同步，借助空间定锚共享核心技术，再辅以定锚修订算法将所有人的虚拟世界根点锚定到现实世界的定锚点上，使处于不同空间位置的人相对虚拟空间位置和现实空间位置完成无误差的多人交互。在此基础上，再结合内向外追踪定位方法和背包电脑计算单元，开发适用于本模拟训练系统环境的大空间团队协作和虚拟交互系统，使本平台既适用于单人训练，也适用于团队协同训练，具体的工作原理在训练方法里作进一步的阐述。
本实施例的数据处理系统包括PC终端和服务器，由于采用实时3D技术，PC终端运行系统需要有较高的内存及显存，以及较高性能的CPU和显卡，PC终端设置无线通信模块，实现与实时监控系统、头戴式显示设备、智能射击器械、穿戴式感知器械和操纵手柄进行无线通讯，用于接收监控信息或手柄指令，发出射击指令、穿戴式感知指令和头戴式显示指令，
本实施例的实时监控系统包括音视频采集设备、音视频传输设备和存贮设备，音视频采集设备采用上可以对训练人员全貌及行走空间进行全程摄像，音视频传输设备接收到该信号进行转输至PC终端，
本实施例的头戴式显示设备佩戴于人体头部，通过无线通信与PC终端和服务器连接提供虚拟画面，可对地形地貌、掩体及敌方情况进行侦察；
本实施例的智能射击器械包括枪械7及设置在枪械上的更换弹夹模拟装置和后坐力模拟装置9，通过更换弹夹模拟装置可以感知更换弹夹操作，通过后坐力模拟装置可对人体产生6牛/ 平方厘米的作用反力，枪械可以是步枪或其他手持式枪械进行改进而成。
进一步，更换弹夹模拟装置包括设置在枪械上的触摸感应器8，射击时，拍击弹夹底部进行更换弹夹模拟，触摸感应器与数据处理系统通过无线通信进行交互，
更进一步，后坐力模拟装置包括固定在枪械尾部的固定座10和撞击杆11，固定座与枪械通过螺钉连接，其具有一个与枪械轴线方向同轴设置的磁力发生空腔12，磁力发生空腔远离枪械一端设置有一开口，撞击杆的一端通过该开口装入磁力发生空腔内，另一端延伸出缸体，撞击杆在缸体内的一端设置铁质活塞13，铁质活塞与开口的空腔内设置有电磁铁14，电磁铁呈环状套装于撞击杆外围，且两者之间存在一环状空间，在环状空间内设置有复位弹簧15，复位弹簧一端作用在空间内壁上，一端使用在活塞端面，在弹性力的作用下，使活塞处于收缩状态，使用时，可以将电磁铁通电，对活塞产生吸力，克服弹性恢复力，撞击杆延伸出缸体，对人体产生后座力，同时，在撞击杆的端部设置有撞击柄16，可降低压强，提高舒适性。
本实施例中，穿戴式感知器械包括战术背心17和设置在战术背心上的击中感应装置18，所述击中感应装置设置多个，多个击中感应装置在战术背心的同一圆周上均布，使战术背心的圆周上形成多个发生方位区域，以便于接收从不同区域被击中的信息，具体的，击中感应装置包括微型震动电机、震动电源和电磁开关阀，电磁开关阀与数据处理系统无线连通。当处理系统发出信息，打开电磁开关阀，微型震动电机工作，人体感受被击中的信息，从而做出倒地等相应动作，击中感应装置的数量并不限定，可以设置多个，本实施例设置6个，均布在战术背心上。
采用如上所述的混合现实高仿真战现场急救训练平台进行训练的方法，包括以下步骤：
1)穿戴好显示设备，通过操纵手柄在显示设备的虚拟世界创建房间，并选择模式和关卡，等待队员；
2)集结完成后，全体队员进入现实世界的准备区域；
3)队长进入准备区域，确认各硬件的无线通讯正常和各软件的正常使用，触发起始区域训练开始；
4)队员根据显示设备的显示，在现实场景中行进并和虚拟世界同步，通过敌人AI对敌人进行射击和躲避，通过后坐力模拟装置感知射击行为，通过击中感应装置感知被击中信号，触发伤情事件；
5)队员被击中后，队员倒地，伤情信息和方位信息通过PC终端处理后通过3D伤情模拟系统即时传递给队长，队长根据即时情况进行伤情救治指挥；
6)被指派的救治人员根据敌情、我情及战场环境等情况进行综合判断，实施救治。
7)救治完成。
8)若为训练模式，完成战术任务、救治结束即训练结束；若为考核模式，从组织指挥和团队协作、完成战术任务、完成救治任务3个方面进行团队评分，评分完即训练结束。
为实现大空间内团队协同训练且现实世界和虚拟世界同步，本发明人开发了大空间团队协作和虚拟交互系统，该系统借助空间定锚共享核心技术、内向外追踪定位技术、定锚修订算法、和背包电脑计算单元开发而成，使本平台既适用于单人训练，也适用于团队协同训练：
空间定锚共享技术具体内容：
首先通过VR设备对每个现实场地进行3D中心定位，再通过处理器把各自的物理中心3D 坐标和虚拟世界中心3D坐标进行数据对齐，最后通过网络建立C/S服务器同步每个队员之间的虚拟空间3D坐标，并计算各自虚拟空间和现实世界对齐的坐标进行3D空间数据同步以及VR 空间3D显示。如图4所示，物理世界中有七个队员，物理坐标分别为A1、A2、A3…A7，将物理世界的A1对应虚拟世界的B1，物理世界的A2对应虚拟世界的B2，依次类推，直到A7对应 B7，从而实现了一一对应，最后将物理世界中的环境再按一定比例对应到虚拟世界中，从而实现了现实世界与虚拟世界的直接拟合，形成混合现实世界。
内向外追踪技术具体内容：
通过环境感知摄像头、深度摄像头以及惯性测单元等部件，实现位置追踪。从而跟踪定位用户位置和运动状态。本实施例的音视频采集设备即为环境感知摄像头、深度摄像头以及惯性测单元等部件，可对一个小区域或大空间的用户进行全面追踪定位，实施时：将物理世界的训练人员所在一个区域指定为一个无障碍空间，并无障碍空间对应到虚拟空间里，训练人员可以在无障碍空间内任意活动，当队员之间相互靠近过多时，系统发现报警，提醒训练人员，从而实现多团队协同作业，而不会出现相互碰撞，干涉的情况。如图5所示，物理世界中，存在 M1，M2，M3，M4，M5五个无障碍空间，对应到虚拟世界中为N1，N2，N3，N4，N5五个虚拟空间。
本训练中，受伤方位及反馈力的反馈方法：以队员所在的位置为坐标中心建立军事方位坐标系，并以军事方位坐标0－6000对应360度进行参考计算，任一方位坐标值对应一个角度值，并在战术背心的圆周上按一定角间隔设置力反馈装置，在该坐标系里，攻击者的攻击方向与被攻击者之间的夹角即为受伤方位，该受伤方位所在的力反馈装置发出反馈信息。
在实际使用中，每个方向转换为物理方位应进行一定的修正，以形成一个区域值，即定锚修订算法，如图6所示，某队员的位置为O点，当共设置六个力反馈装置时，每1000对应一个方向，一共有六个方向，此时，形成6个反馈区域，军事方位可修正－500，如正前方力反馈区域是5500－6000和0－500，而右前反馈方区域是501－1500，依此类推，计算出各方位，并按战术背心上的6方向物理力反馈计算出真实世界中的攻击方向，传递给训练人员身上的击中感应装置，从而发出被击中的震动信息。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
