眼眶内窥镜导航手术训练方法、装置、设备、及系统
技术领域
本申请涉及一种眼眶导航手术训练技术领域，特别是涉及一种眼眶内窥镜导航手术训练方法、装置、设备、及系统。
背景技术
眼眶导航手术是外科领域复杂的手术之一，使用眼眶内窥镜导航技术可以安全有效地辅助眼眶手术。现有的用于学习和训练的眼眶内镜导航手术录像，因缺乏有效的标示感兴趣区域，初学者仅凭观看手术录像无法准确理解术者意图，因此导致该手术学习成本高，学习难度大。
发明内容
鉴于以上所述现有技术的缺点，本申请要解决的技术问题在于提供一种眼眶内窥镜导航手术训练方法、装置、设备、及系统，用于解决现有技术中至少一个问题。
为实现上述目的及其他相关目的，本申请提供一种眼眶内窥镜导航手术训练方法，所述方法包括：获取正常眼眶手术录像和标注有术者眼球移动数据的路径眼眶手术录像；在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像；获取学习者的视觉路径并显示于所述正常眼眶手术录像上，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
于本申请一实施例中，所述正常眼眶手术录像是通过内窥镜所采集的眼眶手术中的手术区影像；所述路径眼眶手术录像是通过内窥镜、显示器、及眼动仪得到的在所述正常眼眶手术录像的基础上同步标注出对应术者实时的眼球移动数据。
于本申请一实施例中，所述标注有术者眼球移动数据的路径眼眶手术录像的生成方法包括：通过内窥镜所采集的眼眶手术中的手术区影像，并通过显示器进行实时播放；利用眼动仪实时同步获取所述显示器前术者的眼球移动信息，以转化得到术者对应落在所述显示器的屏幕上的视野坐标位置、及注视时长；依据所述视野坐标位置、及注视时长在所述正常眼眶手术录像上同步标注出对应术者实时的眼球移动数据。
于本申请一实施例中，所述标注有术者眼球移动数据的路径眼眶手术录像的生成方法包括：在所述眼球移动数据中，以圆点表示术者所注视的位置，并以圆点的直径大小对应表示注视时长；将所述正常眼眶手术录像的每帧画面上所标注的所述圆点进行叠加记录，以生成对应术者的眼球移动数据。
于本申请一实施例中，所述获取学习者的视觉路径并显示于所述正常眼眶手术录像上，包括：学习者在所述正常眼眶手术录像中的多个位置手动画出圆圈以表征视觉路线，或在所述正常眼眶手术录像中手动画出线条以表征视觉路线；或者，通过眼动仪获取学习者的眼球移动信息，据以在所述正常眼眶手术录像上同步标注出对应学习者实时的眼球移动数据的视觉路径。
于本申请一实施例中，所述与所述路径眼眶手术录像上的术者眼球移动数据进行比对，包括：针对所述路径眼眶手术录像中的眼球移动数据进行隐藏或设置一定透明度；在获取到学习者的视觉路径并显示于所述正常眼眶手术录像上后，对所述路径眼眶手术录像中的眼球移动数据进行显示或取消设置透明度，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于获取正常眼眶手术录像和标注有术者眼球移动数据的路径眼眶手术录像；展示模块，用于在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像；处理模块，用于获取学习者的视觉路径并显示于所述正常眼眶手术录像上，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
于本申请一实施例中，眼眶内窥镜导航手术训练系统，所述系统包括：显示器，用于获取正常眼眶手术录像和标注有术者眼球移动数据的路径眼眶手术录像；并在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像；如上所述的计算机设备，用于获取学习者的视觉路径并显示于所述正常眼眶手术录像上，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
于本申请一实施例中，所述系统还包括：眼动仪，用于获取学习者的眼球移动信息，据以在所述正常眼眶手术录像上同步标注出对应学习者实时的眼球移动数据的视觉路径。
综上所述，本申请提供了一种眼眶内窥镜导航手术训练方法、装置、设备、及系统，通过获取正常眼眶手术录像和标注有术者眼球移动数据的路径眼眶手术录像；在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像；获取学习者的视觉路径并显示于所述正常眼眶手术录像上，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
具有以下有益效果：
本申请可使初学者充分理解术者的手术意图，并对初学者进行充分的可量化的训练，提高眼眶内窥镜导航手术的训练效率。
附图说明
图1显示为本申请于一实施例中眼眶内窥镜导航手术训练方法的流程示意图。
图2显示为本申请于一实施例中路径眼眶手术录像的采集系统的场景示意图。
图3显示为本申请于一实施例中路径眼眶手术录像中圆点的场景示意图。
图4显示为本申请于一实施例中路径眼眶手术录像中眼球移动数据的场景示意图。
图5显示为本申请于一实施例中在同一界面中展示正常眼眶手术录像和路径眼眶手术录像的界面示意图。
图6A-6C显示为本申请于一实施例中学习者的视觉路径显示于所述正常眼眶手术录像上的界面示意图。
图7显示为本申请于一实施例中电子装置的模块示意图。
图8显示为本申请于一实施例中计算机设备的结构示意图。
图9显示为本申请于一实施例中眼眶内窥镜导航手术训练系统的结构示意图。
图10显示为本申请于一实施例中眼眶内窥镜导航手术训练系统的场景示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
现有的用于学习和训练的眼眶内镜导航手术录像，因缺乏有效的标示感兴趣区域，初学者仅凭观看手术录像无法准确理解术者意图，因此导致该手术学习成本高，学习难度大。为解决上述问题，本本申请提出一种眼眶内窥镜导航手术训练方法、装置、设备、及系统，可以使初学者充分理解术者的手术意图，并对初学者进行充分的可量化的训练，提高眼眶内镜导航手术的训练效率。
如图1所示，展示为本申请于一实施例中眼眶内窥镜导航手术训练方法的流程示意图。如图所示，所述方法包括：
步骤S101：获取正常眼眶手术录像和标注有术者眼球移动数据的路径眼眶手术录像。
其中，所述正常眼眶手术录像是通过内窥镜所采集的眼眶手术中的手术区影像。
所述路径眼眶手术录像是通过内窥镜、显示器、及眼动仪得到的在所述正常眼眶手术录像的基础上同步标注出对应术者实时的眼球移动数据。
具体来说，所述标注有术者眼球移动数据的路径眼眶手术录像的生成方法包括：
A、通过内窥镜所采集的眼眶手术中的手术区影像，并通过显示器进行实时播放；
B、利用眼动仪实时同步获取所述显示器前术者的眼球移动信息，以转化得到术者对应落在所述显示器的屏幕上的视野坐标位置、及注视时长；
C、依据所述视野坐标位置、及注视时长在所述正常眼眶手术录像上同步标注出对应术者实时的眼球移动数据。
如图2所示，展示为本申请于一实施例中路径眼眶手术录像的采集系统的场景示意图。如图所示，所述系统包括：内窥镜201、显示器202、及眼动仪203。
其中，所述内窥镜201用于所采集的眼眶手术中的手术区影像，并通过显示器202进行实时播放。举例来说，所述内窥镜201内设置有光源、及微型摄像机，以便采集清晰的手术区影像。
显示器202，用于实时播放或显示内窥镜201采集的手术区影像。举例来说，所述显示器202为手术台常用可移动显示器，其专门用于显示手术过程中的术野影像。
眼动仪203，用于实时采集面向所述显示器202进行观察的手术医生的眼部运动数据，依据所述眼部运动数据转化得到医生对应落在所述显示器202的屏幕上的视野坐标位置、及注视时长，并依据所述视野坐标位置、及注视时长在所述正常眼眶手术录像上同步标注出对应术者实时的眼球移动数据。
举例来说，所述眼动仪203设置于所述显示器202上并且电性相连。如可根据手术时医生为站姿或坐姿等手术姿态不同，设置在所述显示器202的上部区域或下部区域。
优选地，所述显示器202与所述眼动仪203还可以为一体设计，例如市面上生产的带眼动仪203的显示器202，以供采集显示器202前医生各种视角下或显示器202上各位置的高质量眼部运动数据。
举例来说，在本申请中可以将眼动仪203通过USB 3.0连接到显示器202上，并固定在面向术者的位置。在手术过程中，当医生通过显示器202观察内窥镜201采集的手术区影像时，眼动仪203可实时采集医生眼球运动数据，并实时记录医生的视线方向、注视时长或瞳孔的空间坐标等数据，并将其通过眼部追踪技术，转化到显示器202屏幕的对应位置，然后可依据所述视野坐标位置、及注视时长在所述正常眼眶手术录像上同步标注出对应术者实时的眼球移动数据。
于本申请一实施例中，所述标注有术者眼球移动数据的路径眼眶手术录像的生成方法包括：
A、在所述眼球移动数据中，以圆点表示术者所注视的位置，并以圆点的直径大小对应表示注视时长。具体地，注视时长越长圆点的直径越大，可参考图3所示。
B、将所述正常眼眶手术录像的每帧画面上所标注的所述圆点进行叠加记录，以生成对应术者的眼球移动数据。可参考图4所示，图中不同帧画面上所标注的圆点a、b、c、d通过叠加记录，生成了对应术者的眼球移动数据或视觉路径。其中，圆点d的直径大于圆点a、b、d，则说明术者在圆点d位置上的注视时长要大于其他圆点位置上的注视时长。
于本实施例中，通过如图2中对应路径眼眶手术录像的采集系统中的眼动仪记录术中术者注视的视线位置，以圆点标注，当术者对该位置注视的时间越长，该圆点的直径越大，并将每帧画面上标注的圆点进行叠加记录，生成术者的眼球移动数据或视觉路径，以此提升手术录像的可理解性。便于他人依据术者的视线位置和视觉路径深入理解术者的操作意义，形成真正意义上的“第一视角”手术录像。
步骤S102：在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像。
于本实施例中，对于同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像，可同步进行播放、暂停、拖放、快进、及慢放中任意一种或多种的操作。
如图5所示，展示为本申请于一实施例中在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像的界面示意图。举例来说，该界面示意图在一或多个可实现的实施例中可作为对应本申请所述方法或系统的手术训练软件。
举例来说，在如图5的训练软件的同一界面中，左屏显示正常眼眶手术录像，即普通模式；右屏显示标注有术者眼球移动数据的路径眼眶手术录像，即眼动模式。上述两种模式的录像，初始状态下同步播放，亦可以通过录像下方的进度条分别实现两组录像的播放、暂停、拖放、快进、慢放等基本功能，方便手术学习者将自己对手术的理解与术者的操作意图进行对比，提高该手术的学习效率。
步骤S103：获取学习者的视觉路径并显示于所述正常眼眶手术录像上，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
于本申请一实施例中，所述获取学习者的视觉路径并显示于所述正常眼眶手术录像上，包括：
A、学习者在所述正常眼眶手术录像中的多个位置手动画出圆圈以表征视觉路线，或在所述正常眼眶手术录像中手动画出线条以表征视觉路线；
举例来说，在如图5所示的界面示意图的基础上，对于左侧普通模式的正常眼眶手术录像，当暂停播放时，手术学习者或初学者根据所理解的手术重点区域可以使用界面左上角的画笔工具，对自己理解的手术重点区域进行圈画，如图6A所示；或标注自己理解的后续手术路径，如图6B所示。然后可通过右侧显示的术者实际手术区域、眼球移动数据所对应的手术路径进行对比。
或者，
B、通过眼动仪获取学习者的眼球移动信息，据以在所述正常眼眶手术录像上同步标注出对应学习者实时的眼球移动数据的视觉路径。
于本实施例中，所述方法或系统还可利用眼动仪来获取学习者在观看正常眼眶手术录像时的眼球移动信息，并据以在所述正常眼眶手术录像上同步标注出对应学习者实时的眼球移动数据的视觉路径。具体通过眼动仪来获取眼球移动信息并生成视觉路径的步骤或内容可参考对应图2中描述眼动仪的内容，此处不再赘述。
举例来说，当手术学习者或初学者使用带有眼动仪的计算机硬件使用该手术训练软件时。初学者可以如图5的基础上，在开启界面左上角眼动追踪功能，选择自己感兴趣的手术片段进行观看。软件会通过眼动仪获取学习者的眼球移动信息，据以在所述正常眼眶手术录像上同步标注出对应学习者实时的眼球移动数据的视觉路径，并显示在左屏上。初学者可以以第三视角，回看该段记录有自己眼动数据的录像，并与术者手术意图进行对比，可参考如图6C所示。
于本申请一实施例中，所述与所述路径眼眶手术录像上的术者眼球移动数据进行比对，包括：
A、针对所述路径眼眶手术录像中的眼球移动数据进行隐藏或设置一定透明度；
B、在获取到学习者的视觉路径并显示于所述正常眼眶手术录像上后，对所述路径眼眶手术录像中的眼球移动数据进行显示或取消设置透明度，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
举例来说，在如图5所示的界面示意图的基础上，对于右侧眼动模式的路径眼眶手术录像，可以对路径眼眶手术录像中的术者眼球移动数据进行显示和隐藏，以及透明度的调整，以适应不同手术学习者的学习习惯。
需说明的是，本申请所述方法或系统的优点不仅在于可对所述正常眼眶手术录像进行添加学习者的视觉路径，如可供学习者直接在所述正常眼眶手术录像或当前帧画面中标注出自己理解的手术意图，如画圈或划线来表示视觉路径，还可针对所述路径眼眶手术录像中的眼球移动数据进行隐藏/显示或设置一定透明度的操作。而这些操作可以充分帮助初学者将自己理解的手术意图与术者的手术意图进行对比，从而使初学者充分理解术者的手术意图，并对初学者进行充分的可量化的训练，提高眼眶内镜导航手术的训练效率。
如图7所示，展示为本申请于一实施例中电子装置的模块示意图。如图所示，所述装置700包括：
获取模块701，用于获取正常眼眶手术录像和标注有术者眼球移动数据的路径眼眶手术录像；
展示模块702，用于在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像；
处理模块703，用于获取学习者的视觉路径并显示于所述正常眼眶手术录像上，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块703可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块703的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图8所示，展示为本申请于一实施例中计算机设备的结构示意图。如图所示，所述计算机设备800包括：存储器801、及处理器802；所述存储器801用于存储计算机指令；所述处理器802运行计算机指令实现如图1所述的方法。
在一些实施例中，所述计算机设备800中的所述存储器801的数量均可以是一或多个，所述处理器802的数量均可以是一或多个，而图8中均以一个为例。
于本申请一实施例中，所述计算机设备800中的处理器802会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器801中，并由处理器802来运行存储在存储器801中的应用程序，从而实现如图1所述的方法。
所述存储器801可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器801存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器802可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备800的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图8中将各种总线都成为总线系统。
如图9所示，展示为本申请于一实施例中眼眶内窥镜导航手术训练系统的结构示意图。如图所示，所述系统900包括：
显示器901，用于获取正常眼眶手术录像和标注有术者眼球移动数据的路径眼眶手术录像；并在同一界面中展示所述正常眼眶手术录像和所述路径眼眶手术录像。
如图8所述的计算机设备902，用于获取学习者的视觉路径并显示于所述正常眼眶手术录像上，以供与所述路径眼眶手术录像上的术者眼球移动数据进行比对。
于本申请一实施例中，所述系统900还包括：眼动仪903，用于获取学习者的眼球移动信息，据以在所述正常眼眶手术录像上同步标注出对应学习者实时的眼球移动数据的视觉路径。
优选地，所述眼动仪903设置于所述显示器901上并且电性相连，或所述显示器901与所述眼动仪903为一体设计，如可根据手术时医生为站姿或坐姿等手术姿态不同，将所述眼动仪903设置在所述显示器901的上部区域或下部区域，以供采集医生各种视角下或显示器901上各位置的高质量眼部运动数据。
优选地，所述显示器901与所述眼动仪903还可以为一体设计，例如市面上生产的带眼动仪203的显示器202，以供采集显示器202前医生各种视角下或显示器202上各位置的高质量眼部运动数据。
举例来说，本申请所述的基于眼动仪的眼眶内镜导航手术训练系统的场景示意图可参考图10所示。
需要说明的是，上述系统各设备之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
综上所述，本申请提供的一种眼眶内窥镜导航手术训练方法、装置、设备、及系统。可使初学者充分理解术者的手术意图，并对初学者进行充分的可量化的训练，提高眼眶内镜导航手术的训练效率。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
