一种基于计算机视觉的自动穿刺机械臂路径规划的方法
技术领域
本发明涉及图像处理、计算机视觉、三维重建技术、手术机器人技术领域。尤其涉及一种基于计算机视觉的自动穿刺机械臂路径规划的方法。
背景技术
近年来，在微创手术技术、机器人技术、医疗图像技术和计算机技术进步的共同推动下，外科手术机器人的研究得到快速发展，并开始应用于临床，其中最具代表性的手术机器人——达芬奇(DA VINCI)手术机器人，在心脏外科、泌尿外科、普通外科和妇科中有着较好的应用。但由于手术对象、手术器械及手术目的的不同，达芬奇一类的通用型手术机器人,虽然在目前的骨科手术中有着实验和临床的应用，但是达芬奇手术机器人是专为内窥镜系统设计的手术机器人，这一特点决定了其在骨科手术中无法发挥其优势，所以这类通用机器人并不适合用于骨科手术，因此研制专用于骨科手术的手术机器人，受到越来越多的关注。
现有的骨科手术机器人大多是使用工业机器人改造而来的手术机器人。在稳定性,定位精度和重复定位精度上具有明显的优势。然而，这种优势是建立在手术机器人良好的刚性基础上，导致了机器人本体体积大且笨重。对于骨科手术室这类相对狭小且存在较多器械障碍的应用环境,其可用性差的问题限制了进一步发展.因此,小型化、专业化成为骨科手术机器人发展的一个趋势。
计算机视觉发展初期相关的研究都是基于二维平面的，随着近些年计算机相关技术的发展，三维视觉技术也得到了飞速发展，相比单目视觉，双目视觉在空间测量重建方面的优势也得到了很好的展现。MIT人工智能实验室的Marr提出了视觉相关理论，该理论为双目视觉的研究奠定了坚实的基础。
双目立体视觉技术就像人类视觉系统一样，通过两个参数一样的相机从两个角度捕获目标的左右两侧图像。通过三角测量原理获得目标的三维信息，并根据该信息恢复对应目标的三维模型。
基于点的配准(Point-based Registration,PBR)是1987年由Arun提出来的。它通过两个空间中有限的几组标志点来计算二者之间的映射变换关系，达到了空间一致的目的。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于计算机视觉的自动穿刺机械臂路径规划的方法。本方法根据术前得到的患者图像，对病人图像进行三维重建，其中包括病症区域和病症区域周围的组织神经。并利用两台CMOS相机获得从不同的位置获取被测物体的两幅图像，将得到数据导入计算机，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。并将得到的三维信息和病人重建后的三维模型进行匹配，根据匹配结果邀请医生确定下针点、下针角度和深度。将得到将计算后的规划路径传递给机械臂，最后机械臂根据规划的路径以全自动的方式完成相应的操作。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于计算机视觉的自动穿刺机械臂路径规划的方法，包括三维重建部分、病人双目视觉图像获取部分、计算机配准空间转换部分和机械臂部分。
所述三维重建部分包括：病人全身或局部的医学影像数据，图像预处理模块，图像分割模块以及三维重建模块。医学影像数据往往使用病人的CT以及MRI数据配合，采集的数据以DICOM格式保存，扫描层厚度均已降至1mm以下，以起到更清晰的重建效果；图像预处理模块流程包括窗宽窗位处理，P-M扩散滤波，线性灰度增强，直方图均衡化，得到预处理后的较为清晰的图像；图像分割模块预设了不同的方法和默认参数进行三维模型粗分割；在粗分割的基础上进行灰度距离拉伸分割，这是我们优化的分割方法，它的作用就是将器官与周围组织的灰度区间距离拉大，实现器官与周围组织的有效分离，将所需区域分割精准的出来便于之后的三维重建；三维重建模块为光线投射法的体绘制重建方法，从屏幕上每一个像素点出发，沿着视线方向发射出一条光线，当这条光线穿过体数据时，沿着光线方向等距离采样，利用插值计算出采样点的颜色值和不透明度；接着按照从前到后或从后到前的顺序对光线上的采样点进行合成，计算出这条光线对应的屏幕上像素点的颜色值，最终得到所需的三维模型。
病人双目视觉图像获取及配准部分：通过两台已经标定好的CMOS相机观察病人手术前的位置信息，然后再拍摄到两幅图像根据图像内容进行特征点匹配，进而计算深度，从而得到病人的病灶位置的三维信息。本方法采用四元数方法来实现虚实空间之间的点配准。基于四元数点配准的目标是求得一个旋转矩阵R和一个平移矩阵T，使得图像空间和患者实体空间经过旋转和平移变换后，能够达到空间上的一致。假设点集M和点集D分别表示图像空间坐标系下的标志点集和患者实体空间坐标系下的标志点集，
其中
设两个点集M和D的质心分别为
令Trace(C)表示协方差矩阵C的迹，定义对称矩阵H：
利用Jacobi方法可以计算出对称矩阵H的特征值和特征向量，其中最大特征值所对应的特征向量就是使目标函数E取最小值的四元数q＝(q1，q2，q3，q4)T。将q代入旋转矩阵：
即可求出旋转矩阵
确定下针点、下针角度和深度由医生根据当前匹配和配准结果确定，并将传入机械臂中。此后机械臂根据计算结果进行手术。
采用上述技术方案所产生的有益效果在于：本发明提供的基于计算机视觉的自动穿刺机械臂路径规划的方法，通过机械臂自动手术，减少了外科医生在手术过程中操作失误的问题。同时通过双目视觉和点配准，将原来医生只可以依靠二维图像转变为依靠三位图像，并根据三维图像进行手术路径规划，极大的提高了手术的准确性，降低手术风险。
附图说明
图1为本发明基于计算机视觉的自动穿刺机械臂路径规划流程图；
图2为本发明实例进行三维重建后结果图像。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如图1所示，本发明提供了一种基于无标记增强现实的手术导航系统；
如图2所示，为根据实例进行的三维重建后得到的三维重建模型。
本发明的优势在于：
采用两台CMOS相机相比较于其他深度相机而言大大减少了成本，与此同时也得到了近似相同的结果，这为本发明提供了强大的硬件支持。点匹配的配准方法可以准确的算出三维模型和三维信息的对应关系，这为医生提供了广阔的视角和准确的定位，避免了医生因为不清楚患者病灶信息而带来的医疗事故。
综上所述，本发明提供了一种基于计算机视觉的自动穿刺机械臂路径规划的方法，可以让医生对手术进行规划，找到准确的下针点、下针角度和深度，对于医生在外科手术过程中可能出现的问题起到了良好的规避效果。极大的节约实验资源，提升手术成功率的效果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
