医疗系统和医疗系统的控制方法
技术领域
本发明涉及通过形成在例如腹壁上的孔进行处置的医疗系统和该医疗系统的控制方法。
本申请基于2018年2月21日在美利坚合众国提出的美国专利临时申请第62/633,190号要求优先权，将其内容通过引用并入本文。
背景技术
一直以来，腹腔镜手术中使用的方法是，将处置器具或内窥镜等从开设在腹壁上的各自的孔(开口)中插入来进行处置。对于操作内窥镜的持镜助手来说，其需要迅速地向术者提供最适于进行处置的内窥镜视场，例如包含对象脏器等关注区域的视场。人们已经设计了能够对这样的内窥镜视场的操作进行辅助的医疗系统。
专利文献1记载了一种医用观察辅助装置，其中，由术者等说出对象脏器的解剖学名称，从而装置根据输入的声音确定对象脏器，在显示屏幕上显示所确定的对象脏器。
现有技术文献
专利文献
专利文献1：日本专利公开2015-47309号公报
发明内容
发明要解决的技术问题
然而，专利文献1记载的医用观察辅助装置虽然能够使内窥镜向所确定的对象脏器移动，但是不能指示例如将对象脏器的一部分放大显示等具体的作业方式。
基于上述状况，本发明的目的在于提供一种医疗系统和医疗系统的控制方法，能够辅助进行针对对象脏器的内窥镜视场的具体的操作。
解决问题的技术手段
为解决上述问题，本发明提出以下方案。
本发明第一方案提供一种医疗系统，包括：内窥镜，其在电动驱动下动作并且具有摄像部；控制装置，其使所述内窥镜动作，根据所述摄像部的摄像图像生成显示图像；显示装置，其显示所述显示图像；和输入装置，其用于输入针对所述控制装置的指示，所述控制装置将术前计划中创建的对象脏器的模型，与所述对象脏器的多个部位的名称和所述模型的第一坐标系中的区域关联地记录下来，从所述输入装置接收所述对象脏器的多个部位中要关注的关注部位的名称，和针对所述关注部位的作业方式，使所述模型的所述第一坐标系与所述显示图像所示的显示空间的第二坐标系相关联，根据所述关注部位在所述第一坐标系中的位置，计算所述关注部位在所述第二坐标系中的位置，基于所述作业方式，针对所述关注部位使所述内窥镜动作。
本发明第二方案提供一种医疗系统的控制方法，所述医疗系统包括：内窥镜，其在电动驱动下动作并且具有摄像部；控制装置，其使所述内窥镜动作，根据所述摄像部的摄像图像生成显示图像；显示装置，其显示所述显示图像；和输入装置，其用于输入针对所述控制装置的指示，所述控制方法包括：模型记录步骤，其中将术前计划中创建的对象脏器的模型，与所述对象脏器的多个部位的名称和所述模型的第一坐标系中的区域关联地记录下来；指示接收步骤，其中从所述输入装置接收所述对象脏器的多个部位中要关注的关注部位的名称，和针对所述关注部位的作业方式；关联步骤，其中使所述模型的所述第一坐标系与所述显示图像所示的显示空间的第二坐标系相关联；相对位置计算步骤，其中根据所述关注部位在所述第一坐标系中的位置，计算所述关注部位在所述第二坐标系中的位置；和内窥镜动作步骤，其中基于所述作业方式，针对所述关注部位使所述内窥镜动作。
发明效果
采用本发明的医疗系统和医疗系统的控制方法，能够辅助进行针对对象脏器的内窥镜视场的具体的操作。
附图说明
图1是表示本发明的一个实施方式的医疗系统的整体结构的图。
图2是该医疗系统的硬件结构图。
图3是表示该医疗系统的控制部的整体结构例的图。
图4是表示该医疗系统的控制部的整体结构例的图。
图5是在术前计划中创建的对象脏器的模型。
图6是根据内窥镜拍摄的摄像图像而由控制装置生成的显示图像。
图7是控制部的自动模式下的控制流程图。
图8是关联步骤完成后的显示图像。
图9是自动模式完成后的显示图像。
图10是内窥镜的变形例的整体结构例。
具体实施方式
参照图1至图9说明本发明的一个实施方式。为了使附图易于观看，各构成要素的尺寸等进行了适当调整。
图1是表示本实施方式的医疗系统100的整体结构的图。
医疗系统100如图1所示，包括处置器具1、内窥镜2、控制装置3、显示装置4和输入装置5。医疗系统100是能够在腹腔镜手术中对处置进行辅助的系统，其中该处置是将处置器具1和内窥镜2等从开设在腹壁上的各自的孔(开口)中插入而进行的。
处置器具1如图1所示，具有能够插入到患者腹腔内的长形的插入部10和设置在插入部10的根端部的操作部11。术者使插入部10通过穿刺于患者腹部的套管针，来将插入部10导入腹腔内。取决于处置的种类和患部的状况，还存在术者将多个处置器具1导入腹腔内的情况。
插入部10如图1所示，在前端部具有对患者的患部进行处置的处置部12。本实施方式中，处置部12是由一对抓持部件12a构成的抓持机构。
操作部11是对一对抓持部件12a进行操作的部件。操作部11具有把手，通过使把手相对于操作部11的其他部分移动，来使处置部12的一对抓持部件12a开闭。术者能够用单手保持操作部11来对处置部12进行操作。
图2是除处置器具1之外的医疗系统100的硬件结构图。
内窥镜2如图1和图2所示，具有能够插入到患者腹腔内的长形的插入部20和臂21。术者使插入部20通过穿刺于患者腹部的套管针，来将插入部20导入腹腔内。
插入部20在前端部设置有用于拍摄患者腹部内的状况的包括透镜和摄像元件的摄像部22。导入到腹腔内的插入部20被配置在使得摄像部22能够拍摄腹部内处置对象的患部的位置上。摄像部22可以具有光学变焦或电子变焦的功能。
插入部20也可以还包括可主动地弯曲的主动弯曲部。通过使设置于插入部20的一部分的主动弯曲部发生弯曲，能够改变摄像部22的透镜和摄像元件的方向。
臂21如图1所示，是具有至少1个以上关节23的电动驱动的机械臂。臂21的前端与内窥镜的插入部20的根端部连接，臂21能够使插入部20移动。
关节23是能够以转动轴为中心进行弯曲的部位，既可以通过电动机等主动地进行弯曲动作，也可以随所连接的操作线(wire)等的进退动作而被动地进行弯曲动作。臂21的内部铺设有用于控制关节23的弯曲动作的控制信号线和操作线(wire)等。臂21的内部还铺设有用于控制摄像部22的控制信号线和用于传输摄像部22拍摄的摄像图像的传输信号。
控制装置3如图2所示包括驱动部31、图像处理部32和控制部33。控制装置3基于输入装置5的输入对臂21等进行控制。控制装置3还根据内窥镜2的摄像部22拍摄的摄像图像生成显示图像，将其传输至显示装置4。
驱动部31对臂21的关节23和插入部20进行驱动。在关节23能够主动地进行弯曲动作的情况下，控制部33为了使关节23动作而生成针对驱动部31的控制信号。其结果是，关节23能够在驱动部31的驱动下进行弯曲动作。作为另一种方式，在插入部20具有主动弯曲部的情况下，控制部33生成用于控制主动弯曲部的控制信号。驱动部31按照生成的控制信号，产生用于使主动弯曲部动作的动力。其结果是，主动弯曲部能够在经由臂21传递的动力的作用下进行弯曲动作。
即，驱动部31能够通过对臂21和插入部20中的至少一者进行驱动来改变内窥镜2的视场。
摄像部22拍摄的摄像图像的传输信号被连接到图像处理部32，图像处理部32经由该传输信号取得摄像图像。并且，图像处理部32根据摄像图像生成显示用的显示图像。图像处理部32可以根据需要对摄像图像进行图像格式转换或对比度调整等图像处理。生成的显示图像按规定的传输时序传输到显示装置4。
图像处理部32能够将摄像图像替换成控制部33生成的图形或字符等的图像，或者在摄像图像上叠加控制部33生成的图形或字符等的图像，来生成显示图像。例如，图像处理部32能够在摄像图像上叠加关于对术者的警告或操作辅助的字符的图像来生成显示图像。上述图形或字符等的图像也可以不由控制部33生成，而是由图像处理部32基于控制部33的指示而生成。
控制部33以输入装置5的操作和图像处理部32取得的图像作为输入，基于这些输入进行驱动部31和图像处理部32的控制等。
本实施方式中，控制部33具有手动模式和自动模式这两种工作模式。控制部33基于从两种工作模式中选中的一种工作模式，进行驱动部31和图像处理部32的控制等。
手动模式是由持镜助手操作输入装置5来直接对内窥镜2的臂21的关节23等进行操作的工作模式。
自动模式是基于图像处理部32取得的图像，由控制部33自动地对内窥镜2的臂21的关节23等进行操作，实施内窥镜2视场的自动调整的工作模式。
图3和图4是表示控制部33的整体结构例的图。
控制部33如图3所示是一种能够执行程序的装置(计算机)，其包括CPU(CentralProcessing Unit)34、可载入程序的存储器35(、存储部36和输入输出控制部37。
控制部33的功能由CPU34执行提供给控制部33的程序来实现。也可以利用专用的逻辑电路等构成控制部33的至少一部分功能。
存储部36是存储上述程序和必要的数据的非易失性的记录介质。存储部36例如由ROM或硬盘等构成。存储部36中记录的程序被读取至存储器35中，由CPU34执行。
输入输出控制部37接收来自输入装置5和图像处理部32的输入数据，实施该数据对CPU34等的传输等。在CPU34对驱动部31和图像处理部32进行控制时，输入输出控制部37基于CPU34的指示，生成针对驱动部31和图像处理部32的控制信号等。
此处，控制部33不限于设置在1个硬件上的装置。例如，也可以将CPU34、存储器35、存储部36和输入输出控制部37分别分离为单独的硬件，在此基础上利用通信线路将硬件彼此连接来构成控制部33。或者，控制部33也可以通过将存储部36分离出去，并同样地利用通信线路进行连接，来将控制部33实现为云系统。
此处，在图像处理部32进行摄像图像的处理的情况下，可以为了保存处理中的临时数据而使用控制部33的存储器35。并且，也可以由控制部33的CPU34通过执行程序来实施由图像处理部32进行的摄像图像的处理的一部分或全部。
控制部33也可以进一步包括图3所示的CPU34、存储器35、存储部36和输入输出控制部37以外的、控制装置3动作所需的部分。例如，如图4所示，控制部33可以进一步设置图像运算部38，用于进行特定的图像处理或图像识别处理的一部分或全部。通过进一步设置图像运算部38，控制部33能够高速地执行特定的图像处理或图像识别处理。
显示装置4是用于显示图像处理部32生成的显示图像的装置。显示装置4能够使用LCD显示器等公知的显示装置。显示装置4也可以是头戴式显示器或投影仪。
输入装置5如图2所示，包括操作输入部51、模式选择部52和声音输入部53。输入装置5是用于输入医疗系统100动作所需的信息的装置。
操作输入部51是用于输入内窥镜2的臂21的关节23的操作的装置。在摄像部22具有变焦功能的情况下，操作输入部51还能够对该变焦功能进行操作。持镜助手能够对操作输入部51进行操作，来操作臂21的关节23等。
操作输入部51可以如图1所示由摇杆构成，也可以由触摸面板构成。也可以是形状与臂21相似的臂形状的操作输入设备。LCD显示器的显示装置4和触摸面板的操作输入部51可以构成为一体。
通过对操作输入部51进行操作，其操作内容被传输至控制部33。控制部33计算与操作内容对应的臂的关节23的动作量。控制部33控制驱动部31以使关节23按计算出的动作量进行动作。
在控制部33的工作模式为手动模式的情况下，通过操作输入部51的操作，直接对内窥镜2的臂21的关节23等进行操作。
另一方面，在控制部33的工作模式为自动模式的情况下，操作输入部51的操作被控制部33控制成无效，不能对内窥镜2的臂21的关节23等进行操作。内窥镜2的臂21的关节23等由控制部33操作。
模式选择部52是选择控制部33在其具有的两种工作模式中的哪一种工作模式下工作的装置。模式选择部52可以由开关构成，也可以由触摸面板构成。模式选择部52也可以与操作输入部51构成为一体。模式选择部52对控制部33的工作模式的选择能够随时进行。
声音输入部53具有将麦克风等输入的声音转换为信号的部件，将信号化得到的声音信号传输至控制部33。
[医疗系统100的动作]
接着，以腹腔镜手术为例，参照图5至图9说明医疗系统100的动作和控制方法。本实施方式中，假定对象脏器是肝脏L。
术者等在腹腔镜手术前，使用公知的方法进行创建对象脏器的模型(形状数据和图像)的术前计划。术者等例如根据多个CT图像生成对象脏器的三维形状数据。将术前计划中生成的三维形状数据的三维坐标系称为“模型坐标系(第一坐标系)C1”。
图5是在术前计划中创建的对象脏器(肝脏L)的模型M。模型M与模型坐标系C1中的三维坐标(X1坐标、Y1坐标、Z1坐标)相关联，模型M的各部位的位置能够用模型坐标系C1中的三维坐标确定。模型M如图5所示，构成为能够区分右叶LR和左叶LL。
术者等在术前计划中创建“部位数据库D1”，其中登记了模型M中的(1)部位的名称和(2)部位在模型坐标系C1中的区域。
表1是部位数据库D1的一个例子。
部位数据库D1中的部位的名称可以是解剖学名称，也可以是简称。部位数据库D1的模型坐标系C1中的区域由模型坐标系C1中的三维坐标(X1坐标、Y1坐标、Z1坐标)所确定。模型坐标系C1中的区域可以使用多个三维坐标来详细地确定体素区域，也可以使用两个点的三维坐标确定大致的区域，还可以仅使用一个点的三维坐标来仅确定关注点。
[表1]
术者等可以在术前计划中，针对作为腹腔镜手术的处置对象或观察对象的特定的区域，在模型M中将其设定为“关注区域”。本实施方式中，关注区域如图5所示是对象脏器(肝脏L)的右叶LR的一部分的肿瘤A。在设定了关注区域的情况下，如表1所示，术者等将关注区域即肿瘤A添加到部位数据库D1中。
表2是作业方式数据库D2的一个例子。
术者等在术前计划中创建“作业方式数据库D2”。作业方式数据库D2例如是登记了“放大显示”或“整体显示”等内窥镜2的作业方式，和与作业方式对应的内窥镜2的动作内容的数据库。在作业方式数据库D2中，例如与“整体显示”的作业方式对应地，登记了“使内窥镜2的摄像部22靠近关注部位”等内窥镜2的动作内容。
[表2]
将术前计划中创建的对象脏器的模型M，与对象脏器中的多个部位的名称和模型M的模型坐标系C1中的区域相关联地，即，与部位数据库D1一起，记录在控制装置3的控制部33的存储部36中(模型记录步骤)。作业方式数据库D2也被记录在控制装置3的控制部33的存储部36中。
接着，控制装置3在模型M中提取并存储多个特征点F(特征点提取步骤)。多个特征点F能够使用公知的特征点的提取方法进行提取。对于多个特征点F，将适于表达特征的按照规定的基准而计算出的特征量存储在存储部36中，并且，还一并确定模型坐标系C1中的三维坐标，与特征量一起存储在存储部36中。多个特征点F的提取和记录可以在术前实施，也可以在术中实施。
接着对腹腔镜手术中的医疗系统100的动作进行说明。术者在患者的腹部开设多个用于设置套管针的孔(开口)，将套管针穿刺于孔中。然后，术者使处置器具1的插入部10通过穿刺于患者腹部的套管针，将插入部10导入腹腔内。
接着，持镜助手对模式选择部52进行操作，将控制部33的工作模式设定为手动模式。持镜助手通过对操作输入部51进行操作，来操作内窥镜2，使内窥镜2的插入部20通过穿刺于患者腹部的套管针，将插入部20导入腹腔内。
图6是根据插入到腹腔内的内窥镜2的摄像部22所拍摄的摄像图像，而由控制装置3生成的显示图像。图6所示的显示图像上显示了肝脏L。将显示图像所示的显示空间的三维坐标系称为“显示坐标系(第二坐标系)C2”。
术者想要使内窥镜2以下述方式动作，即，使得关注区域即“肿瘤A”以放大的状态显示在显示屏幕上。为此，术者或持镜助手等对模式选择部52进行操作，将控制部33的工作模式变更为自动模式。操作输入部51的操作被控制部33控制成无效，持镜助手等不能对内窥镜2的臂21的关节23等进行操作。这之后按图7所示的自动模式下的控制流程图进行说明。
如图7所示，当控制部33的工作模式被设定为自动模式时，控制部33开始进行自动模式的控制(步骤S10)。接着，控制部33执行步骤S11。
在步骤S11中，控制部33从声音输入部53接收对象脏器的多个部位中要关注的关注部位的名称和关注部位的作业方式(指示接收步骤)。控制部33将声音输入部53控制成有效，通过术者等的声音输入来接受指示。控制部33利用公知的语音识别方法，对从声音输入部53传输来的声音信号实施语音识别。接着，控制部33在经过规定时间后执行步骤S12。
在步骤S12中，控制部33判断语音识别出的内容中是否包含已登记在部位数据库D1中的“部位的名称”和已登记在作业方式数据库D2中的“作业方式”。
在判断为不包含的情况下，控制部33接着再次执行步骤S11。
在判断为包含的情况下，控制部33接着执行步骤S13。
语音识别出的内容中所包含的“部位的名称”，是登记在部位数据库D1中的部位之中的、术者等要关注的关注部位。语音识别出的内容中所包含的“作业方式”，是针对关注部位的作业方式。本实施方式中，假定指示了“肿瘤A”作为关注部位，并指示了“放大显示”作为关注部位的作业方式。
在步骤S13中，控制部33在显示图像中提取与多个特征点F对应的多个对应点A(对应点提取步骤)。控制部33基于预先存储在存储部36中的多个特征点F的特征量，提取显示图像中的多个对应点A。在提取处理中，使用从公知的模板匹配方法等中适当选择的方法。在控制部33包括可高速地进行部分或全部图像匹配处理的图像运算部38的情况下，能够高速地执行上述匹配处理。接着，控制部33执行步骤S14。
在步骤S14中，控制部33基于多个特征点F和多个对应点A，将模型M的模型坐标系C1与显示图像所示的显示空间的显示坐标系C2关联起来(关联步骤)。在关联处理中，使用从公知的坐标变换方法等中适当选择的方法。当关联步骤完成后，能够将模型M的第一坐标系C1中的坐标位置变换到显示空间的显示坐标系C2。
图8是关联步骤完成后的显示图像。
关联步骤完成后，能够将模型M的第一坐标系C1中的坐标位置变换到显示空间的显示坐标系C2。因此，对于表1中所示的已登记在部位数据库D1中的部位(右叶LR、左叶LL、肿瘤A)，能够在显示空间的显示坐标系C2中确定其区域。图8所示的显示图像中，叠加了能够辨识右叶LR、左叶LL、肿瘤A各自的位置的识别显示图像(阴影线图像)。接着，控制部33执行步骤S15。
在步骤S15中，控制部33根据模型M中设定的关注部位(肿瘤A)在模型坐标系C1中的位置，计算关注部位(肿瘤A)在显示坐标系C2中的位置(相对位置计算步骤)。接着，控制部33执行步骤S16。
在步骤S16中，控制部33基于所指示的作业方式针对关注部位(肿瘤A)使内窥镜2动作(内窥镜动作步骤)。因为指示的作业方式是“放大显示”，所以控制部33使用步骤S15中求得的关注部位在显示坐标系C2中的位置，基于登记在D2作业方式数据库D2中的对应的“内窥镜的动作内容”对内窥镜2的臂21进行操作，使得摄像部22靠近关注部位的位置。接着，控制部33执行步骤S17。
在步骤S17中，控制部33判断针对关注部位指示的作业方式是否已完成。
在判断为尚未完成的情况下，控制部33接着再次执行步骤S16。
在判断为已完成的情况下，控制部33接着执行步骤S18，结束自动模式。
图9是自动模式完成后的显示图像。
自动模式的控制完成后，对于术前计划创建的模型M中指定的关注部位(肿瘤A)，所指示的作业方式(放大显示)得到了实施。
采用本实施方式的医疗系统100，能够使用术前计划创建的模型M，来辅助进行针对对象脏器的内窥镜2视场的具体操作。能够确定术前登记在部位数据库D1中的多个部位中要关注的关注部位，根据术前登记在作业方式数据库D2中的作业方式，确定针对关注部位的具体的作业方式。
在现有技术中，术者以显示图像为基准对持镜助手发出内窥镜2视场变更的指示(例如“将视场范围向右移”等指示)。
而医疗系统100能够使用部位的名称来指示内窥镜2的视场变更。而且，指示中使用的部位在进行指示时可以没有显示在显示屏幕上。因此，医疗系统100能够迅速地提供符合术者要求的视场。
在医疗系统100中，由于术者在术前对模型M预先设定了关于关注部位的信息(名称、区域)，因此能够迅速地确保术中视场，能够减少术者和持镜助手的负担。
上面参照附图对本发明的一个实施方式进行了详细叙述，但具体结构不限于该实施方式，还包括不脱离本发明技术思想的范围内的设计变更等。而且，上述的一个实施方式和下文所示的变形例中示出的构成要素能够适当组合。
(变形例1)
上述实施方式中，在指示接收步骤通过声音来接收指示，但指示的接收方法不限定于此。例如也可以是，医疗系统针对“部位的名称”和“作业方式”分别仅登记一种，在接收到来自与输入装置连接的脚踏开关等的启动信号时，视为收到了所登记的“部位的名称”和“作业方式”的内容的指示，按照指示进行动作。
(变形例2)
上述实施方式中，通过对内窥镜2的臂21进行操作来改变内窥镜2的摄像位置从而改变显示图像，但改变显示图像的方法不限定于此。也可以是，图像处理部具有从内窥镜的摄像图像中截取一部分区域来生成显示图像的功能，通过改变图像的截取位置来改变显示图像。图像处理部也可以控制摄像部的变焦功能来改变显示图像。这样，即使在不具有臂的内窥镜的情况下，也能够改变显示图像。
图10是表示作为内窥镜2的变形例的内窥镜2B的整体结构例。内窥镜2B在插入部20的前端具有主动弯曲部23B。术者通过保持内窥镜2B并使内窥镜2B移动，能够改变内窥镜2的摄像部22的位置和方向。而且能够通过使主动弯曲部23B弯曲，来改变摄像部22的位置和方向。即使在使用内窥镜2B代替内窥镜2的情况下，控制部33也能够通过驱动主动弯曲部23B来改变显示图像。
工业利用性
本发明能够应用于包括内窥镜的医疗系统和医疗系统的控制方法。
附图标记说明
100 医疗系统
1 处置器具
2、2B内窥镜
20插入部
21臂
22摄像部
23关节
23B 主动弯曲部
3 控制装置
31驱动部
32图像处理部
33控制部
35存储器
36存储部
37输入输出控制部
38图像运算部
4 显示装置
5 输入装置
51操作输入部
52模式选择部
53声音输入部
