一种胎儿超声心动图中四腔心分割方法
技术领域
本发明涉及一种胎儿超声心动图中四腔心分割方法。
背景技术
先天性心脏病(Congenital Heart Disease(CHD))是最重要的引起胎儿死亡的疾病原因。它是胎儿出生时一种或多种心脏结构或者功能的异常。对胎儿超声心动图的分析对心脏病专家非常有用，可以用来测量胎儿心脏的大小和功能，以及做出心脏病诊断。四个心室/心房的分割可以作为额外信息用于诊断多种类型的先天性心脏病。
近年来，随着深度学习技术的发展，多种分割方法被用于超声心动图。之前的方法主要用于单心室，例如左心室，左心房或者右心室分割。目前，没有一种方法能够同时分割四个心房/心室。此外，之前的研究多关注于成年病人，只有很少的方法用于胎儿超声心动图。
发明内容
本发明提供了一种胎儿超声心动图中四腔心分割方法，提供一种可用于胎儿超声心动图中的心房与心室分割方法，与之前使用的语义分割方法不同，不仅可以利用实例分割方法来同时分割四腔心，而且伴随候选目标召回策略来召回丢失的部件，此项实例分割方法是第一个在胎儿超声心动图中实现四腔心的同时分割，这将帮助心脏病专家更好的分析胎儿心脏的结构和功能；解决了现有技术中存在的问题。
本发明为解决上述技术问题所采用的技术方案是：
一种胎儿超声心动图中四腔心分割方法，所述方法包括下列步骤：
通过胎儿超声心动图采集经数据增强策略增加的多样性的超声心动序列图像数据；
对输入的多样性的超声心动序列图像数据自动做逐像素标记；
通过候选目标召回方法召回在获取心室或心房过程中丢失的心室或心房的部分；以获得更好的四腔心切面分割效果；该方法通过以下步骤实现：
计算每个感兴趣区域ROI的中心，以及中心之间的L2距离；
如果2个中心之间的距离小于一个阈值，该感兴趣区域即为一个簇cluster；
如果一个簇中的感兴趣区域都属于同一个类别，它们被标记为这个类；否则，计算这些感兴趣区域的总的分数，将其判别为最大分数的那个类；如果一个类在之前环节已经出现，在分数计算环节中将不做考虑。
所述数据增强策略是利用旋转和扭曲模拟胎儿心脏在收缩和扩张时的有规律的运动。
所述旋转操作通过仿射变换方式实现；同时通过随机且弹性的扭曲方式增强图片。
所述标记方式为给图片的每个像素标记一个类别相关和实例相关的标签。
利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜；其中Faster R-CNN有2个输出，分别为类别标签和包围框偏移量；在Mask R-CNN中增加一个掩膜分支，该掩膜分支用来预测每个感兴趣区域的分割掩膜。
用ROI聚类算法重新计算每个感兴趣区域ROI的中心得分；
假设一个ROIs簇包含了N个ROI,每个ROI在四个类别中的得分为：
则ROIs的得分为：
比较每个ROIs簇的四个类别得分，并将所有ROIs簇的所有类别得分排序，最后每个ROIs簇的类别计算方式如下：
输入ROIs簇的个数M
score:所有ROIs簇的所有类别得分排序,大小为M*4；
ROIs_id:得分排序后对应的ROIs簇的索引,大小为M*4；
Class:得分排序后的类别索引,大小为M*4；
初始化ROIs_class＝-ones(M)每个ROIs簇的类别，初始化为-1
输出每个ROIs簇的类别ROIs_class；即成功召回候选目标。
本发明的有益效果体现在：为了在小数据量数据集上快速精确胎儿超声心动图中四个心房/心室，首先使用数据增强策略来增加数据的多样性，例如平移、翻转、旋转、扭曲；其次利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜；最后通过ROI聚类重新计算每个ROI的得分，成功的召回候选目标。
本发明采用不同于之前使用的语义分割方法的实例分割方法，结合创新的候选目标召回方法，不仅可以同时分割四腔心，而且伴随候选目标召回策略来召回丢失的部件，分割相关的指标有明显提升；此项实例分割方法是第一个在胎儿超声心动图中实现四腔心的同时分割，这将帮助心脏病专家更好的分析胎儿心脏的结构和功能。
附图说明
图1为本发明所述胎儿超声心动图中四腔心分割方法的流程示意图。
图2为胎儿超声心动图的四腔心视图，可见四个心房/心室分别是左心房(LA)、右心房(RA)、左心室(LV)和右心室(RV)。
图3为本发明所用的数据增强中的图片扭曲方法，左图为原始图片，右图为随机扭曲的图片。
图4为本发明使用候选目标召回方法如右侧一列所示和不使用该方法如左侧一列所示的分割结果。
图5为本发明中的8张胎儿超声心动图分割结果，每张图的左上为原始图像，右上为真实标注，左下为叠加的分割效果，右下为分割示意图；其中红色表示左心房，黄色表示左心室，绿色右心房，蓝色右心室。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
如图1-5中所示，一种胎儿超声心动图中四腔心分割方法，所述方法包括下列步骤：
通过胎儿超声心动图采集经数据增强策略增加的多样性的超声心动序列图像数据；
对输入的多样性的超声心动序列图像数据自动做逐像素标记；
通过候选目标召回方法召回在获取心室或心房过程中丢失的心室或心房的部分；以获得更好的四腔心切面分割效果；该方法通过以下步骤实现：
计算每个感兴趣区域ROI的中心，以及中心之间的L2距离；
如果2个中心之间的距离小于一个阈值，该感兴趣区域即为一个簇cluster；
如果一个簇中的感兴趣区域都属于同一个类别，它们被标记为这个类；否则，计算这些感兴趣区域的总的分数，将其判别为最大分数的那个类；如果一个类在之前环节已经出现，在分数计算环节中将不做考虑。
所述数据增强策略是利用旋转和扭曲模拟胎儿心脏在收缩和扩张时的有规律的运动。
所述旋转操作通过仿射变换方式实现；同时通过随机且弹性的扭曲方式增强图片。
所述标记方式为给图片的每个像素标记一个类别相关和实例相关的标签。利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜；其中Faster R-CNN有2个输出，分别为类别标签和包围框偏移量；在Mask R-CNN中增加一个掩膜分支，该掩膜分支用来预测每个感兴趣区域的分割掩膜。
用ROI聚类算法重新计算每个感兴趣区域ROI的中心得分；
假设一个ROIs簇包含了N个ROI,每个ROI在四个类别中的得分为
比较每个ROIs簇的四个类别得分，并将所有ROIs簇的所有类别得分排序，最后每个ROIs簇的类别计算方式如下：
输入ROIs簇的个数M
score:所有ROIs簇的所有类别得分排序,大小为M*4；
ROIs_id:得分排序后对应的ROIs簇的索引,大小为M*4；
Class:得分排序后的类别索引,大小为M*4；
初始化ROIs_class＝-ones(M)每个ROIs簇的类别，初始化为-1
输出每个ROIs簇的类别ROIs_class；即成功召回候选目标。
本发明基于四个心室/心房的分割作为额外信息用于诊断多种类型的先天性心脏病的工作原理，为了将胎儿超声心动图采集的数据在小数据量数据集上快速精确胎儿分割超声心动图中四个心房/心室，首先使用数据增强策略来增加数据的多样性，例如平移、翻转、旋转、扭曲；这是因为由于标注非常困难，通常的胎儿超声心动图中只有少于1000张标注图像，这对于训练深度神经网络是不足的，所以需要使用数据增强策略来增加数据的多样性。基于胎儿心脏在收缩和扩张时的有规律的运动，利用旋转和扭曲来模拟心脏的运动；旋转操作能够通过仿射变换实现，同时我们使用随机且弹性的扭曲来增强图片。其次利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜；实例分割的任务是给图片的每个像素标记一个类别相关和实例相关的标签。为了分割四腔心，利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜；其中Mask R-CNN有2个输出，分别为类别标签和包围框偏移量；即在Mask R-CNN中增加了一个掩膜分支，用来预测每个感兴趣区域的分割掩膜。最后通过ROI聚类重新计算每个ROI的得分，成功的召回候选目标。因为在超声心动图中，一类心室只能出现一次，例如左心房只能出现一次。因此，如果仅保留每类中最大得分的候选目标，这将会在Mask R-CNN的最终分割结果中丢失个别心室。这是因为一个更高得分的目标可能被错误分类，挤掉了一个属于该类而分数较低的目标。而通过计算每个感兴趣区域的中心这个算法，可以成功召回丢失的部分和获得更好的分割结果，如图4所示。
如图5所示；本发明通过上述四腔心分割方法，能够获得很好的四腔心分割效果。即本发明采用不同于之前使用的语义分割方法的实例分割方法，结合创新的候选目标召回方法，不仅可以同时分割四腔心，而且伴随候选目标召回策略来召回丢失的部件，分割相关的指标有明显提升；此项实例分割方法是第一个在胎儿超声心动图中实现四腔心的同时分割，这将帮助心脏病专家更好的分析胎儿心脏的结构和功能。
上述具体实施方式不能作为对本发明保护范围的限制，对于本技术领域的技术人员来说，对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。
本发明未详述之处，均为本技术领域技术人员的公知技术。
