超声成像系统、BI-RADS分级方法及模型训练方法
技术领域
本发明总地涉及超声成像技术领域，更具体地涉及一种超声成像系统、BI-RADS分级方法及模型训练方法。
背景技术
随着社会经济的发展和人民生活方式的改变，乳腺癌发病率逐年上升，乳腺癌的早诊早治意义重大。乳腺超声检查具有无创、快捷、重复性强、无放射性等优点，能清楚地显示乳腺各层软组织及其中病灶的位置、形态、内部结构及相邻组织的改变，因而已成为乳腺常规检查、乳腺癌早期筛查的一种重要方式。
另一方面，乳腺病灶的征象复杂，其诊断受限于临床医生的工作经验，具有一定的主观性。由美国放射学会(American College of Radiology,ACR)提出的BI-RADS(Breastimaging reporting and data system，乳腺影像报告和数据系统)是目前乳腺超声诊断应用广泛的分级评价标准。BI-RADS是对乳腺作为一个整体器官的所有影像学正常与异常情况的诊断报告进行规范，使用统一的专业术语、标准的诊断归类及检查程序。
由于BI-RADS诊断规则复杂繁多，对于低年资或基层医院医生来说难于记忆，从而会影响诊断的准确性。随着人工智能和图像处理技术的飞速发展，使得计算机辅助诊断应用于超声乳腺智能分析成为可能，为临床诊断提供了一种自动化、客观、精度高的辅助诊断手段。提高计算机辅助诊断的准确度具有巨大的临床价值。
发明内容
在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
针对现有技术的不足，本发明实施例第一方面提供了一种超声成像系统，所述超声成像系统包括：
超声探头；
发射/接收电路，用于激励所述超声探头向被测对象的乳腺区域发射超声波，并接收从所述乳腺区域返回的超声回波，以获得超声回波数据；
处理器，用于：
对超声回波数据进行处理，以获得所述乳腺区域的乳腺超声图像；
基于一个或多个预训练的第一特征图提取器对所述乳腺超声图像进行特征图提取，以得到关于乳腺病灶特征的一个或多个第一特征图，所述乳腺病灶特征包括BI-RADS特征；
基于预训练的第二特征图提取器对所述乳腺超声图像进行特征图提取，以得到关于BI-RADS分级的第二特征图；
基于预训练的第一分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS分级结果；
输出设备，用于输出所述BI-RADS分级结果。
在一个实施例中，所述基于预训练的第一分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS分级结果，包括：
将所述一个或多个第一特征图与所述第二特征图进行融合，以得到融合特征图，基于预训练的第一分类模型对所述融合特征图进行分类，以得到BI-RADS分级结果。
在一个实施例中，所述处理器还用于提取所述乳腺超声图像中的感兴趣区域，所述对所述乳腺超声图像进行特征图提取包括对所述乳腺超声图像中的感兴趣区域进行特征图提取。
在一个实施例中，所述处理器还用于：
基于预训练的第二分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS特征结果。
本发明实施例第二方面提供了一种BI-RADS分级方法，所述方法包括：
获得待测乳腺区域的乳腺超声图像；
基于一个或多个预训练的第一特征图提取器对所述乳腺超声图像进行特征图提取，以得到关于乳腺病灶特征的一个或多个第一特征图，所述乳腺病灶特征包括BI-RADS特征；
基于预训练的第二特征图提取器对所述乳腺超声图像进行特征图提取，以得到关于BI-RADS分级的第二特征图；
基于预训练的第一分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS分级结果；
输出所述BI-RADS分级结果。
在一个实施例中，所述基于预训练的第一分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS分级结果包括：
将所述一个或多个第一特征图与所述第二特征图进行融合，以得到融合特征图，基于预训练的第一分类模型对所述融合特征图进行分类，以得到BI-RADS分级结果。
在一个实施例中，所述方法还包括提取所述乳腺超声图像中的感兴趣区域，所述对所述乳腺超声图像进行特征图提取包括对所述乳腺超声图像中的感兴趣区域进行特征图提取。
在一个实施例中，所述方法还包括：
基于预训练的第二分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS特征结果。
本发明实施例第三方面提供一种超声成像系统，所述超声成像系统包括：
超声探头；
发射/接收电路，用于激励所述超声探头向被测对象的目标区域发射超声波，并接收从所述目标区域返回的超声回波，以获得超声回波数据；
处理器，用于：
对超声回波数据进行处理，以获得所述目标区域的超声图像；
基于一个或多个预训练的第一特征图提取器对所述超声图像进行特征图提取，以得到关于病灶特征的一个或多个第一特征图；
基于预训练的第二特征图提取器对所述超声图像进行特征图提取，以得到关于病灶分级的第二特征图；
将所述一个或多个第一特征图与所述第二特征图进行融合，以得到融合特征图；
基于预训练的分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到病灶分级结果；
输出设备，用于输出所述病灶分级结果。
在一个实施例中，所述病灶特征包括：边缘、内部回声、钙化、形状、方向、后方回声、成分或血流特征中的至少一个。
本发明实施例第四方面提供一种分级方法，所述方法包括：
获取被测对象目标区域的超声图像；
基于一个或多个预训练的第一特征图提取器对所述超声图像进行特征图提取，以得到关于病灶特征的一个或多个第一特征图；
基于预训练的第二特征图提取器对所述超声图像进行特征图提取，以得到关于病灶分级的第二特征图；
基于预训练的分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到病灶分级结果；
输出所述病灶分级结果。
在一个实施例中，所述病灶特征包括：边缘、内部回声、钙化、形状、方向、后方回声、成分或血流特征中的至少一个。
本发明实施例第五方面提供一种模型训练方法，所述方法包括：
针对一种或多种乳腺病灶特征训练第一特征图提取器，所述乳腺病灶特征包括BI-RADS特征；
针对BI-RADS分级训练第二特征图提取器；
利用所述第一特征图提取器提取样本乳腺超声图像的第一特征图，以及利用所述第二特征图提取器提取样本乳腺超声图像的第二特征图；
基于所述第一特征图和所述第二特征图训练用于输出BI-RADS分级结果的分类模型。
在一个实施例中，所述基于所述第一特征图和所述第二特征图训练用于输出BI-RADS分级结果的分类模型包括：
融合所述第一特征图和所述第二特征图，以得到融合特征图，基于所述融合特征图训练用于输出BI-RADS分级结果的分类模型。
在一个实施例中，所述样本乳腺超声图像包括全局样本乳腺超声图像、标注有感兴趣区域的全局样本乳腺超声图像或从全局样本乳腺超声图像中提取的感兴趣区域中的一种或多种。
在一个实施例中，所述方法还包括：
基于所述第一特征图和所述第二特征图训练用于输出BI-RADS特征结果的第二分类模型。
在一个实施例中，所述针对一种或多种乳腺病灶特征训练第一特征图提取器，包括：
将预先标定有乳腺病灶特征分类的样本乳腺超声图像作为训练样本输入到待训练的分类模型中，通过优化所述分类模型的参数，以减小所述分类模型输出的乳腺病灶特征分类结果与预先标定的乳腺病灶特征分类之间的误差，优化所述分类模型至符合预设条件，以获得乳腺病灶特征分类模型；
保留所述乳腺病灶特征分类模型的前端特征图提取网络，以作为所述第一特征图提取器。
在一个实施例中，所述针对BI-RADS分级训练第二特征图提取器，包括：
将预先标定有BI-RADS分级的样本乳腺超声图像作为训练样本输入到待训练的分类模型中，通过优化所述分类模型的参数，以减小所述分类模型输出的BI-RADS分级结果与预先标定的BI-RADS分级之间的误差，优化所述分类模型至符合预设条件，以获得BI-RADS分级分类模型；
保留所述BI-RADS分级分类模型的前端特征图提取网络，以作为所述第二特征图提取器。
在一个实施例中，所述分类模型包括机器学习分类器或深度学习神经网络模型。
本发明实施例第六方面提供一种模型训练方法，所述方法包括：
针对一种或多种病灶特征分别训练第一特征图提取器；
针对病灶分级训练第二特征图提取器；
利用所述第一特征图提取器提取样本超声图像的第一特征图，以及利用所述第二特征图提取器提取样本超声图像的第二特征图；
基于所述第一特征图和所述第二特征图训练用于输出病灶分级结果的分类模型。
本发明实施例第七方面提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述模型训练方法的步骤。
本发明实施例第八方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机或处理器执行时实现上述模型训练方法的步骤。
根据本发明实施例的超声成像系统、BI-RADS分级方法及模型训练方法将关于病灶特征的特征图和关于分级结果的特征图共同作为分类模型的输入特征图来进行分级，从而提高了病灶分级的准确性，并且消除了特征间的差异性，避免出现量纲不一致的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
在附图中：
图1示出根据本发明一个实施例的超声成像系统的示意性框图；
图2示出根据本发明一个实施例的BI-RADS分级方法的示意性流程图；
图3示出根据本发明另一个实施例的超声成像系统的示意性框图；
图4示出根据本发明一个实施例的分级方法的示意性流程图；
图5示出根据本发明一个实施例的模型训练方法的示意性流程图；
图6示出根据本发明另一个实施例的模型训练方法的示意性流程图；
图7示出根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
为了提高基于机器学习技术对乳腺超声图像进行BI-RADS分级的准确性，一种方案是通过特征融合的方式来优化分类器的性能，如将对乳腺超声图像编码所得的多个BI-RADS特征的特征向量与从乳腺超声图像中提取的全局特征图(Feature Map)进行融合，再将融合后的特征向量用于分类器的优化，或基于融合后的特征向量来预测BI-RADS分级。但BI-RADS特征的特征向量(如将钙化特征编码为：0-无钙化、1-导管内钙化、2-肿块内钙化、3-肿块外钙化)与乳腺超声图像的全局特征图直接串联融合，存在数据类型不同、量纲不一致的问题，会影响算法的性能和结果的准确性。
基于此，本发明实施例提出了一种超声成像系统、BI-RADS分级方法及模型训练方法。下面，首先参考图1描述根据本发明一个实施例的超声成像系统，图1显示出了根据本发明实施例的超声成像系统100的示意性结构框图。
如图1所示，超声成像系统100包括超声探头110、发射/接收电路112、处理器114以及输出设备116。进一步地，超声成像系统100还可以包括波束合成电路和发射/接收选择开关等。
超声探头110通常包括多个阵元的阵列。在每次发射超声波时，超声探头110的所有阵元或者部分阵元参与超声波的发射。此时，这些参与超声波发射的阵元中的每个阵元或者每部分阵元分别受到发射脉冲的激励并分别发射超声波，这些阵元分别发射的超声波在传播过程中发生叠加，形成被发射到被测对象的乳腺区域的合成超声波束。
发射/接收电路112可以通过发射/接收选择开关与超声探头110连接。发射/接收选择开关也可以被称为发送/接收控制器，其可以包括发送控制器和接收控制器，发送控制器用于激励超声探头110经由发射电路向被测对象的乳腺区域发射超声波；接收控制器用于通过超声探头110经由接收电路接收从被测对象的乳腺返回的超声回波，从而获得超声回波数据。之后，发射/接收电路112将超声回波的电信号送入波束合成电路，波束合成电路对该电信号进行聚焦延时、加权和通道求和等处理，然后将处理后的超声回波数据送入处理器114。
可选地，处理器114可以通过软件、硬件、固件或其任意组合来实现，可以使用电路、单个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)、单个或多个通用集成电路、单个或多个微处理器、单个或多个可编程逻辑器件、或者前述电路和/或器件的任意组合、或者其他适合的电路或器件，从而使得处理器114可以执行本说明书中的各个实施例中的方法的相应步骤。并且，处理器114可以控制所述超声成像系统100中的其它组件以执行期望的功能。
处理器114对其接收到的超声回波数据进行处理，得到被测对象的乳腺区域的乳腺超声图像。作为示例，处理器114可以根据用户所需的成像模式对发射/接收电路112获取的超声回波数据进行不同的处理，以获得不同模式的乳腺超声图像。处理器114得到的乳腺超声图像可以存储于存储器中。并且，处理器114得到的乳腺超声图像可以在显示器上显示。
在得到乳腺超声图像以后，处理器114还用于对乳腺超声图像进行分级，以得到BI-RADS分级结果。
在一些实施例中，处理器114基于全局乳腺超声图像进行分级，以得到BI-RADS分级结果。在对全局乳腺超声图像进行分级时，可以同步进行感兴趣区域的检测。在其他实施例中，处理器114可以从乳腺超声图像中提取感兴趣区域(ROI区域)，并基于ROI区域进行分级，以得到BI-RADS分级结果。ROI区域一般包括乳腺超声图像中的病灶区域，例如可以是包含病灶区域的矩形区域。乳腺的病灶为乳腺上的病变区域，例如包括炎症性病灶或肿瘤性病灶等，本发明实施例对病灶的类型不做限制。
在一个示例中，处理器114可以基于相关的机器识别算法在乳腺超声图像上自动确定ROI区域的位置，例如，具体的，在处理器114可以基于深度学习ROI检测模型、机器学习ROI检测模型或传统图像处理方法等对ROI区域进行提取。
示例性地，深度学习ROI检测模型可以使用包括但不限于RCNN、Faster-RCNN、SSD、YOLO等神经网络，可以预先基于已收集的超声图像数据以及高年资医师的病灶区域标注结果对神经网络进行训练，在网络训练阶段计算迭代过程中ROI区域的检测结果和标注结果之间的误差，并以误差最小化为目的不断更新网络中的权值，直到使检测结果逐渐逼近ROI区域的真实值，最终得到训练好的深度学习ROI检测模型。该模型可以实现对于输入的乳腺超声图像ROI区域的自动化检测提取。
作为另一种实现方式，处理器114还可以采用传统图像处理与机器学习相结合的方式进行ROI区域的自动提取。具体地，预先基于传统的图像处理方法(例如使用SelectSearch算法)确定乳腺超声图像中的待选区域，接着将待选区域变换至固定大小，并使用如Sift算子、HoG算子、GLCM灰度共生矩阵等图像处理方式提取图像的梯度、纹理等特征向量。之后，通过传统的机器学习算法对待选区域的特征向量进行训练，得到待选框的分类模型。最后，通过回归方法得到ROI区域的边界框。
另一种基于机器学习的ROI自动检测方法基于已收集的乳腺超声图像和ROI区域的标注结果训练SVM、Kmeans、Cmeans等机器学习模型，采用预训练的机器学习ROI检测模型对乳腺超声图像中的像素点的灰度值或纹理值进行二分类，判断每个像素点是否属于ROI区域，从而实现ROI区域的自动分割提取。
以上示出了几种示例性地ROI自动提取方式，在其他实现方式中，也可以由用户手动在乳腺超声图像中确定ROI区域，例如在显示器上显示乳腺超声图像，并根据用户执行的框选操作确定其中的ROI区域。或者，还可以通过半自动检测的方式来确定ROI区域，例如，首先基于机器识别算法自动检测乳腺超声图像上的ROI区域的位置，再由用户进一步修改或校正，以获取更为精确的位置。
对于全局乳腺超声图像或从乳腺超声图像中提取的ROI区域，处理器114基于一个或多个预训练的第一特征图提取器对其进行特征图提取，以得到关于乳腺病灶特征的一个或多个第一特征图，所述乳腺病灶特征包括BI-RADS特征。此外，乳腺病灶特征还可以包括其他关于病灶良恶性的乳腺病灶特征。并且，处理器114还基于预训练的第二特征图提取器对所述乳腺超声图像进行特征图提取，以得到关于BI-RADS分级的第二特征图。对第一特征图的提取和对第二特征图的提取可以依次进行，也可以并行进行。一种实施例中，一个BI-RADS特征对应一个第一特征图，其他实施例中，一个BI-RADS特征也可以对应多个第一特征图。
其中，BI-RADS特征包括但不限于乳腺形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型等与乳腺病灶恶性相关程度较高的特征，可以针对其中的一种或多种BI-RADS特征训练一个第一特征图提取器，也可以针对其中多种BI-RADS特征分别训练多个第一特征图提取器。
具体地，可以首先训练一个针对特定BI-RADS特征的分类模型，并保留训练好的分类模型的前端特征提取器，以作为针对该BI-RADS特征的第一特征图提取器，该第一特征图提取器提取的第一特征图包含关于该BI-RADS特征的信息。在针对不同BI-RADS特征进行分类模型构建时，可以使用典型的深度学习卷积分类网络，如AlexNet、Resnet、VGG等，通过最小化预测结果与预先标定的真实值之间的误差来进行训练。第一特征图提取器的具体训练过程可以参照下文。
类似地，在训练第二特征图提取器时，可以首先训练用于对乳腺超声图像进行BI-RADS分级的分类模型，训练完成后，保留分类模型的前端特征提取器以作为第二特征图提取器。第二特征图提取器提取的第二特征图包含关于BI-RADS分级的信息。第二特征图提取器的具体训练过程可以参照下文。
第一特征图提取器提取包括多种BI-RADS特征的第一特征图，第二特征图提取器提取包含BI-RADS分级的第二特征图，两者均为基于深度学习网络提取出的特征图，从而避免出现关于BI-RADS特征的特征向量与关于BI-RADS分级的特征图量纲不一致的问题。在一些实施例中，一个或多个第一特征图与第二特征图具有相同的尺寸，一个或多个第一特征图和第二特征图的通道数可以相同，也可以不同。第一特征图和第二特征图可以是一维特征图，也可以是二维特征图，本发明实施例对此不做限制。
在得到一个或多个第一特征图和第二特征图以后，处理器114基于预训练的第一分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS分级结果。
其中，BI-RADS分级一般包括0-6级，示例性地，BI-RADS各个分级意义如下：0级：评估不完全，需要召回病人，结合其他检查后再进行评估，说明检查获得的信息可能不够完整；1级：未发现异常，即正常乳腺；2级：良性病变，基本排除恶性，建议定期随访；3级：可能是良性病变，但需要缩短随访周期，恶性率小于2％；4级：不能完全排除恶性病变可能，需要活检明确(进一步分为4a级：倾向恶性可能性低；4b级：倾向恶性可能性中等；4c级：倾向恶性可能性高)；5级：高度怀疑为恶性病变(几乎认定为恶性疾病)；6级：已经由活检证实为恶性病变。
一种实施例中，处理器可以对于BI-RADS分级的全部分级进行分类；也可以仅对于BI-RADS分级中的部分分级进行分类，例如仅对2-5级进行分类，得到的BI-RADS分级结果为2-5级中的某一级。在其他实施例中，BI-RADS分级结果还可以为分级的区间，例如分级结果为2-3级。
示例性地，第一分类模型可以为传统的机器学习分类器，如SVM、KNN、boosting等分类器；或者，第一分类模型也可以为深度学习神经网络，例如可以在也可以在融合特征图后连接全连接层等来进行分类。
由于输入到第一分类模型的特征图不仅包括关于BI-RADS分级的第二特征图，还包括关于乳腺病灶特征的一个或多个第一特征图，所包含的信息更加全面，因而提高了BI-RADS分级结果的准确性。并且，第一特征图和第二特征图均为深度学习网络产生的特征图，避免了二者量纲不一致的问题。
在一些实施例中，处理器114可以对一个或多个第一特征图与第二特征图进行融合，以得到融合特征图。在进行特征图的融合时，可以将一个或多个第一特征图与第二特征图直接拼接融合，也可以根据不同的乳腺病灶特征对BI-RADS分级的不同贡献度，针对不同的第一特征图和第二特征图确定对应的贡献度向量，并利用不同的贡献度向量对第一特征图和第二特征图进行加权融合，以得到融合特征图。
在一些实施例中，还可以将融合特征图进行降维操作，如基于PCA(主成分分析)将高维度的融合特征图投射到一个低维子空间实现降维，以得到特征向量，预训练的分类模型基于降维后的特征向量进行分类，由此可以防止过拟合现象的出现，提高算法速度，减少占用的内存空间。
在一些实施例中，处理器114还用于基于预训练的第二分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS特征结果。
第二分类模型与第一分类模型类似，同样可以使用传统机器学习中的分类器或神经网络中的全连接层来构建。不同之处在于，第二分类模型输出的是BI-RADS特征结果，例如BI-RADS边缘特征清晰或不清晰，或者钙化类型为无钙化、导管内钙化、肿块内钙化或肿块外钙化中的哪一种。
示例性地，每个第二分类模型针对一种BI-RADS特征进行训练，用于输出一种BI-RADS特征结果。在训练阶段，以从样本乳腺超声图像中提取的一个或多个第一特征图和第二特征图作为输入特征图对第二分类模型进行训练，例如，将一个或多个第一特征图和第二特征图进行融合以得到融合特征图，并基于融合特征图进行训练。由于第二分类模型基于一个或多个第一特征图与第二特征图进行分类，输入特征图包含的信息更加全面，因而提高了BI-RADS特征结果的准确性。
处理器114得到的BI-RADS分级结果由输出设备116输出。输出设备116可以包括与处理器114通信连接的显示器，显示器可以为触摸显示屏、液晶显示屏等；或者显示器可以为独立于超声成像系统100之外的液晶显示器、电视机等独立显示设备；或者，显示器可以是智能手机、平板电脑等电子设备的显示屏，等等。其中，显示器的数量可以为一个或多个。例如，显示器可以包括主屏和触摸屏，主屏主要用于显示超声图像，触摸屏主要用于人机交互。
除了用于输出处理器114得到的BI-RADS分级结果以外，显示器还可以显示处理器114得到的超声图像。若处理器还基于预训练的第二分类模型得到BI-RADS特征结果，则显示器还可以显示所得到的BI-RADS特征结果。
此外，显示器114在显示超声图像的同时还可以提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给用户利用人机交互装置输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如，图形界面上显示图标，利用人机交互装置可以对该图标进行操作，用来执行特定的功能，例如在乳腺超声图像上选择ROI区域。
除此之外，超声成像系统100还可以包括扬声器、打印机等输出设备，或其他任何合适的输出设备。
可选地，超声成像系统100还可以包括其他人机交互装置，其与处理器114连接，例如，处理器114可以通过外部输入/输出端口与人机交互装置连接，外部输入/输出端口可以是无线通信模块，也可以是有线通信模块，或者两者的组合。外部输入/输出端口也可基于USB、如CAN等总线协议、和/或有线网络协议等来实现。
示例性地，人机交互装置可以包括输入设备，用于检测用户的输入信息，该输入信息例如可以是对感兴趣区域的选择指令，或者还可以包括其他指令类型。输入设备可以包括键盘、鼠标、滚轮、轨迹球、移动式输入设备(比如带触摸显示屏的移动设备、手机等等)、多功能旋钮等等其中之一或者多个的结合。
超声成像系统100还可以包括存储介质。存储介质可以用于存储处理器执行的指令，用于存储接收到的超声回波，用于存储超声图像，等等。存储介质可以为闪存卡、固态存储器、硬盘等。其可以为易失性存储器和/或非易失性存储器，为可移除存储器和/或不可移除存储器等。
应理解，图1所示的超声成像系统100所包括的部件只是示意性的，其可以包括更多或更少的部件。本申请对此不限定。
下面，将参考图2描述根据本发明实施例的BI-RADS分级方法。图2是本发明实施例的BI-RADS分级方法200的一个示意性流程图。BI-RADS分级方法200可以由上述超声成像系统100来实现，以下仅对BI-RADS分级方法200的主要步骤进行描述，而省略以上已经描述过的细节内容。
如图2所示，本发明实施例的BI-RADS分级方法200包括如下步骤：
在步骤S210，获得待测乳腺区域的乳腺超声图像。
在一个实施例中，获得待测乳腺区域的乳腺超声图像可以包括实时采集乳腺超声图像。具体地，结合图1，可以由发射/接收电路112中的发射电路向超声探头110中的每个换能器阵元发送经过适当延时的电信号，由换能器将电信号转化为超声波发射至被测对象的乳腺区域；超声探头110中的换能器接收乳腺区域返回的超声回波并转换为电信号，经过信号放大、模数变换等处理后传递给波束合成电路进行波束合成处理，然后将该波束合成的超声回波数据送入处理器114。
根据用户所需成像模式的不同，处理器114可以对第一超声回波信号进行不同的处理，获得不同模式的超声数据。然后，经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的乳腺超声图像，如包括B图像，C图像，D图像等二维超声图像。
在一个实施例中，获得待测乳腺区域的乳腺超声图像也可以是非实时获得，例如，读取预先存储的乳腺超声图像，或者接收从其他设备传输的乳腺超声图像。
在获取乳腺超声图像以后，还可以在该乳腺超声图像中确定感兴趣区域(ROI区域)的位置。感兴趣区域一般包括乳腺超声图像中的病灶区域。乳腺的病灶为乳腺上的病变区域，例如包括炎症性病灶或肿瘤性病灶等，本发明实施例对病灶的类型不做限制。
在一个示例中，可以基于相关的机器识别算法在乳腺超声图像上自动确定感兴趣区域的位置，例如，可以基于预训练的ROI检测模型自动提取感兴趣区域。在其他示例中，可以由用户手动在乳腺超声图像中确定感兴趣区域。或者，可以通过半自动检测的方式来确定感兴趣区域，例如，首先基于机器识别算法自动检测乳腺超声图像上的感兴趣区域的位置，再由用户进一步修改或校正，以获取更为精确的感兴趣区域的位置。
需要注意的是，在乳腺超声图像中确定感兴趣区域只是可选的步骤。后续的步骤可以基于乳腺超声图像中的感兴趣区域进行，也可以基于全局乳腺超声图像进行，本发明实施例对此不做限制。
在步骤S220，基于一个或多个预训练的第一特征图提取器对所述乳腺超声图像进行特征图提取，以得到关于乳腺病灶特征的一个或多个第一特征图，所述乳腺病灶特征包括BI-RADS特征。
具体地，可以针对每个乳腺病灶特征，分别采用一个预训练的第一特征图提取器对乳腺超声图像进行第一特征图的提取。其中，BI-RADS特征包括但不限于乳腺形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型等与乳腺病灶恶性相关程度较高的特征。
在步骤S230，基于预训练的第二特征图提取器对所述乳腺超声图像进行特征图提取，以得到关于BI-RADS分级的第二特征图。
第一特征图提取器提取包括BI-RADS特征的特征图，第二特征图提取器提取包含BI-RADS分级的第二特征图，两者均为特征图的形式，从而避免出现关于乳腺病灶特征的特征向量与关于BI-RADS分级的特征图量纲不一致的问题。其中，第一特征图与第二特征图可以具有相同的尺寸。
在步骤S240，基于预训练的第一分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS分级结果。
其中，可以将一个或多个第一特征图与第二特征图进行融合，以得到融合特征图；第一分类模型对融合特征图进行分类。由于融合特征图包含了关于乳腺病灶特征的信息和关于BI-RADS分级的信息，所包含的信息更加全面，因而分类结果更加准确。并且，由于第一特征图和第二特征图均为深度学习网络产生的特征图，因而避免了量纲不一致导致BI-RADS分级结果不准确的问题。
在一些实施例中，可以对融合特征图进行降维，基于降维后的融合特征图进行分类，以提高运算速度，减少占用的内存空间。
在一些实施例中，BI-RADS分级方法200还包括：基于预训练的第二分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到BI-RADS特征结果。同样地，由于第二分类模型综合一个或多个第一特征图和所述第二特征图进行分类，因而提高了BI-RADS特征类型预测的准确性。
在步骤S250，输出所述BI-RADS分级结果。
其中，可以以文字、图形、语音等任何合适的信息输出方式输出所述BI-RADS分级结果。若采用第二分类模型进行分类以得到了BI-RADS特征结果，则还可以输出BI-RADS特征结果。
根据本发明实施例的超声成像系统100和BI-RADS分级方法200将关于乳腺病灶特征的第一特征图和关于BI-RADS分级的第二特征图共同作为分类模型的输入特征图来进行分级，从而消除了特征间的差异性，提高BI-RADS分级的准确性。
下面，参考图3描述根据本发明另一实施例的超声成像系统，图3示出了根据本发明实施例的超声成像系统300的示意性结构框图。
如图3所示，超声成像系统300包括超声探头310、发射/接收电路312、处理器314以及输出设备316。超声成像系统300各个部件的相关描述可以参照上文的超声成像系统100。以下仅对超声成像系统300的主要功能进行描述，而省略以上已经描述过的细节内容。
其中，发射/接收电路312用于激励超声探头310向被测对象的目标区域发射超声波，并接收从所述目标区域返回的超声回波，以获得超声回波数据；处理器314用于：对超声回波数据进行处理，以获得所述目标区域的超声图像；基于一个或多个预训练的第一特征图提取器对所述超声图像进行特征图提取，以得到关于病灶特征的一个或多个第一特征图；基于预训练的第二特征图提取器对所述超声图像进行特征图提取，以得到关于病灶分级的第二特征图；基于预训练的分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到病灶分级结果；输出设备316用于输出所述病灶分级结果。示例性地，所述病灶特征包括边缘、内部回声、钙化中的至少一个。
超声成像系统300与上文中的超声成像系统100类似，二者的区别主要在于：发射/接收电路312激励超声探头310向被测对象的目标区域发射超声波，该目标区域不限于乳腺区域，也包括甲状腺区域、肝脏区域或其他目标区域。相应地，不同的目标区域对应不同的病灶特征和分级标准。
例如，当目标区域为甲状腺区域时，可以基于TI-RADS分级标准进行分级，此时一个或多个预训练的第一特征图提取器提取关于TI-RADS特征的第一特征图，TI-RADS特征包括成分、回声、形状、边缘和局灶性强回声等；第二特征图提取器提取关于TI-RADS分级的第二特征图。TI-RADS标准将甲状腺结节良恶性程度划分为TR1-TR5共5个等级，代表良性到高度可疑恶性，TI-RADS分级越高，甲状腺结节恶性的可能性就越大。
在一些实施例中，不同的TI-RADS特征对TI-RADS分级的贡献度不同，在获取关于不同TI-RADS特征的多个第一特征图以后，可以针对不同TI-RADS特征确定对应的贡献度向量，并利用不同的贡献度向量对第一特征图和第二特征图进行加权融合，以得到融合特征图。
此外，目标区域还可以包括肝脏区域，相应地，采用针对肝脏的分级标准和病灶特征对肝脏区域的超声图像进行分级。或者，目标区域可以是其他的肿瘤区域，分级标准可以是肿瘤区域的PD-L1表达水平、KI67表达水平等。
下面，参考图4描述根据本发明实施例的分级方法。图4是本发明实施例的分级方法400的一个示意性流程图。分级方法400可以由上述超声成像系统300来实现，以下仅对分级方法400的主要功能进行描述，而省略以上已经描述过的细节内容。
如图4所示，本发明实施例的分级方法400包括如下步骤：
在步骤S410，获取被测对象目标区域的超声图像；
在步骤S420，基于一个或多个预训练的第一特征图提取器对所述超声图像进行特征图提取，以得到关于病灶特征的一个或多个第一特征图；
在步骤S430，基于预训练的第二特征图提取器对所述超声图像进行特征图提取，以得到关于病灶分级的第二特征图；
在步骤S440，基于预训练的分类模型对得到的所述一个或多个第一特征图和所述第二特征图进行分类，以得到病灶分级结果；
在步骤S450，输出所述病灶分级结果。
在一个实施例中，所述病灶特征包括边缘、内部回声、钙化中的至少一个。
关于本发明实施例的分级方法400的其他具体细节可以参照上文的相关描述，在此不做赘述。
根据本发明实施例的超声成像系统300和分级方法400将关于病灶特征的第一特征图和关于病灶分级的第二特征图共同作为分类模型的输入特征图来进行分级，从而消除了特征间的差异性，提高了病灶分级的准确性。
本发明实施例另一方面还提供了一种模型训练方法。图5示出了根据本发明实施例的模型训练方法500的示意性流程图。如图5所示，模型训练方法500包括以下步骤：
在步骤S510，针对一种或多种乳腺病灶特征训练第一特征图提取器，所述乳腺病灶特征包括BI-RADS特征；
在步骤S520，针对BI-RADS分级训练第二特征图提取器；
在步骤S530，利用所述第一特征图提取器提取样本乳腺超声图像的第一特征图，以及利用所述第二特征图提取器提取样本乳腺超声图像的第二特征图；
在步骤S540，基于所述第一特征图和所述第二特征图训练用于输出BI-RADS分级结果的分类模型。
根据本发明实施例的模型训练方法500，分别训练针对乳腺病灶特征的第一特征图提取器和针对BI-RADS分级的第二特征图提取器，并结合第一特征图和第二特征图训练用于输出BI-RADS分级结果的分类模型，根据本发明实施例的模型训练方法训练所得的模型可以综合关于乳腺病灶特征和BI-RADS分级的特征信息进行分级，提高了BI-RADS分级的准确性，并且利用该模型进行分级能够避免出现关于乳腺病灶特征的特征向量与关于BI-RADS分级的特征图量纲不一致的问题。
示例性地，在执行所述模型训练方法之前，首先针对第一特征图提取器、第二特征图提取器分别构建样本集合。以上两个样本集合可以采用同一批样本乳腺超声图像。其中，针对第一特征图提取器构建的样本集合中对样本乳腺超声图像进行了乳腺病灶特征的标定；针对第二特征图提取器构建的样本集合中对样本乳腺超声图像进行了BI-RADS分级的标定。
示例性地，所述样本乳腺超声图像包括全局样本乳腺超声图像、标注有感兴趣区域的全局样本乳腺超声图像、或从全局样本乳腺超声图像中提取的感兴趣区域。其中，全局样本乳腺超声图像为超声成像系统采集的乳腺超声图像，全局样本乳腺超声图像中的感兴趣区域可以包括乳腺超声图像中的病灶区域，例如可以是包含病灶区域的矩形区域。乳腺的病灶为乳腺上的病变区域，例如包括炎症性病灶或肿瘤性病灶等。
在步骤S510中，可以将不同的乳腺病灶特征视为不同的分类问题，针对一个或多个乳腺病灶特征训练对应的分类模型，每个分类模型可以用于对一种乳腺病灶特征进行分类，也可以采用一个分类模型对多种乳腺病灶特征进行分类。其中，乳腺病灶特征包括BI-RADS特征，具体包括但不限于乳腺形状类型、方向类型、边缘类型、回声类型、后方回声类型、钙化类型等与乳腺病灶良恶性相关程度较高的特征。
具体地，将预先标定有乳腺病灶特征分类的样本乳腺超声图像作为训练样本输入到待训练的分类模型中，通过优化所述分类模型的参数，以减小所述分类模型输出的乳腺病灶特征分类结果与预先标定的乳腺病灶特征分类之间的误差，优化所述分类模型至符合预设条件，以获得乳腺病灶特征分类模型。其中预设条件包括：满足预设迭代次数或误差降至预设值等。在构建分类模型时，可以使用典型的深度学习卷积神经网络，如AlexNet、Resnet、VGG等。在基于此类卷积神经网络进行训练时，将样本乳腺超声图像输入到神经网络中，输出关于乳腺病灶的边缘属性、方向属性、回声性质等分类结果，通过计算预测结果和标定之间的误差，采用反向传播算法等优化算法不断迭代，逐渐逼近，使误差最小化。获得训练好的乳腺病灶特征分类模型以后，保留所述乳腺病灶特征分类模型的前端特征图提取器，以作为针对该乳腺病灶特征的第一特征图提取器。
具体的，以乳腺病灶特征为BI-RADS边缘特征(清晰/不清晰)为例，所构建的乳腺病灶特征分类模型为区分边缘清晰或不清晰的二分类网络模型。在训练时，将标注有BI-RADS边缘特征的样本乳腺超声图像输入到神经网络(例如VGG19网络)，由神经网络前端的卷积层及池化层对样本乳腺超声图像进行特征图的提取，后端网络(如全连接层或Softmax)将高维特征图映射为输入数据属于清晰或不清晰的概率值，并在不断迭代的过程中基于预先标注的真实边缘特征分类结果对概率值进行修正，直至该分类模型达到一定的准确率，从而得到训练好的针对BI-RADS边缘特征的分类模型。之后，保留该分类模型的前端特征图提取器，从而得到针对BI-RADS边缘特征的第一特征图提取器，由此实现将BI-RADS边缘特征的数字编码(如边缘特征：0-清晰/1-不清晰)，转化为针对BI-RADS边缘特征的第一特征图提取。
类似地，在步骤S520中，可以将BI-RADS分级视为多分类问题训练进行BI-RADS分级的分类模型，并保留该分类模型前端的特征图提取器作为第二特征图提取器。具体地，将预先标定有BI-RADS分级的样本乳腺超声图像作为训练样本输入到待训练的分类模型中，通过优化所述分类模型的参数，以减小所述分类模型输出的BI-RADS分级结果与预先标定的BI-RADS分级之间的误差，优化所述分类模型至符合预设条件，以获得BI-RADS分级分类模型。所述分类模型可以使用各种合适的深度学习卷积神经网络。训练完成之后，保留训练好的BI-RADS分级分类模型的前端特征图提取器，以作为针对BI-RADS分级第二特征图提取器。
在步骤S530中，对于每张样本乳腺超声图像，利用步骤S510中得到的第一特征图提取器提取样本乳腺超声图像的第一特征图，以及利用步骤S520中得到的第二特征图提取器提取样本乳腺超声图像的第二特征图。其中，可以利用多个第一特征图提取器提取关于不同乳腺病灶特征的多个第一特征图。第一特征图和第二特征图可以具有相同的尺寸；第一特征图和第二特征图的通道数可以相同，也可以不同。
在步骤S540中，基于一个或多个第一特征图提取器提取的一张或多张第一特征图与第二特征图提取器提取的第二特征图，再次训练用于BI-RADS分级的分类模型。
具体地，可以对一个或多个第一特征图和第二特征图进行融合，以得到融合特征图，基于融合特征图训练所述分类模型。所述融合特征图结合了关于一个或多个乳腺病灶特征的信息与关于BI-RADS分级的信息，所包含的信息更加全面，训练所得的分类模型更加准确。在进行特征图的融合时，可以将一个或多个第一特征图与第二特征图直接拼接融合，也可以根据不同的乳腺病灶特征对BI-RADS分级的不同贡献度，针对不同的第一特征图和第二特征图确定对应的贡献度向量，并利用不同的贡献度向量对第一特征图和第二特征图进行加权融合，以得到融合特征图。
此处的分类模型可以使用传统的机器学习分类器，如SVM、KNN、boosting等分类器训练分类模型，即将融合特征图输入到机器学习分类器中，通过优化分类器的参数，使输出的BI-RADS分级结果趋近于预先标注的真实的BI-RADS分级结果。或者，该分类模型也可以使用深度学习神经网络，例如在融合特征图后连接全连接层等，对深度学习神经网络进行训练。
在一些实施例中，也可以将融合特征图进行降维操作，如基于PCA(主成分分析)将高维度的融合特征图投射到一个低维子空间实现降维，以得到特征向量，基于降维后的特征向量作为训练样本训练分类模型，由此可以防止过拟合现象的出现，提高算法速度，减少占用的内存空间。
在一些实施例中，模型训练方法500还包括基于所述第一特征图和所述第二特征图训练用于输出BI-RADS特征结果的第二分类模型。其中，可以将一个或多个第一特征图与第二特征图进行融合以得到融合特征图，并基于融合特征图训练第二分类模型。第二分类模型与上述第一分类模型类似，同样可以使用传统的机器学习分类器或深度学习神经网络来构建。在训练第二分类模型时，可以以融合特征图或降维后的融合特征图作为训练样本，以BI-RADS特征结果作为分类结果，通过减小第二分类模型输出的BI-RADS特征结果与预先标注的真实的BI-RADS特征结果之间的误差来优化模型参数。由于训练过程综合了关于乳腺病灶特征的第一特征图和关于BI-RADS分级的第二特征图的信息，因而提高了第二分类模型输出的BI-RADS特征结果的准确性。
根据本发明实施例的模型训练方法500结合关于乳腺病灶特征的第一特征图和关于BI-RADS分级的第二特征图训练用于输出BI-RADS分级结果的分类模型，可以提高BI-RADS分类模型的准确性，并且能够消除特征间的差异性，避免出现量纲不一致的问题。
下面，参考图6描述根据本发明另一实施例的模型训练方法，图6示出了根据本发明实施例的模型训练方法600的示意性流程图。
如图6所示，所述模型训练方法600包括以下步骤：
在步骤S610，针对一种或多种病灶特征分别训练第一特征图提取器；
在步骤S620，针对病灶分级训练第二特征图提取器；
在步骤S630，利用所述第一特征图提取器提取样本超声图像的第一特征图，以及利用所述第二特征图提取器提取样本超声图像的第二特征图；
在步骤S640，基于所述第一特征图和所述第二特征图训练用于输出病灶分级结果的分类模型。
模型训练方法600与上文中的模型训练方法500类似，二者的区别主要在于：样本超声图像不限于乳腺超声图像，也包括甲状腺区域、肝脏区域或其他目标区域的超声图像。相应地，不同的区域的超声图像对应不同的病灶特征和分级标准。
例如，当目标区域为甲状腺区域时，可以基于TI-RADS分级标准进行分级，此时第一特征图提取器用于提取关于TI-RADS特征的第一特征图，TI-RADS特征包括成分、回声、形状、边缘和局灶性强回声等；第二特征图提取器用于提取关于TI-RADS分级的第二特征图，TI-RADS标准将甲状腺结节良恶性程度划分为TR1-TR5共5个等级，代表良性到高度可疑恶性，TI-RADS分级越高，甲状腺结节恶性的可能性就越大。
在步骤S640中，可以融合第一特征图和第二特征图，以得到融合特征图，并进一步地基于融合特征图训练用于输出病灶分级结果的分类模型。在一些实施例中，不同的TI-RADS特征对TI-RADS分级的贡献度不同，具体的，可以针对不同TI-RADS特征确定对应的贡献度向量，并利用不同的贡献度向量对第一特征图和第二特征图进行加权融合，以得到融合特征图。
此外，目标区域还可以包括肝脏区域，相应地，采用针对肝脏的分级标准和病灶特征对肝脏区域的超声图像进行分级。或者，目标区域可以是其他的肿瘤区域，分级标准可以是肿瘤区域的PD-L1表达水平、KI67表达水平等。
模型训练方法600的其他具体细节可以参照上文中对模型训练方法500进行的相关描述，在此不做赘述。
参照图7，本申请实施例还提供了一种电子设备700，所述电子设备700可以用于实现上文所述的模型训练方法500或模型训练方法600。所述电子设备700包括存储器710和处理器720，所述存储器710上存储有由所述处理器720运行的计算机程序。
其中，所述处理器720可以通过软件、硬件、固件或其任意组合来实现，可以使用电路、单个或多个专用集成电路、单个或多个通用集成电路、单个或多个微处理器、单个或多个可编程逻辑器件、或者前述电路和/或器件的任意组合、或者其他适合的电路或器件，并且处理器720可以控制所述电子设备700中的其它组件以执行期望的功能。
所述存储器710可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器和/或高速缓冲存储器等。所述非易失性存储器例如可以包括只读存储器、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器720可以运行所述程序指令，以实现本发明实施例中的模型训练方法和/或其他各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
此外，根据本申请实施例，还提供了一种计算机存储介质，在所述计算机存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本申请任意实施例的模型训练方法的相应步骤。在一些实施例中，所述计算机存储介质为非易失性计算机可读存储介质，其可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行程序指令的过程中所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器。
示例性地，所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
此外，根据本申请实施例，还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本申请实施例的模型训练方法的相应步骤。
综上所述，根据本发明实施例的超声成像系统、BI-RADS分级方法及模型训练方法将关于病灶特征的特征图和关于分级结果的特征图共同作为分类模型的输入特征图来进行分级，从而提高了病灶分级的准确性，并且消除了特征间的差异性，避免出现量纲不一致的问题。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
