用于在荧光显微成像期间扩展景深的方法和装置
发明人：F·弗瑞多尼和R·M·勒文森
相关申请
根据35U.S.C.§119，本申请要求与本申请相同的发明人于2018年1月29日提交的、标题为“用于扩展显微成像的景深的方法”的美国临时申请No.62/623,320的优先权，该美国临时申请的内容通过引用结合于此。
技术领域
所公开的实施例涉及用于执行荧光显微成像的技术。更具体地，所公开的实施例涉及用于增大通过荧光显微成像获得的图像的景深的技术。
背景技术
为了促进在荧光显微镜中的高分辨率，通常使用高数值孔径(NA)镜头来获取图像。令人遗憾的是，高NA透镜的使用极大地限制了显微镜的景深，这意味着只有在极薄的焦平面内的特征才将被聚焦，而不在焦平面内的其他特征将无法聚焦。对于薄切片显微镜载玻片，这通常不是问题，因为安装在载玻片上的组织的几乎平坦的形貌。然而，在对位于显微镜成像平面上的非切片组织成像时，这种有限的景深会成为一个问题。这是由于微观尺度上组织表面粗糙度的程度，这使得几乎不可能使所有重要特征同时聚焦。
研究人员试图通过在获取图像时改变成像设备的焦点(或改变样本与成像设备的距离)，以使得从多个不同的成像平面收集信息，来解决这种有限景深的问题。然后通过反卷积来处理所得到的模糊图像，以产生最终图像，该最终图像在一定景深范围内聚焦。(例如，参见发明人迈克尔E.德莱赛等人于2008年10月28日发表的第7,444,014号、标题为“扩展景深显微术”的美国专利。)令人遗憾的是，这种技术需要大量的计算来确定对象在z维度上的位置，这使得它不适合各种各样的应用。
因此，需要一种在高分辨率荧光显微成像期间扩展景深，而没有现有技术的性能问题的技术。
发明内容
所公开的实施例涉及一种系统，该系统执行具有扩展景深的显微成像。该系统包括用于保持样本的载物台和用于照射样本的光源，其中光源产生波长在230nm至300nm范围内的紫外光，以促进利用紫外表面激发(MUSE)成像的显微术(microscopy)。该系统还包括成像设备，该成像设备包括放大被照射样本的物镜和捕获放大样本的单个图像的传感器阵列。该系统还包括控制器，该控制器控制成像设备和/或载物台以在单个图像的采集时间期间扫描样本的一系列焦平面。该系统还包括图像处理系统，该图像处理系统使用反卷积技术来处理单个图像，以产生具有扩展景深的最终图像。
在一些实施例中，当扫描样本的一系列焦平面时，系统使用可调透镜来改变成像设备的焦点。
在一些实施例中，扫描样本的一系列焦平面涉及移动以下中的一个或多个：样本；物镜；并入成像设备中的管透镜；和传感器阵列。
在一些实施例中，移动样本、物镜、管透镜或传感器中的一个或多个涉及使用以下中的一个或多个：压电致动器；线性致动器；和音圈。
在一些实施例中，捕获样本的单个图像包括：捕获样本的多个图像；和组合多个图像以产生样本的单个图像。
在一些实施例中，处理单个图像包括：将反卷积技术分别应用于利用具有拜耳图案(Bayer pattern)的传感器获取的单个图像的多个颜色平面，以产生多个反卷积的颜色平面；以及组合多个反卷积的颜色平面以产生具有扩展景深的最终图像。
在一些实施例中，处理单个图像涉及使用二维(2D)反卷积。
在一些实施例中，2D反卷积包括基于傅立叶变换的反卷积。
在一些实施例中，图像处理系统还在产生最终图像时使用基于机器学习的降噪技术和/或分辨率增强技术。
在一些实施例中，基于机器学习的降噪和/或分辨率增强技术涉及在反卷积图像和真实图像之间创建映射。
在一些实施例中，预先用一种或多种荧光染料对样本进行染色。
附图说明
本专利或申请文件包含至少一个以彩色执行的附图。具有(一个或多个)彩色附图的本专利或专利申请出版物的副本将由专利局根据要求并在支付必要的费用后提供。
图1示出了根据所公开的实施例的显微系统，其在改变样本和成像设备之间的距离的同时捕获样本的图像。
图2示出了根据所公开的实施例的显微系统，其在改变到样本的焦距的同时捕获样本的图像。
图3示出了根据所公开的实施例的流程图，该流程图示出了以促进扩展图像景深的方式捕获和处理图像的过程。
图4示出了根据所公开的实施例，可以如何通过扩展景深(EDOF)技术来改善图像。
图5示出了根据所公开的实施例的过程的流程图，该过程分别对捕获图像的颜色平面进行反卷积，然后组合反卷积的图像。
图6示出了根据所公开的实施例，不同颜色分量的示例性图像在被组合之前可以如何被分别反卷积。
具体实施方式
以下描述是为了使本领域的任何技术人员能够制作和使用本发明的各实施例而呈现的，并且是在特定应用及其要求的上下文中提供的。对所公开的实施例的各种修改对于本领域技术人员来说将是明显的，并且在不脱离本发明的实施例的精神和范围的情况下，这里定义的一般原理可以应用于其他实施例和应用。因此，本发明的实施例不限于所示的实施例，而是符合与这里公开的原理和特征一致的最宽范围。
在该具体实施方式中描述的数据结构和代码通常存储在计算机可读存储介质上，该计算机可读存储介质可以是能够存储供计算机系统使用的代码和/或数据的任何设备或介质。计算机可读存储介质包括但不限于易失性存储器、非易失性存储器、磁和光存储设备，例如磁盘驱动器、磁带、CD(光盘)、DVD(数字多功能盘或数字视频盘)，或者能够存储现在已知或以后开发的计算机可读介质的其他介质。
在具体实施方式部分中描述的方法和过程可以体现为代码和/或数据，代码和/或数据可以存储在如上所述的计算机可读存储介质中。当计算机系统读取并执行存储在计算机可读存储介质上的代码和/或数据时，计算机系统执行体现为数据结构和代码并存储在计算机可读存储介质中的方法和过程。此外，下面描述的方法和过程也可以包括在硬件模块中。例如，硬件模块可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)以及现在已知或以后开发的其他可编程逻辑器件。当硬件模块被激活时，硬件模块执行包含在硬件模块中的方法和过程。在具体实施方式部分中描述的方法和过程可以体现为代码和/或数据，该代码和/或数据可以存储在如上所述的计算机可读存储介质中。
讨论
MUSE(UV表面激发显微术)是一种新的显微术方法，它提供了一种可以直接并且快速地从新鲜或固定的组织中生成具有增强的空间和颜色信息的诊断质量图像的直接而廉价的成像技术。成像过程是非破坏性的，从而允许下游分子分析。(参见Farzad Fereidouni等人的“用于无载玻片组织学和病理学成像的UV表面激发(MUSE)显微术”，Proc.SPIE9318，光学活检XIII:朝着实时的光谱成像和诊断,93180F，2015年3月11日。)
为了便于MUSE成像，先用常见荧光染料对样本进行短暂染色，然后用280nm的紫外光激发，由于该波长的光穿透深度有限，所以这产生高度表面加权的图像。这种方法还利用了“无用”现象(具有长发射斯托克斯位移的紫外斑点激发)以在可见光范围内产生广谱图像。请注意，MUSE即使在单个快照中也能容易地提供表面形貌信息，虽然不是完全三维的，但图像易于获取并且易于解释，从而提供了对组织结构的更多见解。
令人遗憾的是，使用具有固有深度信息的样本工作会在确定适当的焦点以及捕获扩展景深图像方面带来问题。我们开发了一种加速和高效的技术，其通过采用扫焦采集技术来在MUSE成像期间扩展景深。我们还开发了一种快速自动对焦的新方法。这些功能共同促进了MUSE的功能和易用性。
由于MUSE通过使用短紫外(UV)光(通常为280nm)激发对组织进行宽视场荧光成像来操作，所以MUSE技术只能对厚样本的表面进行成像。组织内部的对象不能被MUSE可视化的事实允许捕获扩展的景深所需的计算操作省略先前解决该问题的方法所需的计算密集型操作。(请注意，MUSE是唯一的宽视场UV成像技术，其仅使用表面加权特征来即时捕获图像。)
用于在改变2轴聚焦位置的同时捕获单个图像的先前技术需要作为扩展景深(EDOF)计算的一部分的对象估计步骤，因为那些非表面加权成像方法在成像体积内的不同深度获得多个信号。例如，参见(上文引用的)第7,444,014号美国专利的图3中的流程图中的步骤310。相比之下，我们新的MUSE EDOF技术只检测沿样品表面定位的发射对象，这些对象可以是平的，也可以不是平的。这允许省略第7,444,014号美国专利中描述的计算上昂贵的“对象估计步骤”。
优势
我们新的MUSE EDOF成像技术提供了许多优势。
(1)该技术与传统的显微镜设计兼容。只需要对传统的显微镜设计进行微小的更改。这些更改可以涉及将显微镜物镜装配在压电致动器上(或使用其他机械载物台)，使得焦平面扫描操作可以与照相机的图像采集同步。
(2)不需要额外的数据或图像采集。由于压电致动器的快速响应，在EDOF图像采集过程期间图像采集时间不会延长。
(3)这种技术有利于近实时分析。在操作期间，压电致动器(或其他机械装置)被配置成在照相机的采集时间内将显微镜载物台或物镜移动到期望的范围内(～100pm)，以捕获单个图像。这种技术以与照相机同步的方式扫描所期望的范围，并从所有层收集光。通过使用这种图像采集技术，我们基本上将与3D点扩展函数(PSF)卷积的对象的三维(3D)轮廓积分为二维(2D)图像。根据卷积定理，z方向上的积分从卷积中脱离出来，并且它变成与2DPSF进行卷积的对象。因此，分析方法基本上是图像的2D反卷积。注意，存在执行2D卷积的大量可用方法。然而，由于时间的限制，我们关注基于傅里叶变换的技术。
(4)该技术还有助于噪声降低。尽管基于PSF的反卷积是有效的，但它们会给得到的图像增加不同量的噪声。为了降低这种噪声，我们可以使用基于机器学习的噪声降低技术，该噪声降低技术通过在反卷积图像和使用多个单独平面获得的“真实”EDOF图像之间创建映射来操作。这些可以合并成噪声低得多的单个EDOF图像，但代价是多次图像采集和非常长的计算时间。请注意，使用(根据样本类型到样本类型的)基于机器学习的映射允许我们获取快速的单图像扫描焦点图像，并计算高质量、低噪声的得到的图像。还可以通过对傅立叶变换图像应用自定义窗口函数来抑制低信号高频分量，从而实现噪声降低。(例如，参见“Optical Systems with Resolving Powers Exceeding the Classical Limit(具有超过传统极限的分辨能力的光学系统)”，JOSA第56卷，11期，第1463-1471页，1966年)。该技术提供了实时噪声降低，因为它仅包括将窗口函数乘以傅立叶变换图像。另一种噪声降低技术是标准韦纳滤波。(参见Wiener,Norbert,1949,Extrapolation,Interpolation,andSmoothing of Stationary Time Series(平稳时间序列的外推、插值和平滑)，New York:Wiley.)
这项技术的一个主要好处是速度。注意，图像获取时间不受扫描的限制，因为扫描操作是通过照相机曝光时间同步的。此外，由于收集的数据有限，相关的分析技术不需要来自多个层的数据。
显微系统
图1示出了根据所公开的实施例的示例性显微系统，该显微系统在改变样本和成像设备之间的距离的同时捕获样本110的图像。更具体地，图1示出了由传感器阵列102和物镜104组成的成像设备。该成像设备获取样本110的图像，样本110被固定到可移动载物台108。在成像过程期间，光源106用波长为280nm的UV光照射样本110，以便于MUSE成像。请注意，图1中所示的所有组件由控制器112操作。
因为载物台108是可移动的，所以使焦平面通过样本110的移动与传感器阵列102对图像的采集同步是可能的。例如，载物台108可用于在100毫秒的窗口内将样本110向物镜104每毫秒一微米地移动，在此期间传感器阵列102收集图像。(在替代实施例中，可以移动物镜104和/或传感器阵列102来代替移动载物台108。)此外，我们可以采用任何类型的线性致动器，例如压电换能器或音圈，来移动载物台108。
请注意，收集图像的时间比使成像设备饱和的时间长得多是不切实际的，因此我们只能为每个焦平面收集有限量的光。为了解决这个问题，我们可以拍摄更多的图像，然后对它们进行平均。
图2示出了显微系统的替代设计，其使用改变其焦距的物镜204来移动焦平面，而不是使用可移动的载物台。如图2所示，物镜204包括焦距调节装置205，其可用于改变焦平面的位置。
捕获和处理图像
图3示出了根据所公开的实施例的流程图，该流程图示出了以促进扩展图像景深的方式捕获和处理图像的过程。在操作期间，系统通过成像设备捕获样本的单个图像，其中，用波长在230nm至300nm范围内的紫外光对样本进行照射，以促进利用紫外表面激发(MUSE)成像的显微术，并且其中成像设备包括放大样本的物镜和捕获放大样本的单个图像的传感器阵列(步骤302)。当捕获样本的单个图像时，系统控制成像设备和/或保持样本的载物台在单个图像的采集时间期间扫描样本的一系列焦平面(步骤304)。接下来，系统使用反卷积技术来处理单个图像，以产生具有扩展景深的最终图像(步骤306)。最后，系统可选地使用基于机器学习的降噪技术和/或分辨率增强技术来产生最终图像(步骤308)。例如，系统可以使用机器学习技术，诸如生成性对抗网络(GAN)。
在处理步骤306期间，我们假设通过对轴向轴上的图像层求和，z轴上的卷积脱离，并且我们有了与PSF的总和卷积的对象的总和。
对于3D对象，来自不同轴向层的图像是通过将3D PSF与对象轮廓进行卷积来确定的：
通过将累积强度定义为
并且将累积的PSF定义为
并且假设光只来自表面层
我们可以得到方程(1)的两边在轴向轴上的积分：
并且可以通过应用PSFc(x,y)的反卷积滤波器来恢复对象:
对于近实时处理，基于逆傅里叶变换的方法将是可以接受的。在这些方法中，求和图像被傅立叶变换并除以OTF(PSF的傅立叶变换)，以反卷积来自模糊图像的求和的PSF。虽然这些基于FFT的方法很快，但令人遗憾的是这些方法噪声很大，并且需要适当的噪声抑制，例如通过韦纳滤波。通过使用执行傅立叶变换的快速方法，诸如由麻省理工学院的Matteo Frigo和Steven G.Johnson开发的西部最快傅立叶变换(FFTW)软件库所使用的方法，可在一秒钟内返回900万像素图像的EDOF。
如图4中出现的图像所示，通过使用上述EDOF处理技术，我们能够从具有相当大的表面粗糙度的样本开始有效地重建完全聚焦的图像。图4示出了用罗丹明和Hoechst染色的肾脏样本的图像。图4中的右栏示出了左栏中红色方块的放大区域。
请注意，肾脏样本的扩展表面形貌(包括厚组织)使得难以获得聚焦图像，即使使用传统的自动聚焦也是如此，如行A所示，其中以最佳聚焦拍摄单个图像。相比之下，行B显示了更清晰、反卷积的离焦单图像，行C显示了10帧z堆栈的反卷积平均值。请注意，虽然由多个z平面构建的行C中的图像比行B中的图像显示噪声小得多的聚焦图像，但是获取这些图像花费的时间几乎是10倍长，并且处理多个z平面图像花费的时间更长。我们的目标是在获取和处理行B中的数据所需的时间内达到行C的质量。
图5示出了根据所公开的实施例的过程的流程图，该过程分别对捕获图像的颜色平面进行反卷积，然后组合反卷积的图像。(该流程图强调了出现在图3中的流程图中的步骤306中发生的操作。)当在步骤306中处理单个图像时，系统将反卷积技术分别应用于单个图像的多个颜色平面，以产生多个反卷积的颜色平面(步骤502)。然后，系统组合多个反卷积的颜色平面，以产生具有扩展景深的最终图像(步骤504)。图6示出了一个示例，该示例示出了根据所公开的实施例，来自拜耳传感器的不同颜色分量的图像在被组合之前可以如何被分别反卷积。
对所公开的实施例的各种修改对于本领域技术人员来说将是明显的，并且在不脱离本发明的精神和范围的情况下，这里定义的一般原理可以应用于其他实施例和应用。因此，本发明不限于所示的实施例，而是符合与本文公开的原理和特征一致的最宽范围。
前面对实施例的描述仅出于说明和描述的目的。它们并不旨在穷举或将本说明书限制于所公开的形式。因此，许多修改和变化对于本领域技术人员来说是明显的。此外，以上公开并不旨在限制本说明书。本说明书的范围由所附权利要求限定。
