用于全色成像的超颖表面和系统以及成像的方法
相关申请的交叉引用
本申请要求2018年1月29日提交的申请号为62/623,170的美国专利申请的权益，其全部内容通过引用并入本文。
背景技术
现代相机包括级联式且笨重的玻璃光学器件的系统，用于以最小的像差成像。虽然这些系统提供了高质量的图像，但改进的功能是以增加尺寸和重量为代价的，从而限制了它们在可更需要紧凑型图像传感器的各种应用中的使用。降低系统复杂性的一种途径是计算成像，其中光学硬件的许多像差校正和功能已转移到软件领域中的后处理，从而能够以显著简化的光学器件获得高质量的图像。替代地，设计人员可以通过用衍射光学元件(DOE)代替它们来使光学器件最小化，衍射光学元件(DOE)以更紧凑的形状因数仿真折射系统的功能。超颖表面(Metasurfaces)是此类DOE的一个极端示例，其中谐振亚波长光学天线的准周期阵列在波前赋予空间变化的改变。这些元件具有波长级的厚度，可实现高度紧凑的系统，同时设计亚波长谐振器中的大量自由度已实现前所未有的功能，以及透镜、全息干版、闪耀光栅和偏振光学器件的平坦实施。
设计用于在宽带照明下成像的消色差超颖表面透镜在超颖表面领域中仍然是一个突出的问题。超颖表面中的强色像差既源自亚波长光学散射体的局部共振行为，又源自散射体空间布置引起的相位包装缠绕不连续。对于透镜，这种色度表现为图像中与波长有关的模糊，这将基于超颖表面的成像限制为窄带操作。试图解决该问题存在很大的工作量；然而，到目前为止，所提出的解决方案要么适用于离散波长，要么适用于窄带宽。
发明内容
为此，本公开提供超颖表面、包括超颖表面的系统以及使用超颖表面生成图像的方法，以实现全色成像并在例如跨越整个可见范围的宽带白光照明下生成高质量图像。
因此，在一方面，本公开提供了在波长范围内具有光学活性的超颖表面，包括：多个柱，其包括具有第一折射率并且以正方形图案布置在衬底上的第一材料；和多个柱中的各个柱之间的间隙，其包括具有小于第一折射率的第二折射率的间隙物质；其中多个柱中的柱的直径围绕超颖表面的光轴旋转不对称地变化。
尽管计算成像和超颖表面这两者单独都是简化光学系统的有前景的途径，但是这些领域的协同组合可以进一步增强系统性能并促进先进的功能，例如，用于采用超颖表面的全可见光谱成像。因此，在另一方面，本公开提供了一种成像系统，该成像系统包括：在波长范围内具有光学活性的超颖表面，该超颖表面包括：多个柱，其包括具有第一折射率并且以正方形图案布置在衬底上的第一材料；和多个柱中的各个柱之间的间隙，其包括具有小于第一折射率的第二折射率的间隙物质，其中多个柱中的柱的直径围绕超颖表面的光轴旋转不对称地变化；光电探测器，其定位成吸收已经穿过所述超颖表面的光，并配置成基于吸收的光而生成信号；可操作地耦合到光电探测器的控制器，控制器包括逻辑，当逻辑由控制器执行时，逻辑使器件执行包括以下的操作：基于穿过所述超颖表面的在波长范围内的光，利用所述光电探测器生成多个信号；以及计算重建多个信号以提供多个计算重建的信号；并利用多个计算重建的信号，基于光电探测器吸收的光而生成图像。
在又一方面，本公开提供了一种生成图像的方法，该方法包括：基于穿过超颖表面的光，用光电探测器生成多个信号，其中，超颖表面包括：多个柱，其包括具有第一折射率并且以正方形图案布置在衬底上的第一材料；和多个柱中的各个柱之间的间隙，其包括具有小于第一折射率的第二折射率的间隙物质，其中多个柱中的柱的直径围绕超颖表面的光轴旋转不对称地变化；计算重建多个信号以提供多个计算重建的信号；并利用多个计算重建的信号基于由光电探测器吸收的光而生成图像。
提供本发明内容以简化形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本公开内容并不旨在识别所要求保护的主题的关键特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
当结合附图时，通过参考以下具体实施方式，可以更好地理解所要求保护的主题的前述方面和许多附带的优点，其中：
图1A-图1G：成像超颖表面的设计、仿真和制造。(A)超颖表面由氮化硅纳米柱制成，其中厚度T，晶格常数p和直径d是设计参数。(B)包括纳米柱阵列的超颖表面的示意图。(C)通过严格耦合波分析对纳米柱的透射振幅和相位进行仿真。沿单线态超颖表面透镜(D)的光轴和扩展焦深超颖表面(E)的仿真强度，其中在每个面板中从上到下分别使用400nm、550nm和700nm的波长。虚线表示将放置传感器的所需焦平面。单线态超颖表面透镜(F)和扩展焦深器件(G)的光学图像。比例尺为25μm。
图2A-图2H：成像超颖表面的表征。在蓝色(A和E)、绿色(B和F)和红色(C和G)照明条件下测量单线态金属(上排)和扩展焦深透镜(下排)的点扩散函数(PSF)。比例尺的长度为25μm。还针对两种设计(D和H)都计算了调制传递函数(MTF)。在D和H中，归一化频率1对应于579周期/mm的相同截止频率。
图3A-图3H：在离散波长下成像。用于成像的适当裁剪的原始对象图案示出在(A)和(B)中。使用单线态超透镜(C)和无反卷积的扩展焦深(EDOF)透镜(D)以及具有反卷积的扩展焦深(EDOF)透镜(E)捕获1951空军分辨率图表的图像。还使用单线态超透镜(F)和无反卷积的EDOF器件(G)以及具有反卷积的EDOF器件(H)拍摄二进制MonaLisa图案的图像。比例尺的长度为20μm。
图4A-图4D：用白光成像。在白光照明下拍摄彩色印刷的RGB(A)和ROYGBIV(B)文本、彩色的彩虹图案(C)以及具有蓝天、绿叶和多色花朵的风景图片(D)的图像。左栏中示出了用于成像的适当裁剪的原始对象图案。比例尺的长度为20μm。
图5：随直径变化的纳米柱的透射振幅和相位。随柱直径变化的400纳米(蓝色)、550纳米(绿色)和700纳米(红色)输入波长的透射系数，固定厚度为633nm，晶格常数为400nm。虚线是相位，实线是相应的振幅。
图6A和图6B：随晶格常数和直径变化的纳米柱的透射振幅和相位。随柱直径和晶格常数变化的透射振幅(A)和相位(B)，其中波长为550nm。虚线表示在设计的超颖表面中使用的晶格常数。
图7A和图7B：所制造的超颖表面的扫描电子显微图。(A)制造的超颖表面透镜的视图(比例尺为20μm)。(B)透镜的高放大倍率视图，其示出了单独的纳米柱(比例尺为2μm)。
图8：根据本公开公开的实施方式的系统。光纤耦合的LED(Thorlabs M455F1，M530F2和M625F2)照亮在测试中的超颖表面透镜，其将光聚焦到位于40倍物镜(NikonPlanFluor，NA＝0.75，WD＝0.66mm)的工作距离处的平面上。镜筒透镜(ThorlabsITL200)将图像放大并投影到相机(AmScopeMU300)上。
图9：根据本公开的实施方式的系统。光纤耦合的LED(ThorlabsM455F1，M530F2，M625F2和MCWHF2)照亮在标准8.5”×11”英寸印刷纸张上的对象图案。入射的LED光从图案中散射出来，并被超颖表面透镜收集并聚焦，从而在40倍物镜(NikonPlanFluor，NA＝0.75，WD＝0.66mm)的工作距离处产生图像。然后，镜筒透镜(ThorlabsITL200)将图像放大并投影到相机(AmScopeMU300)上，从相机保存结果，然后在软件中对结果进行反卷积。
图10A和图10B：使用具有不同的三次方相位强度的系统捕获的图像。(A)使用具有不同的三次方相位强度α的透镜捕获和处理的图像，在较高的α处显示出降低的信噪比(SNR)，而且还显示出降低的颜色振铃和色模糊。(B)用于具有不同的三次方相位强度的器件的绿光的MTF，对于较高的α显示出SNR的降低。
图11A-图11D：不同的反卷积方法的图像质量比较。蓝色、绿色和红色的全变分正则化反卷积的图像，其中λ为103(A)、5×103(B)、和104(C)。(D)使用维纳滤波器对同一组图像进行反卷积。在这里，图像是使用α＝55π的EDOF超颖表面透镜捕获的。
图12：具有非零源带宽的理论MTF和实验MTF的比较。MTF被示出用于以下的分析的衍射限制的解：单线态透镜(Diff)、用0nm(“0nm”)和30nm(“30nm”)带宽源照射的仿真相位掩模、以及测量的制造的单线态(“测量的透镜”)超透镜和EDOF(“测量的EDOF”)超透镜，它们被约30nm带宽的绿色LED(ThorlabsM530F2)照射，并定位成在该波长下聚焦。
图13A-图13F：单线态超透镜和EDOF超透镜的仿真的离轴性能。沿单线态(EDOF)超透镜的光轴的仿真的强度横截面示出在左侧(右侧)。示出了0°(A和B)、5°(C和D)和10°(E和F)的入射角。在每个图中，从顶部到底部使用了400nm、550nm和700nm的仿真波长。
图14：单线态超透镜和EDOF超透镜的效率。对于成像实验中使用的LED的三个波长，示出了单线态超透镜和EDOF超透镜的效率。效率定义为焦平面处的光功率与入射光束的光功率之比。误差条代表95％的置信区间，并且是通过传播三个测量值的标准偏差而获得的。通过Rayleigh-Sommerfeld衍射积分来计算理论效率。测量的效率低于理论计算的效率，我们将其归因于制造缺陷。我们还将随波长增加的测量效率归因于制造缺陷，因为对于较短的波长，制造结构的尺寸差异是更不利的。
具体实施方式
本文公开了超颖表面和包括超颖表面的系统。这样的超颖表面可以由多个柱形成在衬底上。超颖表面配置成在波长范围内是光学活性的，并且在某些实施方式中配置成形成透镜。特别地，本文描述的超颖表面配置成使穿过超颖表面的光聚焦在扩展的焦深中。因此，例如结合后处理，例如计算重建，所公开的超颖表面通常适合于生成不具有或具有最小色像差的彩色图像。
超颖表面
在一方面，本公开提供了一种具有光学活性的超颖表面。在一个实施方式中，超颖表面包括：多个柱，所述多个柱包括具有第一折射率并且以正方形图案布置在衬底上的第一材料；以及多个柱中的各个柱之间的间隙，其包括具有小于第一折射率的第二折射率的间隙物质。在一个实施方式中，多个柱中的柱的直径围绕超颖表面的光轴旋转不对称地变化，如本文中关于图7A和图7B进一步讨论的。
如上所述，本文所述的超颖表面在波长范围内具有光学活性。当波长范围内的光撞击到超颖表面上时，出现光学活性。在一个实施方式中，如示例中所公开的，超颖表面配置成当光撞击在垂直于衬底的超颖表面上时提供期望的光学活性。在其他实施方式中，非垂直的撞击角度也引起光学活性。设计用于非垂直撞击的超颖表面具有不同的相位分布，以说明入射角。可以使用相同的柱直径和厚度，只是改变其取向。
在一个实施方式中，光学活性选自衍射和反射。如本文所用的，术语“光学活性”主要用于描述光在穿过超颖表面并受到多个柱影响时的衍射。然而，在其他实施方式中，光学活性是基于配置成反射而不是衍射撞击光的超颖表面的反射。基于所选择的参数，特别是通过改变厚度和周期率(periodicity)，可以制造将反射而不是衍射光的超颖表面。
代表性的超颖表面在图1A和图1B中示出，并且包括由第一材料在衬底上以正方形图案形成的多个圆柱形柱。衬底可以是足以支撑多个柱并且不会不利地影响超颖表面的光学效应的任何材料。玻璃是示例性衬底。在一个实施方式中，衬底基本上是平坦的。在另一个实施方式中，衬底是弯曲的。通过超颖表面的性质及其易于图案化，可以使用超颖表面对平坦表面和弯曲表面进行图案化。
每个柱由直径(图1A中的“d”)、厚度(图1A中的“t”；也称为柱的高度)和周期率(图1A中的“p”；由在衬底平面中相邻柱之间的中心到中心的距离限定)限定。
如上所述，超颖表面在波长范围内具有光学活性。这样的波长范围可以包括例如可见光、红外光、紫外光等。在一个实施方式中，波长范围包括约400nm至约700nm范围内的光。
在一个实施方式中，多个柱的周期率小于波长范围内的最小波长。例如，在波长范围包括可见光并且在波长范围内的最小波长是400nm的情况下，多个柱的周期率小于400nm。
在一个实施方式中，多个柱的直径在波长范围内的最小波长的约25％和波长范围内的最小波长的约90％的范围内。在一个实施方式中，多个柱的直径在波长范围内的最小波长的约35％和波长范围内的最小波长的约85％的范围内。
在一个实施方式中，多个柱的厚度在波长范围的平均波长的约0.75倍和波长范围的平均波长的约1.5倍的范围内。在一个实施方式中，多个柱的厚度在波长范围的平均波长的约0.8倍和波长范围的平均波长的约1.2倍的范围内。
如上所述，超颖表面的第一材料具有与间隙物质的折射率不同的第一折射率。在一个实施方式中，第一材料的折射率与间隙物质的折射率之间的差为至少约0.5。在一个实施方式中，第一材料的折射率与间隙物质的折射率之间的差在约0.5至约1.7的范围内。
在一个实施方式中，第一材料的折射率在约1.5至约2.8的范围内。在一个实施方式中，第一材料的折射率在约1.8到约2.7的范围内。
例如，可以基于适用于制造多个柱等的折射率(如关于间隙物质的折射率)来选择第一材料。在一个实施方式中，第一材料包括氮化硅。在一个实施方式中，第一材料包括聚合物。
在一个实施方式中，间隙物质是空气或另一种气体。在一个实施方式中，间隙物质是聚合物。
尽管图示和描述了柱，但是可以理解，可以使用从衬底突出的其他波导，例如其中波导的周期率低于波长范围内的最小波长的波长。这样的另外的波导结构的示例可以包括例如鳍片、Vs等。本文其他位置描述的设计参数和材料适用于此类另外的波导结构。
在一个实施方式中，超颖表面的光学活性包括扭曲。在一个实施方式中，超颖表面限定透镜，该透镜被成形为对穿过超颖表面的波长范围内的光产生透镜效应。在一个实施方式中，这种透镜效应部分归因于沿着超颖表面的长度的柱直径梯度。例如，如图7B所示，柱的直径沿所图示的线是不同的以限定柱直径梯度。柱直径的这种差异配置成改变穿过超颖表面的光的相位并有助于透镜效应。
在一个实施方式中，本文描述的超颖表面配置成使穿过超颖表面的波长范围内的光聚焦在扩展的焦深中。如本文所使用的，扩展的焦深是指传感器位置可被移位以使得被成像的对象保持焦点对准的距离。透镜的焦深典型地为4λN2，其中λ为波长，N为焦距比数(f-number)。扩展的焦深是指焦深偏离此公式且更长的焦深。如本文关于示例所进一步讨论的，扩展的焦深在波长范围内在光谱上基本不变。此外，本公开的超颖表面可以配置成对穿过超颖表面的波长范围内的光的波前进行编码。在这方面，在扩展的焦深中接收光的光电探测器生成的信号可以进行后处理，例如通过对这些信号进行数字滤波和反卷积，从而与不具有扩展的焦深的超颖表面相比生成具有较少色像差的点源图像。
在一个实施方式中，本公开的超颖表面限定了具有旋转不对称地变化的直径的多个柱。如图7A和图7B所示，柱的直径围绕中心部分(这里示出为十字准线)变化以限定一系列同心环，柱直径围绕该同心环变化。如进一步所示，柱的直径进一步变化以限定与中心部分不同轴的多个同心环(也示出为十字准线)。在所示的实施方式中，尽管其他配置是可行的，但超颖表面限定了围绕中心部分并成相对的对设置的这种非同轴的同心环。
在一个实施方式中，柱直径的不对称变化遵循三次函数。在这方面，超颖表面可以是通过对多个柱及其直径进行图案化而限定的三次方相位板。在一个实施方式中，穿过超颖表面的光的相位分布由以下等式给出：
其中，
f是超颖表面的焦距，
x和y是超颖表面在衬底平面中的坐标，
z是超颖表面的传播方向，
λ是超颖表面的工作波长，
L是超颖表面的光圈宽度的一半，以及
α是超颖表面的三次方相位强度。
如本文关于示例以及图10A和图10B所进一步讨论的，例如通过从零增大α来改变三次函数的三次方相位强度，可以减轻由超颖表面生成的图像的色像差。因此，在一个实施方式中，α在约0π至约200π的范围内。在一个实施方式中，α在约20π至约80π的范围内。在一个实施方式中，α为约55π。例如，如图10A中所示，通过改变α，例如将α增大到零以上，图像质量例如通过减少色像差而得以改善。
系统
在另一方面，本公开提供一种用于生成图像的系统。在一个实施方式中，系统包括超颖表面和控制器，如图8和图9所示。在一个实施方式中，超颖表面是本文所述的任何超颖表面。在一个实施方式中，系统包括：在波长范围内具有光学活性的超颖表面；光电探测器，其定位成吸收穿过超颖表面的光并配置成基于吸收的光而生成信号；以及控制器，其可操作地耦合到光电探测器。
如上所讨论的，在一个实施方式中，这样的超颖表面可以包括多个柱，该多个柱包括具有第一折射率并且以正方形图案布置在衬底上的第一材料；以及多个柱中的各个柱之间的间隙，其包括具有小于第一折射率的第二折射率的间隙物质，其中多个柱中的柱直径围绕超颖表面的光轴旋转不对称地变化。在一个实施方式中，超颖表面配置成使穿过超颖表面的波长范围内的光聚焦在扩展的焦深中，其中，例如，扩展的焦深在该波长范围内在光谱上基本不变。
在一个实施方式中，光电探测器被定位成吸收来自聚焦在扩展的焦深中的波长范围内的光。就这一点而言，光电探测器配置成基于已经穿过超颖表面并且已经被超颖表面影响(例如聚焦)的波长范围内的光来生成一个或多个信号，例如一个或更多个电信号。
如上所述，控制器可操作地耦合到光电探测器，如图8和图9所示。在一个实施方式中，控制器配置成接收由光电探测器生成的一个或多个信号，例如基于所吸收的在波长范围内的光的信号。在一个实施方式中，可操作地耦合到光电探测器的控制器包括逻辑，该逻辑在被控制器执行时使器件执行操作。这样的操作可以包括例如用于处理由光电探测器生成的信号以计算重建信号的操作。在这方面，控制器还可以包括用于执行操作的逻辑，该操作包括：基于由光电探测器吸收的光，利用多个计算重建的信号来生成图像。尽管本文所述的超颖表面配置成减少或减轻穿过超颖表面的光的色像差，但相对于例如未配置成在扩展的焦深上聚焦光的超颖表面，这种效应还可生成伴随的信噪比增加。因此，包括计算重建多个信号以提供多个计算重建的信号的操作可适合于计算降低信噪比，使得基于由光电探测器吸收的光的图像更清晰。
在一个实施方式中，计算重建多个信号包括对多个信号进行数字滤波。如本文关于图11A-图11D进一步示出和讨论的，这种数字滤波可以适合于改善由光电探测器的信号生成的图像的质量。在一个实施方式中，对多个信号进行数字滤波包括利用维纳滤波器(Wienerfilter)对多个信号进行数字滤波。参见例如图11D。在一个实施方式中，使用维纳滤波器包括将图像的频域(傅立叶域)等效乘以由点扩散函数确定的函数，该点扩散函数是在例如所测量的波长范围内的一个波长(例如波长范围的平均波长)下测量的。在一个实施方式中，使用维纳滤波器还包括估计系统的信噪比。在这方面，经由傅里叶变换将捕获的图像转化成频域。这种经转换的图像使其乘以维纳滤波函数(其是由点扩散函数和信噪比确定的)，然后被转换回傅立叶域，以提供重建的图像。
在一个实施方式中，对多个信号进行数字滤波包括利用全变分正则项(totalvariationregularizer)对多个信号进行数字滤波。参见例如图11A-图11C。全变分正则项可适合于平衡图像的去噪和去模糊。如本文进一步讨论的，该技术可以产生更高质量的图像，但是通常使用更多的计算时间。
在一个实施方式中，计算重建多个信号包括对多个信号进行反卷积，以考虑并抵消超颖表面的聚焦行为与超颖表面的理想扭曲的偏差。在一个实施方式中，反卷积包括针对波长范围内的每个波长对多个信号均匀地进行反卷积，因为超颖表面影响相等地改变整个波长范围内的光。反卷积可以适合于补偿本文所述的超颖表面的色像差和/或其他像差。计算和/或处理能力通常容易获得，并且可以以相对较小的形状因数，其适于例如被并入包括本文所述的超颖表面的系统中。如本文中进一步讨论的，本公开的超颖表面和本文所述的反卷积方法的组合可适合于代替庞大的常规折射元件。在一个实施方式中，系统包括配置成通过超颖表面发射光的光源。在一个实施方式中，光源配置成发射包括波长范围内的光的光。在一个实施方式中，光源配置成发射具有选自可见光、红外光、紫外光及其组合的波长的光。在一个实施方式中，光源包括多个光源，每个光源配置成发射不同波长范围的光。
在一个实施方式中，光源被定位成发射平行于超颖表面的光轴的光，例如正交于衬底的平面的光，例如在图8中所示。在一个实施方式中，光源被定位成以一定角度发射与超颖表面的光轴不平行的光，如(例如在图9中)所示的。
在一个实施方式中，系统包括作为唯一的光学元件的超颖表面。在一个实施方式中，系统包括单一的超颖表面。
在一个实施方式中，除了超颖表面之外，系统还包括一个或多个光学元件。在一个实施方式中，系统包括第二超颖表面，例如本文所述的超颖表面。本文其他位置描述的设计原理和材料可以应用于第二超颖表面。
这两个超颖表面可设计和配置成产生阿尔瓦雷斯(Alvarez)透镜的特征。在一个实施方式中，将阿尔瓦雷斯透镜并入到可变焦距激光器中。在一个实施方式中，将阿尔瓦雷斯透镜并入到相机中。在另一个实施方式中，相机是手机相机。在一个实施方式中，将阿尔瓦雷斯透镜并入到视觉增强透镜(例如眼镜)中。
这样的第二超颖表面可配置成相对于超颖表面的中心光轴移动以提供例如焦点的非线性变化。在一个实施方式中，控制器配置成例如利用运动源来移动超颖表面和第二超颖表面，以改变组合的光学元件的光学功率。
在一个实施方式中，系统包括折射透镜。在一个实施方式中，折射透镜的光轴与超颖表面的光轴同轴地定位。如本文中关于图9进一步讨论的，诸如鱼眼透镜的折射透镜可适合于减少与离轴成像相关联的图像质量降低，在离轴成像中，光源的中心轴与超颖表面的光轴不共线。
方法
在另一方面，本公开提供了一种使用超颖表面和光电探测器生成图像的方法。在一个实施方式中，超颖表面是本文所述的任何超颖表面。在一个实施方式中，超颖表面是本文所述系统的一部分。如在示例中所述，例如，与使光聚焦到较窄的焦点中的超颖表面相比，用本公开的超颖表面(例如使光聚焦在扩展的焦深中的那些)生成的图像适合于生成具有较少色像差的图像。因此，在一个实施方式中，适于在本公开的方法中使用的超颖表面包括：多个柱，该多个柱包括具有第一折射率并且以正方形图案布置在衬底上的第一材料；多个柱中的各个柱之间的间隙，其包括具有小于第一折射率的第二折射率的间隙物质，其中，多个柱中的柱的直径围绕超颖表面的光轴旋转不对称地变化。
在一个实施方式中，该方法包括：基于穿过超颖表面的光，利用光电探测器生成多个信号；计算重建多个信号以提供多个计算重建的信号；以及基于由光电探测器吸收的光，利用多个计算重建的信号生成图像。如上所述，在一个实施方式中，计算重建多个信号包括例如用维纳滤波器对多个信号进行数字滤波。在一个实施方式中，计算重建多个信号包括使用全变分正则项对多个信号进行数字滤波。
在一个实施方式中，该方法包括对多个信号进行反卷积，以考虑并抵消超颖表面的聚焦行为与超颖表面的理想扭曲的偏差。
示例
示例1
本示例描述了光学硬件，其与计算的后处理结合使用，以实现包括单个超颖表面和计算上便宜的数字滤波器的全彩色成像系统，其可以在跨越整个可见范围的宽带白光照明下生成高质量的图像。
结果
线性、移位不变的光学系统的3D点扩散函数(PSF)完全表征了其行为。在光学系统的图像平面上，2DPSF对应于点源的图像，其大小和形状与系统的几何形状和像差有关。随着波长的变化，图像平面由于色像差而移位，从而由于图像传感器的固定位置而引起捕获的图像中的颜色相关的模糊。对于超颖表面光学器件，此焦点移位与光波长成反比，从而严重模糊了多色图像。我们通过用在整个可见范围内不变的PSF设计超颖表面来减轻这种模糊。这是通过使用相位掩模对光波前进行编码以提供扩展的焦深(EDOF)来实现的。由于在被模糊掉的焦斑的整个深度上都保留了空间频率信息，因此该EDOF使系统能够承受焦点移位。这样做的代价是降低信噪比(SNR)和使捕获图像模糊，因为入射光会散布在更大的体积上；但是，与具有波长相关的模糊的简单透镜不同，EDOF系统可以在宽频带上具有光谱不变的模糊，其带宽随焦深增加。所引起的模糊的光谱不变性使得可以使用单一波长不相关的滤波器进行后处理，以检索高质量的图像。
用于波前编码的第二相位掩模的要求增加了系统的尺寸和复杂性。此外，这些相位掩模在本质上通常是自由形式的(即，特征在于旋转不对称或高阶多项式)，并且通过诸如金刚石车削和用于制造衍射元件的多阶段光刻的传统工具来制造是具有挑战性的。但是，利用基于超颖表面的系统的平坦特性，我们可以使用单个光刻阶段将自由形式的元件转换为紧凑且厚度均匀的器件。这种设计自由度还可以将扭曲功能和波前编码功能组合到单一元件中。各种不同的波前编码掩膜可以产生EDOF。通常，这些掩模将在宽范围内产生非衍射光束，并且结合透镜可以生成细长的焦点。三次函数由于其简单性和矩形可分离性而成为常见的选择。此外，可以通过应用于表示光学传递函数的模糊度函数的固定相位方法来示出，对于单项式的相位掩模，当且仅当掩膜函数是三次方函数时，调制传递函数对失焦(misfocus)(例如，多色焦点移位(chromaticfocalshift)不灵敏。由于这种波长不灵敏性及其在扩展景深系统中的广泛使用，我们已经选择在这项工作中也使用三次方相位项。这里，我们设计单个元件，该元件能够同时聚焦光并对波前编码，以增加具有以下形式相位的焦深：
其中x和y为平面内坐标，λ为工作波长，f为标称焦距，L为光圈宽度的一半，且α表示三次方相位的范围。我们设计了两个超颖表面：一个超颖表面的α＝0(这是一个简单的透镜)，另一个超颖表面的α＝55π(其具有EDOF)。两个器件在550nm处的标称焦距均为200μm。我们的器件由位于周期为400nm的正方形晶格上的二氧化硅衬底(图1A和图1B)的顶部上的厚度为633nm的圆柱形氮化硅纳米柱组成。与纳米鳍片(nanofins)或V形天线不同，我们选择的纳米柱可以实现与偏振无关的行为，而氮化硅的高带隙则可以实现透明操作并在可见光带内实现高效率。每个纳米柱模仿截短的波导，该截短的波导具有低反射率的顶部和底部界面，其引起低品质因数共振。入射光耦合成纳米柱支持的模式，纳米柱随后在将光耦合到透射的自由空间模式(transmittedfree-spacemode)之前使光的相位移位。通过调整直径，纳米柱所支持的模态结构可以变化，从而改变模式的整体行为并引起不同的相位移位。由于我们关注宽带可见区域操作(400-700nm)，我们为我们的纳米柱选择了550nm的中心标称设计波长。我们通过严格耦合波分析(RCWA)(图1C)来仿真随柱直径变化的透射系数。透射系数在宽范围内表现出超过2π的相位变化和均匀的振幅。在设计我们的超颖表面时，我们使用了一组10个不同的在0到2π之间的相位步长，并通过选择共振凹陷的直径来避免振幅下降。我们仿真了两个超颖表面，以分析它们随波长变化的性能。图1D和图1E分别示出了对于α＝0和α＝55π设计的多色焦点移位，其中黑色虚线表示所需的焦平面。我们看到，虽然对于α＝0，仅绿色光(550nm)在焦点中，但对于α＝55π时，所有仿真的波长都作为EDOF的一部分撞击到期望平面上。我们使用电子束光刻和干法蚀刻来制造超颖表面。图1F和图1G示出了最终器件的光学图像。所制造的α＝0和α＝55π透镜表明，与现有的可见波长超透镜相比，所测试的波长的平均测量的聚焦效率分别为63％和57％。此后，我们将α＝0的超颖表面表示为单线态超透镜，将α＝55π的超颖表面称为EDOF超透镜。
我们的计算的成像系统提出了矩阵形式f＝Kx+n的问题，其中期望的图像x已被系统内核K模糊并被噪声n破坏，以产生捕获的图像f。多种不同的方法可用于估计x，例如线性维纳滤波器或基于正则化优化的方法。对于这项工作，我们选择了维纳滤波器，因为它的计算复杂度低。此外，重建的图像质量可与更高级的反卷积方法相媲美。我们通过校准PSF测量获得滤波图像所需的内核K。我们针对用于红色(625nm)、绿色(530nm)和蓝色(455nm)LED照明(图2A-图2H)的单线态超透镜和EDOF超透镜测量了PSF，并计算了调制传递函数(MTF)。对于单线态，使用绿色照明的紧密聚焦斑与在红色和蓝色照明下的大的模糊明显不同，从而转化成在这些照明条件下MTF的强烈区别。通过这种设计，对于红色波长和蓝色波长的MTF中的零值使得空间频率信息不可恢复地丢失并且排除了计算的重建。但是，对于EDOF超颖表面，不仅MTF波长不变，而且它们直到截止空间频率他们也都没有零值。该空间频率内容保留使得能够进行计算重建来检索期望的图像x。
为了证明系统的成像能力，我们以远大于焦距的物距(约几厘米)来照亮标准印刷纸张上的图案。然后，超颖表面将通过聚焦散射的光而形成图像。我们首先检查了分别在红色(625nm)、绿色(530nm)和蓝色(455nm)的LED照明下的窄带(约30nm带宽)成像性能。图3C-图3E比较了单线态透镜与具有反卷积和不具有反卷积的EDOF透镜所捕获的1951空军分辨率图表(图3A)的一部分的图像。当对于绿色光，图案处于焦点中时，在切换到蓝色或红色照明时，通过单线态捕获的图像经历严重失真。对于不具有反卷积的EDOF透镜，图像在所有波长下都是模糊的，但是模糊在所有波长上看起来是均匀的。但是，通过后捕获的反卷积，所得到的图像对于所有波长下都看起来在焦点上，从而显著提高了性能，并且相对于单线态的那些，色像差大大降低。我们根据空军图案图像的结构相似度(SSIM)量化了这种性能改进。与α＝0的系统的那些图像相比，反卷积的EDOF系统的图像具有较高的SSIM0.209。我们还成像了更复杂的图案，包括黑白二进制蒙娜丽莎图案(图3B和图3F-图3H)，并且还观察到使用EDOF透镜减轻了色像差。虽然我们的反卷积图像的SNR低于使用单线态超透镜的焦点对准的绿色图像的SNR，但我们的系统在宽波长范围内呈现焦点对准的图像。结合针对微光成像场景(可与我们的实验设置相比)优化的计算算法，可以进一步提高成像性能。
最后，我们使用白光源在宽带照明下测试了系统(图4A和图4B)。在这种条件下，单线态透镜使彩色印刷的RGB文本明显模糊(图4A)，并且当透镜定位成对于绿色光在焦点中时，绿色字母G的图像质量明显更好。图4A还示出了通过用EDOF透镜捕获相同的对象图案所形成的RGB文本的光谱上均匀的模糊。反卷积后，我们可以清楚地辨认出每个单独的字符，而在单线态透镜直接捕获的图像中蓝色B是模糊的并且红色R是难以辨认的。反卷积的图像的确呈现了由PSF的不对称形状引起的一些错误的水平线和竖向线，这会产生方向性伪像，但是可以通过更高级的反卷积以及使用旋转对称的PSF来校正这些伪像。图4B演示了ROYGBIV文本的类似图像质量提高，其中字符被单线态超透镜明显模糊，但在用EDOF器件捕获并进行反卷积后便在焦点上。对于彩虹图案(图4C)的情况，由单线态引起的多色模糊模糊了单独的色带，几乎看不到绿色条纹，而反卷积的EDOF图像清楚地显示了不同的带和边缘。对于具有多色花朵和叶子的风景图像(图4D)，在反卷积的EDOF图像中，被单线态严重模糊的茎和叶结构在焦点内并且减少了花朵中的颜色振铃伪影(colorringingartifacts)。
讨论
据我们所知，与消色差带宽窄或离散的波长图像叠置以产生彩色图像的超颖表面设计相比，我们率先直接用白光演示了焦点对准的全可见光谱成像。我们在图4A-图4D中观察到这种行为，其中在捕获单个图像时，在反卷积后，我们不仅使红色光、绿色光和蓝色光在焦点内，而且还使中间颜色，例如黄色、橙色和紫色在焦点内。此外，我们的超透镜依靠简单的透射型散射体，其可以扩展为使用各种不同的几何形状和材料，而现有的宽带消色差超透镜则需要具有精心设计的色散特性的散射体。但是，通过我们的系统，虽然将数字滤波器与经过我们改进的相位掩膜结合可以实现宽带彩色成像，但所需的后处理使系统变得复杂，并引入了延迟时间来对所捕获的图像反卷积。对于许多摄影和视频应用程序，这不会造成问题，因为任何捕获的帧可以被保存，然后被离线反卷积。对于实时成像，我们的系统也可以工作，因为我们的过滤器依赖于O(N log N)快速傅里叶变换算法，该算法可以通过FPGA或GPU进行加速。这种硬件加速技术将需要额外的电路并增加系统复杂性，从而要求设计人员对于给定的应用程序平衡系统的要求和成本。我们已实施的系统还因我们的小的(200μm)焦距和光圈宽度而经受有限的空间带宽乘积。典型地，光学系统的空间带宽乘积会随着系统尺寸的缩小而减小，从而减小信息容量和图像中可分辨点的数量。我们的超透镜的小光圈还限制了光采集，这降低了SNR并且使更高的入射功率或增加曝光时间成为必需。但是，这些限制并不是我们的混合光学-数字系统固有的，而是它们是由我们的短焦距引起的，并且在任何实施方式中都以相同的长度尺度出现。
报告的系统将计算成像和NA～0.45的EDOF超颖表面结合，以用最小的色像差来成像全可见光谱对象图案，从而使我们的器件非常适合于显微镜、高光谱成像和超薄相机。据我们所知，迄今为止，与以前的最短值相比，我们也已经用最短的焦距成像了超颖表面，焦距减小了2.4倍以上。尽管该系统必须应对几何像差，但是可以通过进一步共同优化光学元件(例如，通过堆叠超颖表面)和后处理算法来避免这些几何像差。通过将光学超颖表面和计算成像相结合，该工作为设计混合系统提供了模型，在该混合系统中，光学硬件和软件一起生成高质量图像，同时使系统尺寸和复杂性最小化。
三次方相位强度α对图像质量的影响
由于在焦深与所得图像的信噪比(SNR)之间存在折中，因此我们分析了α参数对图像质量的影响。我们制造了一组具有宽范围α值的EDOF超颖表面。图10A示出了使用具有不同α值的四种透镜设计捕获并进行反卷积的一组白光图像。尽管α＝0设计具有郁金香图像中的明显的颜色振铃、RGB和ROYGBIV文本中的失真以及彩虹图案中的边缘模糊，但是当使用非零α进行成像和反卷积时，这些伪影将得到减轻。对于α＝20π，我们看到了最高强度的焦点对准的图像；但是，在郁金香图像中仍然存在一些明显的色像差，其茎干结构应该是黄色的，但看起来是绿色的。过渡到较高的α时，强度会显著下降，尽管某些振铃伪影减少了并且郁金香茎均匀地呈黄色。图10B比较了三个不同α值的透镜的绿色光调制传递函数(MTF)，以演示对于给定波长的SNR的降低。从较高α处的MTF较低值可以明显看出SNR的降低。由于MTF涉及空间频率信息如何有效地从对象传递到图像，因此较低的MTF转换为较低的SNR。在此，将α＝0的透镜定位为对绿色光聚焦，从而提供宽的MTF；但是，如果以远离该设计波长的波长对其进行照明，则如图2D所示，我们将看到在其光谱中具有零值的明显变窄的MTF。
不同反卷积方法的图像比较
除了使用维纳反卷积之外，我们还为系统测试了更高级的后处理算法，例如使用全变分(TV)正则项进行优化。优化问题如下：
其中TV表示全变分正则项，K是测量的内核，f是未修改的捕获图像，λ是控制降噪和反卷积之间的平衡的参数，并且x是潜像。我们使用开放源代码执行了此优化，该开放源代码使用拆分Bregman方法解决了该问题。我们的图像典型地在约20次迭代后收敛到一个解，这对于单一图像平均花费55.5秒。但是，通过我们的维纳滤波器，图像质量是相当的，并且平均每幅图像仅花费0.56秒，从而代表了两个数量级的加速。图11A-图11D呈现了使用两种方法进行反卷积的图像，示出了λ参数对针对TV正则化方法的噪声和图像清晰度的影响。λ越低，反卷积的图像具有越小的噪声，但边缘越不清晰。λ增加时，边缘变得更明显，但噪声也变得更加突出。虽然TV正则化的方法获得相当好质量的图像并提供对噪声和平滑度的微调控制，但我们发现线性维纳滤波器的简单性和相对速度以其相当的图像质量证明了其使用的合理性。
通过图像的结构相似度评价色不变性
为了评估在不同照明波长下使用我们设计的全色系统捕获的图像之间的不变性水平，我们需要一个可量化的指标进行比较。相对于参照“完美”图像评价测试图像的用于评估图像质量的标准技术是结构相似度(SSIM)。基于图像的x(μx,σx2)方向和y(μy,σy2)方向中的均值、方差和协方差(σxy)的计算，该指标使用亮度、对比度和结构分量函数的加权组合。我们计算所用的公式如下所示：
其中c1＝(k1L)2，c2＝(k2L)2，L是像素值的动态范围，k1＝0.01，以及k2＝0.03。为0的SSIM意味着零相似度，而为1的SSIM意味着测试图像与参照完全匹配。我们针对图3A、图3C、图3D和图3E的空军测试图表图像计算了SSIM。这里，为了捕获色像差的概念，我们专注于观察当由远距分开的波长照明时相似的图像是如何出现的。为了测试这一点，我们将用α＝0的透镜捕获的蓝光图像(图3A)与其捕获的红光图像进行了比较，将红光图像作为参照。该计算得出为0.748的SSIM。我们对图3C的图像重复此计算，将EDOF捕获且进行反卷积的蓝光图像与其红色参照图像进行了比较。这种情况给出为0.956的SSIM，在SSIM上大幅提高了0.209，这表明与单线态超颖表面系统相比，使用EDOF透镜和反卷积，我们可以实现呈现出大大降低的色像差的图像。
具有非零源带宽的理论MTF和实验MTF的比较
我们测量了PSF，并使用LED源产生的非相干光进行成像。但是，LED具有不可忽略的带宽，其降低了系统的MTF的空间截止频率。为了更好地理解我们系统的性能，我们使用530nm波长(用于测量的绿色LED的中心波长)将单线态透镜和EDOF透镜的测量的MTF与相同焦距和光圈宽度的衍射限制的单线态透镜的MTF进行了比较。该MTF存在分析解，为方便起见，其被提供如下：
其中
离轴超透镜性能
除了分析我们的器件在垂直入射情况下的性能外，我们还检察了它们在被离轴照明时的性能。对于这些仿真，我们使用与以前相同的角谱传播函数来求解Rayleigh-Sommerfeld衍射积分，但使用具有带横向分量的波矢量的平面波来激发元件。图13A-图13F示出了在0°、5°和10°的照明角度下，对于单线态超透镜和EDOF超透镜的仿真强度横截面。从这些仿真中，我们观察到对于离轴照明也发生焦斑的扩展。但是，通常，虽然EDOF超透镜可以离轴成像，但它受到几何像差的影响，其将降低捕获的图像质量。由于我们的设计着重于降低色像差，因此并未针对离轴成像进行优化。将我们的方法与降低几何像差的技术相结合(例如使用带鱼眼透镜的堆叠设计)可以减轻这种图像质量下降。
方法
设计与仿真
纳米柱被设计为当柱的直径变化时对于跨越整个可见光范围(400-700nm)的波长呈现0到2π的相位。图5示出了通过严格耦合波分析(RCWA)仿真计算出的在400nm、550nm和700nm处三种代表性波长的透射振幅和相位。用于氮化硅柱和二氧化硅衬底的折射率都考虑了色散。为了确保纳米柱设计提供将允许在实施相位分布中利用单位晶格近似的弱耦合柱，当晶格常数被扫描时，仿真随直径变化的透射振幅(图6A)和相位(图6B)，以显示出在宽范围的晶格常数上的最小的相位变化。为了设计标称上550nm的超颖表面，RCWA数据用作查找表，用于将给定位置处的相位映射到最准确地提供所需期望相位的柱直径。由于我们设计的大的空间范围，因此内存需求超出了我们的可用计算资源以对我们的器件执行完整的有限差分时域(FDTD)仿真。因此，使用RCWA计算的透射系数，并将超颖表面建模为复振幅掩膜，然后，通过使用角谱传播函数评价Rayleigh-Sommerfeld衍射积分来仿真其性能。
制造
在一个实施方式中，首先通过等离子体增强的化学气相沉积将633nm的氮化硅膜沉积在熔融二氧化硅晶圆衬底上。在通过用丙酮和异丙醇的超声处理进行清洗之前，晶圆暂时涂覆有保护性光刻层并被切成小块。然后在溅镀作为电荷耗散层的8nm的Au/Pd之前，将样品用ZEP-520A旋涂。使用JEOL JBX6300FS电子束光刻系统对样品进行曝光，并通过TFA型金蚀刻剂去除电荷耗散层。在乙酸戊酯中显影之后，将铝层蒸发到样品上，并且在进行剥离之后，将铝硬掩模留在氮化硅层上以用于随后的蚀刻。使用具有CHF3和O2化学成分的电感耦合等离子体蚀刻器蚀刻样品，并且剩余的铝通过浸入AD-10光刻胶显影剂中而被除去。所制造的器件的扫描电子显微照片呈现在图7A和图7B中。
器件表征
通过图8中所呈现的实验设置来表征所制造的超颖表面的焦平面。来自光纤耦合的LED的光照亮测试中的超颖表面，并且由可平移的镜台、物镜、镜筒透镜和相机组装的定制显微镜对器件的焦平面拍摄快照。为了测量效率(图14)，使用了相同的设置，但增加了回转镜、针孔和光电探测器(Newport818-SL)。通过获得焦平面处的功率与入射光束的功率之比来计算效率。入射光束的功率是通过测量穿过一块玻璃的功率而得出的，其中针孔光圈设置为对等于超透镜的宽度的区域成像。通过在盖上透镜盖的情况下拍摄一系列校准图像，对相机进行暗噪声校正。透镜的调制传递函数(MTF)是通过傅立叶变换以及然后获取测量的焦斑的大小来确定的。
成像
使用图9中所示的设置来捕获图像。来自光纤耦合的LED的光离轴入射到印刷在标准8.5”×11”的纸张上的图案上。超颖表面通过聚焦从印刷图案上散射的光而在其焦平面附近创建图像，由物镜、镜筒透镜和相机组成的可平移显微镜捕获该图像。在图像捕获之前，在盖上透镜盖的情况下拍摄一系列照片后，消除了相机的暗噪声。
应当注意，出于本公开的目的，诸如“上”、“下”、“竖直”、“水平”、“向内”、“向外”、“内部”、“外部”、“前”、“后”等术语应被解释为描述性的，并且不限制所要求保护的主题的范围。此外，本文中“包括”、“包含”或“具有”及其变型的使用意味着涵盖其后列出的项目及其等同物以及附加项目。除非另有限制，否则本文中的术语“连接”、“耦合”和“安装”及其变型被广泛使用，并且涵盖直接和间接的连接、耦合和安装。术语“约”是指所述值的±5％。
在前面的描述中已经描述了本公开的原理、代表性实施方式和操作模式。但是，本公开旨在保护的方面不应被解释为限于所公开的特定实施方式。此外，本文描述的实施方式应被认为是说明性的而不是限制性的。可以理解，在不脱离本公开的精神的情况下，其他人可以做出变型和变化，并且可以采用等同物。因此，明确意图是所有这样的变型、变化和等同物都落入所要求保护的本公开的精神和范围内。
尽管已经图示和描述了示例性实施方式，但是可以理解，可以在不脱离本发明的精神和范围的情况下进行各种变化。
