可变时间和空间全景360度相机对象关系成像分析
技术领域
本专利文件涉及成像光学，包括与开发光学透镜和成像器(imager)相关的装置、方法和材料。
背景技术
成像器的光学设计会受到包括特定光学性能(例如，图像分辨率、图像质量等)、系统成本、功耗、重量和物理占地面积在内的各种特性的影响。用于提供大像素数量(例如，大于2000万像素)的光学系统包括可能影响物理因素的复杂的光学器件和相当大的图像传感器。产生高质量图像的一些因素包括所用成像器的尺寸以及与各种光学元件相关的像差。
发明内容
所公开的实施例涉及使用具有较小形状因子的光学成像系统来捕获具有高图像质量的非常大(例如，千兆像素)的图像的方法和系统。所公开的系统和方法可以以成本有效的方式制造，并且可以根据所公开的方法容易地组装、对准、测试和利用。
所公开的实施例的一个方面涉及一种系统，包括全景360度初级光学部，该初级光学部包括适于围绕公共原点形成对称布置的一个或多个表面。该系统还包括次级光学模块，该次级光学模块包括多个次级光学子部件，其中，每个次级光学子部件适于拦截由全景360度初级光学部采集的至少一部分光，并且其中，初级光学部和次级光学部的组合适于形成图像。在一个示例实施例中，适于形成对称布置的一个或多个表面包括围绕公共原点的球形或半球形设置。
在一个示例性实施例中，每个次级光学子部件装配在从初级光学部的公共原点辐射的锥形体内。在另一示例性实施例中，每个次级光学子部件适于校正由全景360度初级光学部产生的轴上像差，并且每个次级光学子部件包括围绕相应次级光学子部件的光轴旋转对称的部件。在又一示例性实施例中，所有次级光学子部件大致彼此相似。
根据另一示例性实施例，每个次级光学子部件的单独视场可以通过后检测处理组合成覆盖宽视场的单个连续图像。在又一示例性实施例中，上述系统包括位于每个次级光学子部件内的用于初级光学部-次级光学子部件的每个组合的孔径光阑。根据另一示例性实施例，初级光学部的至少一部分提供用于对准次级光学子部件的光学机械基准面。
在一个示例性实施例中，上述系统的初级光学部包括大致球形或半球形元件。在另一示例性实施例中，次级光学部包括多个子部件，并且每个子部件包括多个透镜。例如，每个子部件可以包括库克三片式镜头。在另一示例中，每个子部件可以包括一个场镜和多个次级透镜。根据另一示例性实施例，次级光学部的至少一部分提供次级透镜和检测器系统的各个剩余元件的机械配准。
在一个示例性实施例中，图像形成在多个离散图像区域，其中，每个图像区域对应于由全景360度初级光学部和次级光学子部件的组合捕获的视场。在该示例性实施例中，上述系统还可以包括多个图像感测元件，这些图像感测元件位于多个离散图像区域并且被配置为感测在多个离散图像区域的每个区域形成的图像。
所公开的实施例的另一方面涉及一种集成成像系统，该系统包括：全景360度物镜；以及一个或多个大致半球形的三维光学部件，其定位成至少部分围绕全景360度物镜。每个三维光学部件包括多个光学元件，并且多个光学元件中的每一个被定位成在特定视场拦截由全景360度物镜采集的光。集成成像系统还包括多个图像传感器，其中，多个图像传感器中的每个图像传感器集成到WLC光学部的相应子部件中。
所公开的实施例的另一方面涉及一种集成成像系统，该系统包括：全景360度物镜；以及半球形三维场光学部，其定位成至少部分围绕全景360度物镜。三维场光学部包括多个场元件，其中，多个场元件中的每一个被定位成在特定视场拦截由全景360度物镜采集的光。上述集成成像系统还包括晶圆级相机(WLC)光学部，其包括多个子部件，其中，WLC光学部被定位成围绕半球三维场光学部，使得WLC光学部的每个子部件与相应的场元件对准。集成成像系统还包括多个图像传感器，其中，多个图像传感器中的每个图像传感器集成到WLC光学部分的相应子部件中。
所公开的实施例的另一方面涉及一种方法，该方法包括在全景360度多尺度成像装置的全景360度初级光学部处接收光，其中，全景360度初级光学部包括适于围绕公共原点形成对称布置的一个或多个表面。该方法还包括使用全景360度多尺度成像装置的次级光学部形成图像，其中，次级光学部包括多个次级光学子部件，并且其中，每个次级光学子部件适于拦截由全景360度初级光学部接收的至少一部分光。
所公开的实施例的另一方面涉及一种成像系统，该系统包括：全景360度初级光学部，全景360度初级光学部包括适于围绕公共原点形成对称布置的一个或多个表面，以采集与要形成的图像相关联的至少一部分光并输出所采集的光；次级光学部，次级光学部包括以不同视场角布置的多个次级光学子部件，以便以不同视场角捕获由全景360度初级光学部输出的所采集的光的不同部分，其中，每个次级光学子部件适于捕获由全景360度初级光学部采集和输出的光的至少一部分，其中，由每个次级光学子部件捕获的光用于形成子图像，并且其中，初级光学部和次级光学部的组合适于基于由全景360度初级光学部采集的至少一部分光来促进形成连续的且共同表示图像的子图像；以及用于初级光学部-次级光学子部件的每个组合的孔径光阑，其中，孔径光阑位于次级光学子部件内。
可选地，其中，全景360度初级光学部大致是全景360度。
可选地，其中，次级光学子部件中的每一个位于从初级光学部件的公共原点辐射的锥形体内。
可选地，其中，所有的次级光学子部件具有大致相似的形状、材料和焦平面。
可选地，该系统包括：多个成像传感器，多个成像传感器耦接以分别接收来自多个次级光学子部件的捕获光，以形成连续的子图像；以及信号处理部件，信号处理部件将来自成像传感器的连续的子图像组合成单个图像。
可选地，其中，初级光学部的至少一部分提供用于对准次级光学子部件中的一个的光学机械基准面。
可选地，其中，初级光学部包括球形或半球形元件。
可选地，其中，每个次级光学子部件包括多个透镜。
可选地，其中，每个次级光学子部件包括内部像平面附近的场镜和一个或多个次级透镜，一个或多个次级透镜形成内部像平面的图像，内部像平面的图像表示相应子图像。
可选地，其中，至少一部分次级光学部提供次级光学部的各个剩余元件的横向机械配准。
可选地，其中，图像形成在多个离散的图像区域中，每个图像区域对应于由全景360度初级光学部和次级光学子部件的组合捕获的视场并且表示相应子图像。
可选地，该系统进一步包括多个图像感测元件，多个图像感测元件位于多个离散图像区域处并且被配置为感测在多个离散图像区域处形成的相应子图像。
所公开的实施例的另一方面涉及一种成像系统，包括：全景360度初级光学部，全景360度初级光学部包括适于围绕公共原点形成对称布置的一个或多个表面，以采集与要形成的图像相关联的至少一部分光并输出所采集的光；次级光学部，次级光学部包括以不同视场角布置的多个次级光学子部件，以便以不同视场角捕获由全景360度初级光学部输出的所采集的光的不同部分，其中，每个次级光学子部件适于捕获由全景360度初级光学部采集和输出的至少一部分光，其中，由每个次级光学子部件捕获的光用于形成子图像，并且其中，初级光学部和次级光学部的组合适于基于由全景360度初级光学部采集的至少一部分光来促进形成连续的且共同表示图像的子图像，其中，次级光学子部件中的每一个适于校正由全景360度初级光学部产生的轴上像差，并且次级光学子部件中的每一个包括围绕相应次级光学子部件的光轴旋转对称的部件。
可选地，该系统包括用于初级光学部-次级光学子部件的每个组合的孔径光阑，其中，孔径光阑位于次级光学子部件内。所公开的实施例的另一方面涉及一种集成成像系统，包括：大致全景360度物镜，以采集与要形成的图像相关联的至少一部分光；一个或多个大致半球形的三维光学部件，其被定位成至少部分围绕大致全景360度物镜，其中，三维光学部件中的每一个包括多个光学元件，多个光学元件中的每一个被定位成在特定视场捕获由大致全景360度物镜收集的至少一部分光；以及多个图像传感器，其中，多个图像传感器中的每个图像传感器集成至晶圆级相机光学部的相应子部件中，其中，多个图像传感器被配置为接收由相应光学元件捕获的光，以在组合形成图像时形成连续子图像。
可选地，其中，每个三维光学部件被构造为校正由大致全景360度物镜产生的轴上像差。
所公开的实施例的另一方面涉及一种成像方法，包括：在大致全景360度多尺度成像装置的大致全景360度初级光学部处接收光，大致全景360度初级光学部包括适于围绕公共原点形成大致对称布置的一个或多个表面；以及使用大致全景360度多尺度成像装置的次级光学部形成图像，次级光学部包括以不同视场角布置的多个次级光学子部件，以便以不同视场角捕获由大致全景360度初级光学部分输出的部分光，其中，每个次级光学子部件适于捕获由大致全景360度初级光学部接收的至少一部分光，由每个次级光学子部件捕获的光用于产生相应的子图像；以及在大致全景360度多尺度成像装置的次级光学子部件内提供用于初级光学部-次级光学子部件的每个组合的孔径光阑，其中，形成图像包括将由次级光学子部件产生的连续的子图像组合成单个图像。
可选地，该方法，进一步包括：使用初级光学部的至少一部分作为光学机械基准面来对准次级光学子部件。
可选地，其中，形成图像包括产生包括多个离散图像的连续子图像，并且其中，多个离散图像中的每一个对应于由全景360度初级光学部和次级光学子部件的组合捕获的全景360度多尺度成像装置的视场。
可选地，该方法，进一步包括：使用位于多个离散图像位置的图像感测元件感测多个离散图像中的每一个。
所公开的实施例的另一方面涉及一种成像方法，包括：在大致全景360度多尺度成像装置的大致全景360度初级光学部处接收光，大致全景360度初级光学部包括适于围绕公共原点形成大致对称布置的一个或多个表面；使用大致全景360度多尺度成像装置的次级光学部形成图像，次级光学部包括以不同视场角布置的多个次级光学子部件，以便以不同视场角捕获由大致全景360度初级光学部输出的光的部分，其中，每个次级光学子部件适于捕获由大致全景360度初级光学部接收的光的至少一部分，由每个次级光学子部件捕获的光用于产生相应的子图像；以及在由所捕获的光形成相应的单独子图像的过程中，使用每个次级光学子部件来校正由全景360度初级光学部产生的轴上像差，其中，形成图像包括将由次级光学子部件产生的连续的子图像组合成单个图像。
可选地，该方法，进一步包括：在大致全景360度多尺度成像装置的次级光学子部件内，提供用于初级光学部-次级光学子部件的每个组合的孔径光阑。
附图说明
图1示出了根据示例性实施例的用于获取高分辨率图像的系统的一部分；
图2示出了在图1所示的系统的其他部分；
图3示出了根据示例性实施例的全景360度初级光学部。
具体实施方式
高质量、高分辨率成像装置的实际实施具有挑战性。这些挑战部分归因于制造超大面积图像传感器的相关费用。例如，一台具有3.2千兆像素的焦平面，使用189,4K乘4K个10μm像素CCD并且在640mm的平面像平面上具有9.6度的视场的大型天文望远镜，预计占用8立方米空间，成本约为1.05亿美元。
另一挑战与大型像平面透镜的像差缩放有关。即，透镜像差随着尺寸缩放，使得衍射极限在例如10mm焦距的透镜系统(例如，库克三片式镜头)在被配置为在100mm焦距下操作时会由于像差而失效。
一种用于产生非常高分辨率(例如，千兆像素)成像器的方法是利用多个微相机阵列配置，其中，可以由大量独立相机获取拼接图像。具体地，这种微相机阵列可以被设置成包括n个独立的衍射极限相机，每个相机具有带有S个像素的焦平面。每个相机可以被构造成圆柱形包装的一部分，其中，圆柱的直径是相机的输入孔径，并且每个相机可以产生物场的独立样本图像。在这样的微相机阵列中，为了获取高分辨率图像，每个独立相机的视场应该与相邻相机的重叠最小。为了能够使用这种微相机系统捕获更高分辨率的图像，必须增加独立相机的焦距，从而增加相机阵列的物理体积、重量和总成本。对于非常高分辨率的成像器的实际实施(例如，在需要几千兆像素范围内的图像的情况下)，这些成本过于高昂。
为了降低与微相机阵列相关联的成本和尺寸，一些系统使用了“多尺度”透镜设计，该设计包括公共的初级光学部，然后包括多个次级光学部。在这种多尺度系统中，初级光学器件可以弯曲，以最小化像差，并且次级透镜均可以被设计用于以相关联的视场角校正初级透镜的离轴像差。多尺度成像器通常产生具有重叠图像的分割像平面，这些分割像平面可以数字处理并接合在一起，以产生单个大图像。然而，这种分割的像平面不需要大规模的平面焦平面阵列，因此有利于构造具有较小尺寸的高分辨率成像器。此外，这种多尺度配置为低焦比千兆像素成像器提供了更好的像差缩放(scaling of aberrations)。
然而，这种多尺度成像器的实际实施仍然具有挑战性，因为与次级光学器件相关联的自由形式(非旋转对称)的非球面部件的制造并不简单。此外，次级部分中的透镜(即，没有对称轴的自由形式光学部件)必须单独制造并以高精度定位在三维空间中，以校正与每个视场角相关联的像差。这样，每个像平面可以以不同的尺度或角度定向。多尺度透镜设计的这些和其他缺点使得很难生产出能够物理上缩放到千兆像素分辨率的具有成本效益的成像系统。
所公开的实施例涉及方法、装置和系统，其能够产生极高分辨率图像，同时利用能够制造并且在紧凑成像系统内可行地实施的光学部件。这种成像系统可以至少部分地通过使用初级光学部来制造，该初级光学部被配置为对所有视场角产生相同的离轴像差。提供公共孔的初级光学部是径向对称的，并构成全景360度透镜。即，初级光学部包括适于围绕公共原点形成对称布置的一个或多个表面。应当注意，术语透镜在本文中用于包括单个透镜(或简单透镜)以及包括一个以上光学元件的复合透镜。在一些实施例中，全景360度透镜由具有共同曲率中心的一个或多个球形或半球形部分组成。这种全景360度配置提供了弯曲的像平面，并在每个视场角产生相同或几乎相同的像差。应当注意，术语球形和半球形用于表达大致是球形或半球形的表面或部分。例如，由于制造限制，这种表面或部分的几何形状可能偏离完美的球体或半球。
所公开的实施例的高分辨率成像器还包括次级光学部，该次级光学部被配置用于校正在每个视场角相同或几乎相同的全景360度初级光学部的残留的轴上像差。因为像差是轴上的，所以可以使用旋转对称的部件(例如，球面)而不是在其他多尺度设计中使用的自由形式的光学部件，来构造次级光学部。在次级光学部中使用旋转对称球面，允许使用方便的制造工艺，例如，一些成熟的商业制造工艺，并且便于使用简单的对准技术构造成像器。
在一些实施例中，次级光学部的每个子部件限于装配在从第一光学部分的公共原点辐射的锥形体内。这样，只要次级光学子部件限制在锥形体内，就可以添加相邻的次级光学子部件，而不会与所获取的图像子部件重叠。
图1示出了根据示例性实施例的用于获取高分辨率图像的系统的一部分。全景360度初级光学部102包括一个或多个公共球形光学器件104，其具有公共对称点，在图1的示例性配置中，所述公共对称点位于全景360度初级光学部102的中心。图1还描绘了包含在从初级光学部102的公共原点辐射的锥形体108内的次级光学部106。图像感测装置或元件110(例如，CCD或CMOS成像传感器元件)捕获由初级和次级光学器件的组合以特定的视场角采集的光(在图1的示例性配置中，仅描绘了轴上锥形部分)。在实现方式中，多个成像传感器或元件110以阵列配置设置，并且围绕公共原点以对称布置放置在不同位置。例如，多个成像传感器或元件110可以放置在曲面上。信号处理组件112内的电路或数字处理器可用于处理来自多个成像传感器或元件110的输出，并组合这些输出，以形成单个合成图像。这个组合过程可以通过软件来执行。
在一些实施例中，信号处理组件112包括至少一个处理器和/或控制器、与处理器通信的至少一个存储单元、以及能够通过通信链路与其他实体、装置、数据库和网络直接或间接交换数据和信息的至少一个通信单元。通信单元可以根据一个或多个通信协议提供有线和/或无线通信能力，因此，其可以包括适当的发射机/接收机天线、电路和端口，以及适当发送和/或接收数据和其他信息所需的编码/解码能力。
图2示出了在图1所示的系统的其他部分。具体地，中心次级光学子部件106与两个相邻的(并且物理上不重叠的)次级光学子部件208、210以及+60度和-60度次级光学子部件212、214一起描绘。可以根据需要添加其他的次级光学子部件(即，子成像器)，以获取给定期望视场的图像。次级光学器件的光学设计应该优选地提供重叠的视场，使得由相邻的次级光学路径获取的图像可以组合，以提供无缝的合成图像。这种组合可以至少部分地使用信号处理组件112来实现。在图2的示例性配置中，所有次级光学子部件可以大致彼此相似(并且与中心次级光学子部件106大致相似)，具有大致相似的焦平面。因此，与前面讨论的多级成像器相比，图2的高分辨率成像系统可以以较低的成本批量生产，并且由于其具有宽松的对准公差，可以相对容易地组装。应当注意，多个次级光学子部件已经被描述为大致彼此相似。这种描述缺陷的特征是光学材料、制造过程中的可变性以及大多数(如果不是全部的话)实际制造和组装过程中存在的其他变化来源。
图3示出了根据示例性实施例的全景360度初级光学部。图3的示例性全景360度初级光学部包括具有弯曲焦平面312的5个元件302、304、306、308、310。在一个示例性实施例中，图3的示例性全景360度初级光学部的焦比为3、有效焦距为223mm、全视场为100度并且长度为317mm。总长度L为339mm。在一个示例性实施例中，全景360度初级光学部的五个元件由以下玻璃材料构成：H-LAK4L、N-PK51、PK51A、H-ZLAF68和KZFSN5。图3的示例性全景360度初级光学部能够在100度的视场上提供高达10千兆像素的图像。
在方法或过程的一般上下文中描述本文描述的各种实施例，这些方法或过程可以至少部分地由计算机程序产品实现，该计算机程序产品包含在计算机可读介质中，包括由网络环境中的计算机执行的计算机可执行指令，例如，程序代码。计算机可读介质可以包括可移动和不可移动存储装置，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字多功能光盘(DVD)、蓝光光盘等。因此，本申请中描述的计算机可读介质包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关联的数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定序列表示用于实现这种步骤或过程中描述的功能的相应动作的示例。
虽然本说明书包含许多细节，但这些不应被解释为对任何发明或所要求保护的范围的限制，而是对特定发明的特定实施例的特定特征的描述。本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，尽管上述特征可以被描述为以某些组合起作用，甚至最初这样要求保护，但是在某些情况下，可以从该组合中删除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。
