生成全景图像
技术领域
本发明涉及生成全景图像，尤其涉及生成具有减少伪影的全景图像。
背景技术
在全景图像中，大视角被覆盖，但其不一定包括360°的视野。全景图像大部分是通过拼接以不同观察方向捕获的多幅图像来生成的。
在生成全景图像的一种变型中，多幅单体图像被相继地生成。在这些单体图像之间，相机被旋转一些。然后通过使用所谓的拼接技术把这些单体图像或部分图像连接起来以形成全景图像。该拼接过程可能会出错。由入射瞳孔与相机旋转轴不一致的事实所引起的误差可通过设计来使其保持最小。然而，无法被容易移除的问题是由于在正被捕获的场景中的物体移动而导致发生的问题。
根据另外的变型，对单体图像进行组合以形成一个整体图像，无法在以时间划分复用(time-division multiplex)的方式捕获的图像的基础上执行的，但是可以在以通道划分复用(channel-division multiplex)的方式捕获的此类图像的基础上执行。在这里，通过多个通道以不同的观察方向同时地捕获这些单体图像，并随后接合这些图像。在这里，在拼接期间会出现视差问题，因为这些通道是彼此相邻地布置的。因此，在这两种情况下在拼接的过程中都存在由于在这些部分图像间的不一致性所引起的问题，前者是由于捕获的不同时间，后者是由于光通道之间的距离。
发明内容
本发明的目的是生成展现出改善质量的全景图像，例如通过减少在这些单体部分图像之间的不一致性。
这个目的是由独立权利要求的技术主题来实现。实现方式在相关的权利要求中被限定。
本申请所基于的构思为两种类型的单体图像被捕获，生成一组同时捕获的单体图像—第一组单体图像—以及另外一组按时间序列捕获的单体图像—第二组单体图像。为此目的，通过相机系统的多个光通道生成的、并且在时间上相对于第一单体图像和/或相对于彼此偏移的同时捕获的图像—第一图像具有至少一个另外的单体图像—被称为第二单体图像，所述第二单体图像是通过新增到它们的所述通道中的一个或多个生成的。因此，以相互时间偏移所捕获的所述一组图像可从相同的“位置”和/或以小的基础距离捕获，使得这些图像展现出没有或只有轻微的视差。所捕获的另外一组同时生成的图像不会受到在所捕获图像之间的移动不一致性的影响。由于它们互补式的优势，两组单体图像都可被使用来实现改善的拼接以形成全景图像，即呈现经改善的全景图像。比起如果仅仅使用一组捕获的图像所原本可能产生的情形相比，可组合导致出的结果是更加没有伪影的全景图像，而且不管整体场景的类型如何，即不管场景在整体视野范围内包括或不包括移动。取决于相机系统的现有设计，在设计方面的额外开销可能非常小或不存在。
在一个实施例中，设备在第一重叠区域内确定第一对第一单体图像之间的第一差异，所述第一对第一单体图像与全景视野的至少一部分相关，并且在所述全景视野内，在第一重叠区域内彼此重叠；并且，在第二重叠区域内，确定来自第二组的单体图像的第二对单体图像之间的第二差异，所述第二对单体图像与所述全景视野的相同部分相关，并且在所述全景视野内，在第二重叠区域内彼此重叠；如果第一差异小于第二差异，则选择第一对用于构建全景图像，而且如果第一差异大于第二差异，则选择第二对用于在部分内构建全景图像。所述第一及第二重叠区域可以是全等的。
在另外的实施例中，设备被建立，以使得第一差异和第二差异的确定被细分为横截面/条的方式来执行所述确定，并且基于所述确定沿着第二方向执行第一对或第二对的选择，所述第二方向垂直于第一方向，通过所述单体图像对覆盖的视野沿着所述第一方向彼此相邻地被定位，使得针对横向于第二方向的不同横截面的选择能够不同。
在一个实施例中，执行所述至少一个第二单体图像的捕获，使得第二组的单体图像中的单体图像是以不同的观察方向捕获的，并且在第二组的单体图像中的单体图像之间，通过以下方式执行观察方向的变化，即，通过旋转整个相机系统的光通道，或通过旋转整个相机系统，和/或通过切换可切换的光学元件，所述光学元件致使一个光通道的光路的偏转，或相机系统的多个通道中的每一个通道的光路的偏转；和/或通过旋转镜子或棱镜，用于偏转一个或多个光通道的光路或相机系统的多个通道中的每一个通道的光路。
在另外的实施例中，系统包括第二相机系统，并被配置为通过第二相机系统的多个光通道，同时捕获第三组的单体图像，所述第三组的单体图像一起覆盖全景视野，第二相机系统以相对于第一相机系统偏移的方式被布置；通过第二相机系统的多个光通道中的一个光通道捕获至少一个第四单体图像，使得所述至少一个第四单体图像通过其自身(即，通过它自己或通过它们自己)，或者通过与通过多个光通道中的所述一个通道捕获的第三单体图像一起，生成第四组的单体图像，所述第四组的单体图像是以相互时间偏移捕获的，并且覆盖全景视野；以及基于第三组的第三单体图像、以及至少一个第四单体图像，呈现另外的全景图像或用于该全景图像的深度图。
附图说明
本发明的实施例将在下面参照附图做更为详细的解释，其中：
图1示出根据实施例的用于生成全景图像的设备的示意图；
图2示出根据实施例的相机系统的示意图；
图3示出根据实施例的相机系统的示意图，其中要被拍摄的物体正在移动；
图4示出与共享重叠区域相关的相互重叠的单体图像对的示意图，用于针对优选用于生成全景图像的对来分析所述共享重叠区域；以及
图5示出与共享重叠区域相关的相互重叠的单体图像对的示意图，用于针对优选用于生成全景图像的对来分析所述共享重叠区域，所述分析被逐部分地细化。
具体实施方式
在将通过附图描述实施例之前，应当再次简要说明和解释以下所描述的实施方式如何产生优点。
如在本说明书的背景技术中所提到的，出于各种原因，可以合理地拼接具有相对小视野的若干图像以形成具有较大视野的一个图像。例如，所述图像的整体分辨率可以更高，或者相机系统的尺寸可以更小，或者系统的外形因素可以更为有利，或者相机系统可以以特别平坦的方式设计。
本质上，有两种方法可用于捕获单体图像：
1.通过单一光通道对单体图像进行时间偏移捕获。为此，观察方向在被捕获图像之间改变，例如通过旋转整个相机或通过利用可移动镜来偏转光路。所有图像都是从一个共享位置被捕获。
2.通过包括不同的固定观察方向的若干光通道，同时捕获这些单体图像。在这种情况下，光通道不可避免地不位于相同的位置，而是都彼此地横向地偏移。分束器可以使得多个光通道可以具有共享的节点，但这可能会导致不希望的光损失。
在第一方法中，单体图像在它们被捕获时的时间点方面有所不同，在第二方法中，它们在相机位置上不同。这会在拼接单体图像以形成全景图像期间导致复杂性。只有在具有以下属性的场景才可能进行无伪影拼接：
1.静态场景，即在捕获图像的瞬间之间，在场景内没有物体的移动。
2.场景的所有物体都与相机系统的距离相同，或者取决于相机系统的角度分辨率，处在与光通道的偏移量相比有100倍或更大倍数的大的距离。
也可尝试其他场景的呈现，但牵涉到增加的算法开销。如果该重建失败，这将导致重影图像或不匹配的边缘和图像细节。
例如，可以通过快速地切换观察方向或通过使用光通道的小距离来减少伪影。
以下所描述的这些实施例通过捕获两组单体图像，受益于两种变型的单体优点和/或特定于场景的适合性，一组单体图像是同时捕获的，以及一组单体图像是以时间偏移的方式捕获的，使得可以整体地，以这两组为基础地，与场景类型无关地，即不管它是否包括移动和/或在单体图像重叠区域中的剧烈深度变化，都可以改善全景图像的构建。
图1示出用于生成全景图像的设备100的实施例的示意性表示。设备100包括相机系统110的多个光通道110a-110d的布置。在本实例中，相机系统包括四个光通道；然而，本发明并不局限于四个光通道，而是可包含两个或更多个通道。相机系统110可包括，每一通道110a-110c，一个或多个透镜或者一个或多个其他光学元件115，用于把来自整体全景视野150的与相应通道相关联的相应子区域或部分视野150a-150d成像或投射到相应图像传感器，或者图像传感器111的相应图像传感器部分。所述通道可以以它们基本上彼此平行的方式，从图像传感器111延伸到偏转设备，例如，诸如镜子，其偏转所述通道的光路和/或它们的视野。它在图1中所示的其中总视野是150的第一位置与其中总视野是150的第二位置之间是可枢转的，所述第二位置相对于所述第一位置中的150偏移，使得在第二位置150'中的通道110d、b的部分视野150d、150b将基本上重叠于在第一位置中的通道110c、a的部分视野150c、a。为此目的，举例来说，这里将每一位置的部分视野150a-d排列成以2×2矩阵相互重叠以覆盖总视野，从而使得两个位置中的总视野150、150'在平行于偏转设备140的上游光路并且垂直于偏转设备140的枢轴的方向上彼此偏移一部分视野。因此，当人们在位置150及150'的序列处观察时，通道110d、110b能够从第一位置150覆盖整个视野。细分成2×2的覆盖范围及该部分视野的数量并非是关键的，而位置的数量也可以增加。这些位置将在捕获全景图像中发挥作用，如将在下面被描述的。
相机系统110，和/或它的图像传感器111，被连接到决策设备120，决策设备120从已经根据特定方法所捕获的单体图像群组中选择出一组单体图像，然后拼接它们以形成全景图像，所述特定方法将在下面做更为详细地说明；所述一组图像的选择也可以作出变化，例如在横向于部分视野的相互偏移的方向上作出变化，如将在下面被描述的。通过选择所捕获的图像来拼接/呈现全景图像是由全景图像生成器130执行的。此外，在一些实施例中，所述设备可包括构件140，其改变相机系统的「观察方向」。正如所描述的，为了生成全景图像，可以枢转(摇摄)全景图像相机的总视野。所述枢转也可以由使用者手动地执行，在一些实施例中，当然也可以通过在全景捕获操作的过程中改变相机系统的定向或其总视野的定向的构件来执行。作为图1的替代方案，这也可以例如通过旋转整个相机系统110来执行，但是这里是通过旋转诸如镜子或棱镜之类的偏转构件来完成，使得相机系统的光通道的每一个的光路被偏转，如在这里通过在图1中偏转构件140处的双箭头所表明的。或者，也有可能通过切换可切换的光学元件来改变观察方向和/或位置，所述光学元件实现光路的偏转。如在上面被提及的，改变相机系统的观察方向也仍然可由相机的使用者以手动来执行。
应被强调的是，偏转设备140的存在可具有由于与改变位置的要求不同的要求而产生的目的，如在下文中将用于生成全景图像的目的，例如用于图像稳定的目的，从而使得在此情况下，已经存在的相机系统可以不用采取任何与设计有关的重大措施就可被扩展以便根据本申请来生成全景图像。在双向使用偏转设备140以在横向于枢轴的方向上进行图像稳定的情况下，还存在一个优点在于以下事实，在这种情况下，可在非常短的时间段内执行观察方向的变化，即该偏转构件可以非常快地执行位置改变，使得在不同方向和/或位置150、150'中所捕获的图像之间仅存在很小的时间差。
图2示出示意图，其用于说明在一个实施例中可如何捕获不同组的单体图像。为了说明的目的，图2将位置的数量以及各位置之间的总视野的相对偏移方向上的通道数量，从如在图1中所示的两个，增加为三个；然而，细分为两个相邻的部分视野，所述细分横向于图2中的各位置之间的在总视野中的偏移方向，这是不重要的。可通过相机系统110，使得如现在将被描述的捕获的图像的序列自动地通过，例如，由系统110的控制器来控制，例如，当使用者激活捕获按钮时，这可能是在特定的全景捕获模式中。
因此，在图2的这个实例中，所示的相机系统110包含三个光通道A、B及C，但是不同数量的光通道也是可行的。光通道可以属于单一相机，即各通道可被牢固地安装在机壳内，如在图1所示，或者也可以有三台被相邻设置的单体相机，其中至少有一台，即在这里是形成通道A的所述至少一台，是可枢转的，以便将被指向另外两个通道B和C的部分视野。从图中可以看出，三个通道A、B及C是被相邻布置的，使得它们可以在全景视野的方向上同时捕获单体图像，各个光通道的各自的观察方向彼此略有偏离，使得各自捕获的单体图像包括重叠区域220、230。这种情况例如在位置1中进行捕获的期间发生，结果产生图像1A、1B及1C，图像1A、1B及1C覆盖整个视野，在1A与1B之间及在1B与1C之间具有相互重叠。
在位置2中，通道A可以被对准以指向位置1中的通道B的观察方向，例如通过向左枢转。以理想化的方式，在图2中假设通道A在各位置之间的枢转发生使得其节点保持恒定，但这仅是一示例，并且根据图1的枢转，或在其他地方曾描述的任何其他的光束偏转，也是有可能的，并且从以下全景图像生成的描述的概念和精神方面来看，只要做出很小的变化。在位置2中，通道A可以生成图像2A，图像2A基本上覆盖了与在位置1中借助于通道B由图像1B所覆盖的部分视野相同的部分视野。此外，还图示出位置3，其中通道A的视野被引向位置1中的通道C的视野的方向，以生成所述视野的图像3A。
为了说明图像1A-1C、2A以及3B的后续处理以形成总视野的优点及操作模式，图2示出了字母A和B作为场景中的物体实例。它们位于在场景内的不同距离处，这是通过它们的不同大小来示出的。将借助于这些物体，解释在位置1、2及3之间不同捕获时间的影响，以及场景深度的影响，即场景内物体的不同深度和/或物体距离的影响，以及用以防止或最小化此影响可能会对从图像1A-1C、2A以及3A生成的全景图像产生负面影响的程度。为此，与字母A相比，字母B被布置在与相机系统110相距不同距离、且较远距离处。
另外，图2还示出圈起来的区域220及230，其中相机A与B、或A与C的捕获区域在位置1中重叠。这意味着，例如在重叠220的情况下，单体图像1A包含与单体图像1B的重叠。更具体地说，单体图像1A在其左侧区域展现与单体图像1B的右侧区域的重叠。这意味着，在该区域内，包含相同的图像内容。然而，由于视差效应，所述图像内容可以彼此不同，从而使得图像内容可能不相同。类似地，在单体图像1A与1C之间有重叠区域230，以及分别由于1B与1A及3A与1C的共同对准而在单体图像对1A+2A与1A+3A之间有重叠区域(图中未被明确地示出)。下面将参考图4更详细地阐述重叠区域的含义。
在图2的实例中，相机系统110的通道A由此捕获图像1A，图像1B同时被通道B捕获，并且图像1C同时被相机C捕获。这发生在位置1处。由于相机和/或光通道A、B及C不位于相同位置，而是被布置成相对于彼此略微偏移，因此所捕获的图像会展现出视差。这通过位于全景视野内的上述字母A及B的不同位置来表示。
在单体图像1A中，字母B似乎以居中方式位于字母A后面。光通道B捕获在观察方向上位于通道A左侧的部分视野，并生成单体图像1B，相比之下，看到字母B相对于字母A向左侧方向偏移，因为它的节点、或它的入射瞳孔位于通道A的节点或其入射瞳孔的左侧的横向位置。它略微地从左侧观察该场景。类似地，光通道C捕获单体图像1C，其中字母B似乎相对于字母A略微向右偏移。当光通道彼此横向偏移时，并且当该场景展现出深度时，即当在其中的物体被布置在不同的距离处时，会发生这种视差效应。
应注意的是，通过位置1、2和3的顺序是不相关的，并且也可以被改变；然而，现在接下来将看到的是位置2，其中光路A被向左旋转以便捕获该单体图像2A；以及位置3，其中光通道A被向右旋转以便捕获单体图像3A。关于所捕获图像的部分视野，它们分别对应于单体图像1B及1C，但与单体图像1B及1C不同，图像2A及3A是从与当前用于单体图像1B的相同视角所捕获的，。因此，在图2中可看出，由于光通道A的位置没有改变，因此在此处不会发生视差效应，即在图像2A及3A中，字母B以与在图像1A中相同的方式与字母A重叠。因此，在这种情况下，没有视差。
因此，一般而言，基于图像组1A、2A及3A来生成全景图像将会是有利的，因为在这里，字母A及B相对于彼此的安置并没有不同，因此没有伪影出现。
然而，也很清楚的是图像组1A、1B及1C是在同一时间捕获的，而图像1A、2A及3A形成需要以相互时间偏移来生成的图像组，因为在所捕获的单体图像之间，相机和/或光通道A必须向左或向右枢转，或者必须执行观察方向的一些其他的操纵/切换。
在图2的实例中，如果字母A及B在全景视野内的布置是静态的，则举例来说，不需要求助于在相同时间拍摄所得的图像，或单体图像2A及3A，但是为了生成无伪影的全景图像，使用按时间序列拍摄所得的单体图像组1A、1B及1C将更为有利。然而，如果在全景视野内的物体不是静态的，而是表现出移动，或者，如果场景是动态的，则情况可能有所不同，如在图3中所示。
图3示意性地示出与在图2中所示出布置类似的布置，但是在这里的情况下，字母A有移动。在该特定实例中，此字母执行顺时针旋转。
在相同时间捕获所得的三个单体图像1A、1B及1C每个都以相同的定向显示字母A，因为毕竟这些图像是在相同时间捕获所得的。在光学道A被向左和向右枢转之后，由光通道A以时间偏移方式拍摄的单体图像2A和3A显示出处于稍微旋转的位置的字母A。因此，单体图像2A显示出字母A相对于在图像1A、1B及1C中的字母A在方向上稍微向右旋转，因为单体图像2A是在单体图像1A、1B及1C之后拍摄的。由于单体图像3A甚至是在单体图像2A的捕获之前被拍摄的，所以单体图像3A内的字母A被显示为更向顺时针方向旋转一些。图3用于阐明移动物体可以在按照时间序列拍摄所得的单体图像中在不同的位置处展示给观察者的效果，并且应再次被强调的是通过位置1、2和3的顺序也可被改变。
如果现在要基于单体图像组1A、2A及3A生成全景图像，则由于字母A的连续旋转，会存在清晰的光学伪影。在这种情况下，基于单体图像组1A、1B或1C生成全景图像将会是更为有利的。
取决于场景，可能在重叠区域220和230处发生不同的场景情况，即移动和/或场景深度，使得不同组的单体图像可能成为用来生成全景图像的最有利的一组，诸如基于单体图像组1A、2A或3A来生成，或基于单体图像组1A、2A及1C来生成。
为了决定单体图像的哪种组合对于生成全景图像更为有利，在示例性的实施例中，可以更详细地查看单体图像的上述重叠区域220、230，和/或检查在重叠区域内重叠的单体图像对。
如在图2和3中所示，单体图像1A在此处所示的左侧展现与单体图像1B的重叠。这也同样适用于由图像1A及单体图像2A构成的配对。类似地，在图像1A的右方区域中，单体图像1A具有与单体图像1C及3A的重叠区域。
图4示出示意性的表示，其将更详细地解释决定对作为基础捕获的图像组进行合成的概念，或者借助于由决策器120执行的重叠区域分析来生成全景图像的概念。所示出的是图2的单体图像1A、1B及2A；在图4的左方区域中，单体图像1A及1B被描绘为相邻的，以及在右方区域中，单体图像1A及2A被示出。
在图4中，为单体图像标记重叠区域
当与区域
通常，在实例中，为了确定单体图像1A与1B的组合、或者单体图像1A与单体图像2B的组合对于整体全景图像是否更为有利，可确定图像1A与图像1B之间的重叠区域中的差异，并且同样地，可确定单体图像1A与单体图像2A之间的重叠区域中的差异。取决于两个差异中哪一个较小，将选择两个单体图像的组合来生成全景图像。
为了在两个单体图像的重叠区域内形成差异或差分值，例如，可以在重叠区域内逐像素地比较单体图像，并且对差分值的量求和。也可以使用其他的方法，例如，对将要逐像素确定的差分值的平方求和，或沿着视野彼此相邻的方向评估与单体图像对的相互位移的相关最大值。
图5示意性地示出另外的实施例，其中单体图像被细分成区段或横截面，针对这些区段或横截面作出分别的决定，所述决定是关于将被用于生成全景图像的内容是那些在相同时间被相应地拍摄的部分/横截面或那些按照时间序列拍摄但没有表现出视差的横截面。
本实例的全景视野的特征在于该字母A有移动，即字母A表现出由于顺时针旋转引起的时间变化，而字母B是静态的。在这种情况下，字母B被布置在字母A的上方，其结果为全景图像区域可以被细分为没有移动的上部区域以及表现出移动的下部区域。
因此，在图5中，每一个单体图像被细分为上部区域及下部区域，例如，单体图像1A被细分为下部区域1Au及上部区域1Ao；通过类推，这一点也适用于于其他的单体图像1B、1C、2A、以及3A。
在选择上半部分或下半部分图像以利用它们来呈现全景图像时，上部区域将首先被处理。因为在上部区域无移动，应用基本上对应于图2的分析。基于上部图像区域1Ao，单体图像横截面2Ao及3Ao相比于部分1Bo及1Co更为优选，这是因为，单体图像横截面2Ao及3Ao没有包含视差，并且因为，可预料的是它们将产生更为一致的全景图像。
在单体图像的下部区域中，在当前情况下，由于单体图像横截面2Au及3Au包含旋转的字母A，因此基于单体图像横截面1Au、1Bu及1Cu来生成全景图像是更为有利的。由于在人类感知中，旋转可能经常被认为要比视差效果更令人不安，并且由于在重叠区域中的相似性会因为旋转而降低，所以在本情形中，优选的是使用包含视差的单体图像横截面来呈现全景图像。
在未图示出的情况下，其中字母A的旋转明显较慢，即，单体图像2Au将显示出仅略微旋转的字母A，可行的是：在这种情况下，单体图像横截面2Au表现出与单体图像横截面1Au的对应重叠区域的更高相似度，并且在这种情况下，与1Au及1Bu的视差组合相比，1Au及2Au的组合将更为有利；然而，随后也可能的是：在单体图像3A中，已经可以更清楚地感知出字母A的旋转，并且在这种情况下，1Au及1Cu的组合相比于1Au及3Au的组合将更为优选。
一般而言，可以说，对静态场景的评估，对包括处于相对较远距离的物体的场景的评估，以及对包括处于有限距离范围处的物体的场景的评估，都是相对没有问题的。
依照如在图5中所示地把单体图像细分为单体图像横截面的概念，还可以将单体图像本身分解成进一步的横截面，例如，分解为三个、四个甚至更多个的横截面区域。这在单体图像在垂直于全景图像的旋转方向的方向上把自身细分为静态或展现出移动的区域的情况下可能是有用的。
为了评估进一步细分成精细的横截面是否是有用的，可以在试验的基础上进行这种细分，并且可以计算不同横截面的相似度。如果各横截面中的各自差异变得不显著，则横截面的进一步细分可被省去；如果显露出明显的差异，则可得出结论为更精细地划分横截面是有用的并且可以相应地进行下去。此方法适用于相对大数量的场景，并且只对于包含移动及深度偏差两者的图像细节才会发生问题。所述深度偏移导致上述的视差效应。
在文献中，描述了用于测量及均衡视差效果的布置。现有的是通过具有不同静态观察方向的多个光通道所同时拍摄的单体图像。然而，所述通道的每一个也作为副本存在，基本宽度被有意地选择为尽可能大。以这种方式，每一个部分视野均是从两个位置拍摄的。通过使用具有特定基本宽度/基本距离的两台相机来对场景进行双重拍摄，使得能够在这两个视图之间生成视差，并且由于该视差，可以针对整个视野进行视差补偿，以便最终获得无伪影的整体图像。
然而，存在由于隐藏效应(concealment effects)导致出现间隙的场景，或者早在深度估计期间发生，或者在补偿期间发生。然后将存在无法对其进行深度估计、或者视差补偿未曝露出未被光通道的任一个捕获的场景区域的图像部分。在这种情况下，视差补偿不可能没有错误。即使场景是静态的，也无法生成无伪影或无错误的全景图。然而，如果额外地对至少一个通道进行旋转或偏转使得所述通道将检测到视野的所有区域，则可以利用静态场景生成全景图像而无需任何视差补偿。这在上述隐藏的情况下是有用的，但也可以在没有任何隐藏的情况下出现以避免复杂的视差补偿。用于捕获单体图像的设备可以包含镜子或用于偏转观察方向的不同构件。在这种情况下，使用前述方法是特别有利的，因为这些机械要求已被满足。只有在控制镜子或在图像评估期间才需要进行改变。
另外，在实施例中，还可以作出规定，使得不仅借助于如前面提到的具有通道A的实例中所述的一个通道，而且还借助于剩余的光通道B及C，来捕获所有的图像区域。如果其他光通道的观察方向及第一通道的这些观察方向被同时改变，作为结果，捕获时间将不会被延长。
观察方向的快速切换，例如用以捕获单体图像2A及3A，可通过借助于可切换的光学元件，例如借助于可调式透镜或液晶透镜或液体透镜，旋转整个系统或至少相机系统来实现，或者可通过在光路内旋转和/或倾斜镜子或棱镜来实现。此类镜子或棱镜可以借助于压电控制或电动马达来驱动。
特别地，通过使用可切换的光学元件或通过旋转或倾斜镜子或棱镜，可实现在数十毫秒范围内的切换时间，其与具有不良照明的常见曝光时间相当。
在所有的情况下，应注意要确保通过旋转或倾斜不会引入视差，或确保至少最小化任何引入的视差。可足以实现的是，由视差导致的位移小于深度精确度降低。
如果所使用的相机系统配备有自动对焦，则可以并且应当在使用在第一次拍摄期间确定的设置的同时，执行所有的拍摄。这将拍摄之间流逝的时间缩短到用于切换观察方向所需要的时间量。针对所有部分图像的相同焦点设置也有利于编译全景图像。
这种创造性的相机系统可用于移动电话及车载摄像机中，并且还可以应用于机器人、视频会议系统、遥感、医学应用以及机器视觉。同样地，本发明的方法也适用于多通道相机系统，其中已经存在用于控制观察方向的镜子或其他机构。例如，在包含折叠光路的系统中就是这种情况。
尽管已经在设备的上下文中描述了一些方面，但是应被理解的是，所述方面也表示对应方法的描述，使得设备的组件也可被理解为对应的方法步骤或是方法步骤的特征。通过类似的方式，已经结合方法步骤或作为方法步骤描述的方面也表示对应设备的相应块或细节或特征的描述。方法步骤的一些或全部可由硬件设备(或当使用硬件设备)来被执行，诸如微处理器、可编程计算机或电子电路。在一些实施例中，最重要的方法步骤中的一些或几个可由此设备来执行。
取决于具体的实现要求，本发明的实施例可以用硬件或软件实现。当使用数字存储介质时，实现方法可被实现，例如软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或闪存、硬盘或任何其他磁性或光学存储器，其上存储有电子可读控制信号，其可与可编程计算机系统协作以执行相应的方法。这就是数字存储介质可以是计算机可读的原因。
根据本发明的一些实施例因此包括数据载体，所述数据载体包括能够与可编程计算机系统协作的电子可读控制信号，使得在本文中所描述的方法的任一个被执行。
通常，本发明的实施例可被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码会有效地执行方法的任一个。
例如，程序代码也可被存储在机器可读载体上。其他实施例包括用于执行本文所描述的任何方法的计算机程序，所述计算机程序被存储在机器可读载体上。换句话说，本发明方法的实施例因此是计算机程序，其具有当计算机程序在计算机上执行时用于执行本文所描述的任何方法的程序代码。
本发明方法的另外的实施例因此是数据载体(或数字存储介质或计算机可读介质)，在其上记录有用于执行本文所描述的任何方法的计算机程序。数据载体、数字存储介质或计算机可读介质通常是具体的和/或非易失性的、或非暂时性的。
另外的实施例包括处理构件，例如计算机或可编程逻辑器件，被配置为或适配为执行本文所描述的方法的另一个。
另外的实施例包括计算机，其上安装有用于执行本文所描述的任何方法的计算机程序。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列，FPGA)可用于执行本文所描述的方法的一些或全部的功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所描述的任何的方法。一般来说，在一些实施例中，方法是由任何的硬件设备来执行。硬件设备可以是任何普遍适用的硬件，诸如计算机处理器(CPU)，或者可以是特定于方法的硬件，诸如ASIC。
例如，在这里所描述的设备可以在使用硬件设备时、或在使用计算机时、或在使用硬件设备与计算机的组合时，被实现。
在这里所描述的设备，或在这里所描述的设备的任何组件，可以至少部分地以硬件和/或软件(计算机程序)来实现。
例如，在这里所描述的方法可以在使用硬件设备时、或在使用计算机时、或者在使用硬件设备与计算机的组合时，被实现。
在这里所描述的方法，或在这里所描述的方法的任何组件，可以至少部分地以硬件和/或软件(计算机程序)来实现。
上述的实施例仅代表本发明的原理的一种说明。应被理解的是，本领域的其他的习知技艺者将理解本文所描述的布置及细节的任何修改和变化。这就是为什么本发明仅受到所附权利要求的范围限制的原因，而不是受限于本文通过实施例的该描述及该讨论所展现的具体细节。
