摄像设备、图像处理设备及计算机可读介质
(本申请是申请日为2016年9月1日、申请号为2016800528611、发明名称 为“摄像设备和图像处理设备及其控制方法”的申请的分案申请。)
技术领域
本发明涉及被配置为将来自感测通过摄像光学系统的不同光瞳区域的 光的各个像素的信号存储为图像数据的摄像设备、被配置为处理这种图像数 据的图像处理设备、以及摄像设备的控制方法和图像处理设备的控制方法。
背景技术
提出了将摄像设备配置成：将摄像透镜的出射光瞳分割成多个光瞳区 域，并且可以同时拍摄依赖于分割出的光瞳区域的多个视差图像。专利文献 1包括与缺陷有关的描述，其中该缺陷是由在经由信号线读出来自PD的信号 时、在用于读出来自与分割出的光瞳区域其中之一相对应的PD的信号的信号 线和用于读出来自与另一光瞳区域相对应的PD的信号的另一信号线之间可 能发生的短路引起的。为了处理在信号线发生短路的情况下在读取信号时来 自两个PD的信号混合的情形，专利文献1公开了用以在无需使用来自具有缺陷信号线的像素组的信号的情况下检测相位差的技术。在专利文献1所公开 的技术中，所记录的图像原本是通过混合来自两个PD的图像信号所获得的， 因而不会发生来自上述的缺陷的影响。
引文列表
专利文献
日本特开2014-14602
本发明提供用以处理上述情形的技术。
发明内容
在本发明的方面中，一种摄像设备，包括：摄像器件，其包括多个像素 组，各像素组中的各像素包括多个光电转换元件，其中来自所述多个光电转 换元件的信号是经由各组像素共通地使用的信号线针对各光电转换元件可 单独读取的；读取单元，用于对多个像素组进行用于读出来自所述多个光电 转换元件中的一部分光电转换元件的信号作为第一信号的读出操作、以及用 于混合来自所述多个光电转换元件的信号并且读出由此得到的混合信号作 为图像信号的第二读出操作；校正单元，用于基于作为表示缺陷像素组的数据的缺陷数据来进行校正，其中针对该缺陷像素组，所述第一信号由于信号 线存在缺陷因而是有缺陷的，而所述图像信号是没有缺陷的，其中所述校正 是针对从所述缺陷像素组读出的第一信号来进行的；以及生成单元，用于生 成包括所述校正单元校正后的第一信号和所述图像信号的一个图像文件。
发明的效果
根据本发明，可以减少在摄像器件的视差图像的一部分中可能发生的缺 陷对所记录的视差图像的影响。还可以减少在视差图像的一部分中可能发生 的缺陷对图像处理或经过该图像处理的图像的影响。
在本发明的方面中，一种图像处理设备，包括：获取单元，用于获取包 括第一信号、图像信号和缺陷数据的图像文件，所述第一信号和所述图像信 号是从摄像器件获得的，所述摄像器件包括多个像素组，各像素组中的各像 素包括多个光电转换元件，来自所述多个光电转换元件的信号是经由各组像 素共通地使用的信号线针对各光电转换元件可单独读取的，所述第一信号是 来自所述多个光电转换元件中的一部分光电转换元件的信号，所述图像信号 是通过混合来自所述多个光电转换元件的信号所获得的信号，所述缺陷数据 是表示如下的像素组的数据，其中针对该像素组，所述第一信号由于信号线 存在缺陷因此是有缺陷的，而所述图像信号是没有缺陷的；解码单元，用于 从所述图像文件解码所述图像信号和所述第一信号；解码时校正单元，用于 基于所述缺陷数据来校正所述解码单元所解码出的第一信号的缺陷；以及图 像处理单元，用于对所述解码时校正单元校正后的第一信号和所述图像信号 进行图像处理。
在方面中，本发明提供一种摄像设备的控制方法，所述摄像设备包括摄 像器件，所述摄像器件包括多个像素组，各像素组中的各像素包括多个光电 转换元件，来自所述多个光电转换元件的信号是经由各组像素共通地使用的 信号线针对各光电转换元件可单独读取的，所述控制方法包括以下步骤：对 多个像素组进行用于读出来自所述多个光电转换元件中的一部分光电转换 元件的信号作为第一信号的第一读出操作；对多个像素组进行用于混合来自 所述多个光电转换元件的信号并且读出由此得到的混合信号作为图像信号的第二读出操作；基于作为表示缺陷像素组的数据的缺陷数据来进行校正， 其中针对所述缺陷像素组，所述第一信号由于信号线存在缺陷因此是有缺陷 的，而所述图像信号是没有缺陷的，其中该校正针对从所述缺陷像素组读出 的第一信号进行；以及生成包括校正后的第一信号和所述图像信号的一个图 像文件。
在方面中，本发明提供一种摄像设备的控制方法，所述摄像设备包括摄 像器件，所述摄像器件包括多个像素组，各像素组中的各像素包括多个光电 转换元件，来自所述多个光电转换元件的信号是经由各组像素共通地使用的 信号线针对各光电转换元件可单独读取的，所述控制方法包括以下步骤：对 多个像素组进行用以用于读出来自所述多个光电转换元件中的一部分光电 转换元件的信号作为第一信号的第一读出操作；对多个像素组进行用于混合 来自所述多个光电转换元件的信号并且读出由此得到的混合信号作为图像信号的第二读出操作；以及生成包括缺陷数据、所述第一信号和所述图像信 号的一个图像文件，其中所述缺陷数据是表示如下的像素组的数据，其中针 对该像素组，所述第一信号由于信号线存在缺陷因此是有缺陷的，而所述图 像信号是没有缺陷的。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明 显。
附图说明
图1是示出根据第一实施例的摄像设备的结构的示例的框图。
图2是示意性示出根据第一实施例的摄像器件的整体结构的图。
图3A是简要地示出根据第一实施例的摄像器件中的像素的结构的图。
图3B是示出像素阵列的一部分的平面图。
图4是简要地示出摄像器件的像素的结构的示例的图。
图5是示意性示出根据第一实施例的在像素上形成被摄体的图像的方式 的图。
图6是简要地示出根据第一实施例的像素的电路结构的图。
图7是示出根据第一实施例的摄像器件的驱动时序模式的时序图。
图8是示出根据第一实施例的图像信号处理单元的结构的示例的框图。
图9A是示意性示出缺陷行数据的图。
图9B是示意性示出对缺陷行数据进行插值的方式的图。
图10A是示出根据第一实施例的摄像设备所进行的摄像处理的示例的流 程图。
图10B是示出根据第一实施例的摄像设备所进行的摄像处理中的焦点调 节处理的示例的流程图。
图10C是示出根据第一实施例的摄像设备所进行的摄像处理中的曝光和 记录处理的示例的流程图。
图11A是示意性示出已知的图像文件格式的示例的图。
图11B是示意性示出根据第一实施例的图像文件格式的示例的图。
图12是示意性示出根据第一实施例的缺陷行数据的格式的图。
图13是示出根据第一实施例的解码时所使用的图像信号处理单元的结 构的示例的框图。
图14是从概念上示出根据第一实施例的进行再聚焦处理的方式的图。
图15是示出根据第二实施例的图像信号处理单元的结构的示例的框图。
具体实施方式
第一实施例
在将包括缺陷像素信号的视差图像存储在诸如非暂时性存储器等的存 储介质中的情况下，需要对该缺陷进行某种操作以处理该缺陷的影响。在使 用存在缺陷的摄像器件(例如，短路的信号线)来获得视差图像的情况下，如 果该视差图像包括缺陷图像信号，则难以使用视差图像来在包括缺陷像素的 区域中进行诸如调焦处理或用于生成虚拟视点图像的处理等的处理。有鉴于 上述，第一实施例提供一种摄像设备，其被配置为通过摄像来获取多个视差 图像，并且存储所获取到的视差图像，其中包括视差图像的图像文件是以依赖于在视差图像的一部分中可能发生的缺陷(而在连同视差图像一起读出的 图像信号中没有发生缺陷)的方式生成的，并且第一实施例还提供该摄像设 备的控制方法。本实施例还提供一种图像处理设备，其被配置为使用所记录 的包括多个视差图像的图像文件来进行图像处理，其中该图像处理是以依赖 于视差图像的一部分中的缺陷的方式进行的，并且第一实施例还提供该图像 处理设备的控制方法。
摄像设备的结构
图1是示出作为根据第一实施例的摄像设备的照相机100的结构的示例 的框图。注意，后面所述的图1或者图8和13所示的一个或多个功能框可以使 用诸如ASIC或可编程逻辑阵列(PLA)等的硬件来实现，或者可以通过诸如 CPU或MPU等的可编程处理器执行软件来实现。可选地，一个或多个功能块 可以通过软件和硬件的组合来实现。因而，在以下说明中，即使在操作中涉 及不同的功能块的情况下，也可以使用相同的单个硬件来实现这些功能块的 功能。
照相机100是摄像器件(图像传感器)103和镜头单元101一体化的摄像设 备。可选地，镜头单元101可以是经由镜头卡口相对于照相机本体(照相机100) 可安装的/可移除的。
镜头单元101包括在摄像器件103上形成被摄体的光学图像所经由的调 焦透镜、变焦透镜和光圈，并且还包括这三者的驱动单元。
镜头控制器141是镜头单元101的驱动控制单元，并且被配置为向镜头单 元101中所包括的诸如马达等的驱动单元发送信号，由此从变焦、调焦和光 圈操作方面控制镜头单元101。
摄像器件103是使用CMOS传感器等所实现的光电转换单元。摄像器件 103能够将经由包括镜头单元101的摄像光学系统所形成的被摄体图像转换 成电气信号，并且输出如此得到的电气信号。
时序发生单元142向摄像器件103和图像信号处理单元121提供定时。
总线150连接至上述的各单元，并且总线150还连接至镜头控制器141、 电源110、存储器132、非暂时性存储器133、显示控制单元151、卡输入/输出 单元171和各种开关。
各种开关包括主开关161、第一释放开关162、第二释放开关163、箭头 按钮164和设置按钮165。各种开关还可以包括诸如显示单元153上所设置的 触摸面板等的输入接口。触摸面板能够在画面上显示与各功能相对应的图 标，使得代替使用开关，可以选择这些图标来进行开关操作。
电源110经由总线150向照相机100中所配置的各种电路供给电力。
在显示控制单元151中，响应于经由总线150从时序发生单元142供给的 信号，数模转换单元(未示出)将存储器132中所存储的显示用图像数据从数字 图像数据转换成模拟图像数据。将如此得到的模拟图像数据显示在使用液晶 显示元件和TFT等所实现的显示单元153上，或者经由连接至视频输出端子 154或HDMI(注册商标)输出端子155等的线缆显示在外部所配置的外部显示 单元(未示出)上。
卡槽172被配置成诸如SD卡等的可触摸/可移除的存储介质173能够插入 在卡槽172中。在存储介质173插入在卡槽172中的状态下，存储介质173电气 连接至卡输入/输出单元171。在该状态下，可以将存储器132中所存储的图像 数据传送至存储介质173。还可以将存储介质173中所存储的数据读出至照相 机100。
CPU 131经由总线150连接至照相机100中的上述各单元。CPU 131用作 总体控制照相机100内的各单元的控制单元。在本实施例中，CPU 131指示镜 头控制器141、时序发生单元142、图像信号处理单元121和显示控制单元151 控制照相机100内的各部件。可选地，在无需设置诸如上述各单元等的控制 单元或处理单元的情况下，CPU 131可以控制照相机100内的各部件的驱动。 可选地，在无需设置CPU 131的情况下，上述的控制单元和处理单元可以彼 此协作地进行工作，以控制照相机100内的各部件的驱动。
在释放按钮(未示出)通过第一行程被按下(进入半按下状态)的情况下， 第一释放开关162接通，并且开始被摄体的摄像准备的处理。更具体地，在 摄像准备中，镜头控制器141根据需要来从调焦、变焦和光圈控制操作等方 面控制镜头单元101的驱动。
接着，在释放按钮(未示出)通过第二行程被按下(进入完全按下状态)的 情况下，第二释放开关163接通，并且开始被摄体的摄像。
摄像器件的结构
图2示出摄像器件103。在图2中，摄像器件103包括：像素阵列201；垂 直选择电路202，其被配置为选择像素阵列201中的行；以及水平选择电路 204，其被配置为选择像素阵列201中的列。摄像器件103还包括：读取电路 203，其被配置为从由垂直选择电路202从像素阵列201中选择的像素读出信 号；以及串行接口(SI)205，用于从外部确定各电路的操作模式。读取电路 203针对各列包括用于累积信号的存储器、增益放大器和模数转换器等。通常，垂直选择电路202顺次地选择像素阵列201中的多个行，并且读取电路203 从所选择的行读出像素信号。摄像器件103还包括水平选择电路204，其中水 平选择电路204被配置为以列为单位顺次地选择并输出读取电路203所读出 的像素信号。
图3A是以简化方式示出根据本实施例的摄像器件103中的一个像素的结 构的图。在图3A中，一个像素301包括一个微透镜3011以及用作光电转换元 件的两个光电二极管(PD)301L和301R。一个像素301还包括：传送开关3012 和3013，其被配置为读出PD 301L和PD 301R各自中所累积的信号；以及浮 动扩散(FD)区域3014，其被配置为暂时存储来自PD301L和PD 301R的信号。 各像素除图3A所示的构成元件外，还包括后面所述的多个构成元件。
图3B是简要地示出像素阵列201的一部分的平面图。为了提供二维图像， 像素阵列201包括按二维阵列的形式排列的多个像素，其中各像素是如图3A 所示配置成的。在以下说明中，采用像素301、302、303和304作为示例。301L、 302L、303L和304L各自与图3A所示的PD 301L相对应，并且301R、302R、 303R和304R各自与图3A所示的PD 301R相对应。
摄像器件的结构不限于上述结构。例如，如图4所示，一个像素可以具 有两个以上的分割部分。在图4所示的示例中，一个像素包括四个PD 401a、 401b、401c和401d，虽然PD的数量不限于四个，只要该数量等于或大于两个 即可。在该结构中，可以将多个PD输出选择性地相加到一起。例如，可以将401a和401c的PD输出以及401b和401d的PD输出分别相加到一起，由此获得 两个输出，或者可以将401a和401b的PD输出以及401c和401d的PD输出分别 相加到一起，由此获得两个输出。
参考图5，以下将说明利用具有诸如图3A或图4所示的像素结构等的像素 结构的摄像器件103来感测光的方式。图5是示出光线从摄像透镜的出射光瞳 出射并且入射到摄像器件103上的方式的概念图。501表示像素阵列的截面 图。502表示微透镜。503表示颜色滤波器。504和505分别表示PD。PD 504 和PD 505分别与图3A和3B所示的PD 301L和PD 301R相对应。506表示镜头单 元101中的摄像透镜的出射光瞳。在该结构中，各像素具有微透镜502，并且 各像素的光轴509由从出射光瞳射出的光线的中心来定义。在从出射光瞳射 出之后，光以光轴509为中心入射到摄像器件103上。507和508分别表示摄像 透镜的出射光瞳的部分区域。通过出射光瞳的部分区域507的光线的包络线 由510和511来表示，而通过出射光瞳的部分区域508的光线的包络线由512和 513来表示。如从该图可以看出，在从出射光瞳射出的光线中，相对于光轴 509的上侧光线入射到PD 505上，而下侧光线入射到PD504上。即，PD 504 和PD 505接收来自摄像透镜的出射光瞳的不同区域的光。该特征使得可以获 取具有不同视差的至少两个图像。在下文，根据由PD 504(PD 505)和用于检 测来自于出射光瞳的与PD 504(PD 505)所检测到的光线通过的区域相同的 区域的光线的其它PD所检测到的信号而获得的图像信号将被简称为A图像 (B图像)。此外，通过将由PD 504和PD505(PD 301L和PD 301R)以及用于检 测来自于出射光瞳的与PD 504和505各自所检测到的区域相同的区域的光线 的其它PD所检测到的信号混合(相加到一起)而获得的图像将被称为A+B图 像。
图6是示出各自如图3A所示配置的像素的电路结构的等效电路图。在图6 中，示意性例示3列1行的像素。在图6中，与图2中的元件相同的元件由相同 的附图标记或符号来表示。像素301的传送开关3012和3013分别由传送脉冲
如上所述，PD 301L和PD 301R分别具有自己的传送开关3012和3013。 然而，在像素内的电路中，包括FD区域3014及其之后的用于读出信号的元件 的电路元件由PD 301L和PD 301R共用。该电路结构使得可以减小像素大小。 此外，如图6所示，用于提供传送脉冲
接着，以下说明用于驱动以上述方式配置成的摄像器件103的方法。图7 是示出用于将一行的信号读出至读取电路203的情况的驱动模式的时序图。 首先，在时间段t701内，复位脉冲
然后，在经过了被定义为电荷储存时间的特定时间之后的时间段t703 内，选择脉冲
在时间段t704内，
接着，在时间段t706内，在维持复位开关604处于断开状态的情况下， 传送脉冲
基于在上述的操作中读出到读取电路203的N信号、第一PD信号和第二 PD信号，将通过从第一PD信号中减去噪声信号所获得的A图像信号(第一信 号)和通过从第二PD信号中减去噪声信号所获得的图像信号输出到摄像器件 103的外部。该图像信号是通过将来自PD 301L的信号与来自PD 301R的信号 合成所获得的信号，因而可以通过使用后级的电路中所配置的信号处理电路 等从图像信号(A+B图像)中减去A图像信号来生成B图像信号(第二图像)。
因而，可以经由上述的操作获得A图像信号、图像信号和B图像信号。 接着，以下论述在制造处理期间传送脉冲
在本实施例中，为了处理上述情形，在摄像操作时在照相机中进行使用 视差图像(A图像信号)的计算的情况下，没有对从存在缺陷的像素组输出的 信号进行校正，并且在无需使用来自存在缺陷的像素组的信号的情况下进行 计算。这样使得可以防止由于摄像操作时的校正处理而发生处理负荷的增加 或时滞。注意，在摄像操作时的相关计算处理等中，从存在缺陷的像素组中 去除信号不会产生处理精度方面的大的问题。
另一方面，关于要记录的视差图像，对来自存在缺陷的像素组的信号进 行校正。这是为了防止在有可能用作观赏用图像或输出到外部通用设备的所 记录的视差图像中仍然存在缺陷。此外，在记录之后所进行的处理中，在再 聚焦处理或用于生成虚拟视点图像的处理等中需要高的图像质量和高的精 度，因而对要记录的图像进行校正是有用的。
接着，以下详细说明图像信号处理单元121的结构和操作，其中图像信 号处理单元121被配置为进行包括针对如上所述的利用摄像器件103所获得 的A+B图像和A图像的相关计算的焦点调节处理，并且将如此得到的A+B图 像和A图像记录在单个图像文件中。
图像信号处理单元的结构
图8是示出作为图像信号处理单元121的一部分的图像信号处理单元 121A的结构的框图。图像信号处理单元121A经由总线150连接至CPU 131、 存储器132和非暂时性存储器133。
存储器132暂时存储从图像信号处理单元121A输出的图像数据和CPU 131在各种处理中所使用的其它数据。
非暂时性存储器133存储CPU 131所执行的程序数据、以及依赖于摄像器 件103的各器件差异的A图像缺陷行数据(缺陷数据)。A图像缺陷行数据是在 设备的制造和出厂时预先测量并存储的。A图像缺陷行可以由支持中心等的 工程师在进行维护时再次测量，并且可以存储其数据。
A+B图像生成单元801根据摄像器件103等的各器件差异来校正从AFE 104顺次输出的A+B图像，并且输出校正后的A+B图像。
显像处理单元802接收从A+B图像生成单元801输出的A+B图像，并且对 A+B图像进行显像处理和各种校正处理，诸如针对数字图像的白平衡校正、 颜色插值、颜色校正、伽玛校正、边缘增强和分辨率转换等。
不可逆压缩处理单元803进行诸如JPEG压缩等的不可逆压缩处理，并且 将如此得到的不可逆压缩图像经由存储器接口804输出至存储器132。
与A+B图像生成单元801相同，A图像生成单元805根据摄像器件103等的 各器件差异来对从AFE 104顺次输出的A图像进行校正，并且输出校正后的A 图像。
A图像缺陷行校正单元800基于非暂时性存储器133中所存储的缺陷行数 据，来对从AFE 104顺次输出的A图像进行缺陷行校正。
B图像生成单元807根据从A+B图像生成单元801和A图像生成单元805 分别输出的A+B图像和A图像，通过从A+B图像中减去A图像来生成B图像。
可逆压缩处理单元806对从A+B图像生成单元801和A图像缺陷行校正单 元800分别输入的图像进行可逆压缩编码处理，并且将如此得到的可逆压缩 图像经由存储器接口804输出至存储器132。
相关计算单元808根据从A图像生成单元805和B图像生成单元807分别 输出的A图像和B图像来进行相关计算以获得相关波形。后面将说明相关计 算处理的详情。
散焦量计算单元809基于在相关计算单元808中所获得的相关波形来计 算图像之间的偏差，并且将如此得到的图像之间的偏差转换成散焦量，由此 确定图像内的关注区域中的散焦量。镜头控制器141通过基于所计算出的散 焦量控制镜头单元101的调焦透镜的驱动，来进行焦点调节。
文件生成单元810经由存储器接口804获取可逆压缩处理单元806或不可 逆压缩处理单元803所生成的图像数据、以及包括预先存储的A图像中的缺陷 行数据等的数据，并且文件生成单元810生成包括所获取到的图像数据的图 像文件。
在本实施例中，A图像缺陷行校正单元800不是对要输出至相关计算单元 808的A图像进行缺陷行校正，而是A图像缺陷行校正单元800对要输出至可 逆压缩处理单元806的A图像进行缺陷行校正。如上所述，A图像缺陷行校正 单元800能够根据接下来要进行的处理来禁用校正功能。
利用例如图9A和9B所示的根据上侧邻接同色行的插值来进行缺陷行校 正。图9A是示出在画面的水平方向上发生的缺陷行的示意图。图9B是示出 根据上侧行的插值的处理的示意图，其中在该上侧行中，图9A所示的缺陷行 中的像素值分别被在上侧与该缺陷行邻接的非缺陷行中的像素值替换。可选 地，缺陷行中的像素值可以分别被在下侧与该缺陷行邻接的非缺陷行中的像 素值替换，或者缺陷行中的像素值可以分别被通过使用在上侧和下侧邻接的 行两者的线性插值等所获得的值替换。注意，“邻接”未必意味着关注像素彼此直接邻接，而是关注像素可以位于被相同颜色的过滤器覆盖的像素中的最 近位置处。此外，邻接行未必意味着这些行彼此直接紧挨着，而是可以使用 邻近行的像素值来进行插值。
此外，B图像是通过从A+B图像中减去在根据缺陷行的上侧行的插值之 后所获得的A图像而获得的。注意，A图像和A+B图像是经由在不同时刻进 行的模数转换所获得的，因而叠加有由模数转换时的时刻差所引起的模拟噪 声成分。
在宽的区域内进行诸如根据上侧行的插值等的图像处理的情况下，如此 得到的图像通常具有不自然的单调色调。然而，在本实施例中，对A图像的 一行数据进行插值，由此转换成B图像得到了更好的图像质量。
摄像设备的摄像和记录操作
以下参考图10A、10B和10C所示的流程图来说明根据本实施例的摄像设 备的操作。各流程图所述的处理由CPU 131来执行、或者由各单元根据从CPU 131提供至各单元的指示来执行。
在图10A中，在CPU 131检测到电源接通或者设置成摄像模式的情况下， CPU 131开始处理。在步骤S1001中，基于用户设置、测光传感器(未示出)的 输出和/或图像分析的结果等来设置变焦、光圈条件、快门速度、ISO感光度 和/或白平衡等方面的摄像条件。
在步骤S1002中，在上述的摄像条件下进行曝光。
在步骤S1003中，使用在步骤S1002的曝光中所获得的A图像和A+B图像 来进行相关计算，并且进行焦点调节。重复地进行步骤S1001～步骤S1003的 处理，直到按下第一释放开关162为止(S1004)。
在步骤S1005中，响应于第一释放开关的接通，在焦点或曝光固定的模 式中再次进行焦点调节处理。
在步骤S1006中，进行与第二释放开关是否接通(是否发出摄像命令)有关 的检测。如果第二释放开关处于断开状态，则在步骤S1007中，进行与第一 释放开关是否处于接通状态有关的检测。在第二释放开关处于接通状态的情 况下，处理流程进入步骤S1008以进行主曝光操作。在第一释放开关处于接 通状态并且第二释放开关处于断开状态的情况下，在维持诸如AF条件和/或 AE条件等的摄像条件的同时，处理流程进入等待状态，以等待第二释放开 关接通。在第一释放开关断开的情况下，处理流程返回至步骤S1001。
在步骤S1008中，在步骤S1005中所确定的摄像条件下进行主曝光，并且 记录如此得到的图像。在步骤S1009中，进行与电源是否处于断开状态、或 者当前模式是否改变为菜单显示模式或重放模式等有关的检测。在电源处于 断开状态、或者当前模式改变为其它模式的情况下，本处理结束。在进一步 维持当前模式的情况下，处理流程返回至步骤S1001以重复该处理。注意， 电源的断开或向其它模式的改变可以响应于用户所进行的操作来进行。
图10B是示出在步骤S1003和步骤S1005中所执行的焦点调节处理的流 程图。
在步骤S1021中，读出由用户指定的或者作为图像分析等的结果而自动 设置的区域(焦点检测区域)中的A图像和A+B图像，并且利用B图像生成单元 807通过进行上述计算来获取B图像。
在步骤S1022中，基于预先存储的缺陷行数据来识别A图像的缺陷行， 并且使用焦点检测区域中的除包括缺陷行的区域以外的像素值来计算相关 波形。在该处理中，可以通过对针对各行所确定的相关波形进行累积相加、 或者通过针对各列将特定行数的像素值相加到一起，来确定相关波形。更具 体地，根据以下所示的公式(1)，可以通过计算A图像和B图像的各像素的信 号值之间的差的绝对值来确定相关值。
数学式1
在公式(1)中，Ax和Bx分别表示A图像和B图像在x坐标处的输出。即， C(Iy)是在B图像偏移了Iy个像素的情况下、A图像和B图像之间的差的绝对值 的总和。通过标绘针对各偏移量所计算出的总和来获得相关波形。相关波形 具有最小值的点与图像之间的偏差相对应。用于计算相关波形的方法不限于 上述方法，但还可以采用其它已知方法。
在步骤S1023中，根据步骤S1022中所获得的相关波形来确定图像的偏 差，并且将图像之间的偏差转换成散焦量。
在步骤S1024中，基于所获得的散焦量，镜头控制器141驱动镜头单元101 的调焦透镜以调节焦点。因而，焦点调节处理完成。
图10C是示出步骤S1008中所执行的主曝光和记录处理的流程图。在步骤 S1031中，如上所述从摄像器件103读出在主曝光处理中获取到的A+B图像和 A图像，并输出至图像信号处理单元121A。在步骤S1032中，如上所述，A 图像缺陷行校正单元800使用预先存储的缺陷行数据来对所读出的A图像进 行缺陷校正处理。
以下的步骤S1033、S1034、S1035和S1036可以并行地进行。然而，根据 存储器132的可用存储空间或图像信号处理单元121A的处理速度等，这些步 骤可以顺次地进行。图像信号处理单元121A可以是单个处理器。在这种情况 下，可以顺次地处理A+B图像和A图像。
在步骤S1033中，可逆压缩处理单元806对A+B图像进行可逆压缩处理， 并且将如此得到的A+B图像经由存储器接口804存储在存储器132中。
在步骤S1034中，显像处理单元802对A+B图像进行各种显像处理。接着， 在步骤S1035中，不可逆压缩处理单元803进行不可逆压缩处理，并且将如此 得到的数据作为A+B图像显示用图像存储在存储器132中。同时，通过缩小 A+B图像显示用图像来生成A+B缩略图图像，并且将该A+B缩略图图像存储 在存储器132中。
在步骤S1036中，可逆压缩处理单元806对A图像进行可逆压缩处理，并 且将如此得到的处理后的A图像存储在存储器132中。
在步骤S1033、S1035和S1036完成之后，在步骤S1037中，生成图像文件。 在图像文件的生成中，从存储器132读出可逆压缩后的A+B图像和A图像、不 可逆压缩后的A+B图像显示用图像、以及A+B缩略图图像，并且根据这些图 像生成文件。此外，读出非暂时性存储器133中所存储的A图像的缺陷行数据， 并将该缺陷行数据附加至图像文件。后面将说明图像文件的结构的详情。
在步骤S1038中，将所生成的图像文件经由卡输入/输出单元171存储在 外部的存储介质173中，并且主曝光和记录处理结束。
图像文件的结构
以下参考图11A和11B来说明步骤S1037中所生成的图像文件的详细结 构。
图11A示出具有已知为TIFF(标签图像文件格式)格式的广泛采用的结构 的图像文件。
在TIFF图像文件1100中，允许将多个图像数据存储在一个文件中。TIFF 图像文件1100包括TIFF头部1101、多个IFD(图像文件目录)部1102～1105和多 个图像数据部1106～1109。
TIFF头部1101是存储了用以表示本文件采用TIFF文件格式的数据的区 域。
各IFD部1102～1105是用于存储以下内容的区域：描述与各图像数据部 1106～1109中所存储的图像数据相关联的摄像信息和/或参数的元数据A～D、 以及至各图像数据部1106～1109的偏移值E～H。即，存在与图像数据的数量 一样多的IFD部。
各IFD与一个图像数据相对应。例如，第0个IFD部1102与第0个图像数据 部1106相对应。因而，利用IFD部1102～1105的偏移值E～H来识别各图像数据 的开始位置。
图11B示出根据本实施例的、用于生成包括A+B图像、A图像和A图像缺 陷行数据的TIFF图像文件的情况的文件结构的示例。
图像文件1110具有如下的TIFF图像数据格式，其中该TIFF图像数据格式 包括TIFF头部1111、作为A+B缩略图图像所用的IFD的第0个IFD部1112和作 为A+B图像显示用图像所用的IFD的第1个IFD部1113。图像文件1110的格式 还包括作为A+B图像所用的IFD的第2个IFD部1114和作为A图像所用的IFD 的第3个IFD部1115。图像数据部包括A+B缩略图图像部1116、A+B图像显示 用图像部1117、A+B图像部1118和A图像部1119。
TIFF头部1111是用于存储标识该文件具有TIFF文件结构的数据的区域。
第0个IFD部1112是存储有以下内容的区域：诸如与A+B缩略图图像部 1116相关联的摄像信息和/或参数等的元数据A、以及至A+B缩略图图像部 1116的偏移值E。
第1个IFD部1113是存储有以下内容的区域：诸如与A+B图像显示用图像 部1117相关联的摄像信息和/或参数等的元数据B、以及至A+B图像显示用图 像部1117的偏移值F。
第2个IFD部1114是存储有以下内容的区域：诸如与A+B图像部1118相关 联的摄像信息和/或参数等的元数据C、以及至A+B图像部1118的偏移值G。
第3个IFD部1115是存储有以下内容的区域：诸如与A图像部1119相关联 的摄像信息和/或参数等的元数据D、以及至A图像部1119的偏移值H。注意， 在本实施例中，A图像缺陷行数据包括在A图像的元数据中。然而，所存储 的A图像是已经经过了缺陷行校正的图像，因而不必存储A图像缺陷行数据。 因此，根据用户所进行的各种摄像条件或设置，可以存储或者可以不存储A 图像缺陷行数据。
图12示出缺陷行数据的示例。为了识别存在缺陷的像素位置，缺陷行数 据包括缺陷行数据的总数和各缺陷行的行数。例如，在第10行、第15行和第 30行是缺陷行的情况下，缺陷行数据表示：缺陷行的总数为3，并且缺陷行 位于第10行、第15行和第30行。
因而，利用偏移值E～H中的相应偏移值来标识各图像数据的开始位置。
A+B缩略图图像部1116是如下的区域，其中该区域用于存储通过对A+B 图像显示用图像部1117中所存储的图像进行间隔剔除和调整大小所获得的 调整大小后的图像，以例如供在显示单元153上显示多个图像(作为索引)时使 用。
A+B图像显示用图像部1117是如下的区域，其中该区域用于存储通过利 用图像信号处理单元121A对从摄像器件103输出的图像数据进行处理所获得 的JPEG图像，以例如供在显示单元153上进行显示时使用。
A+B图像部1118是如下的区域，其中该区域用于存储通过利用图像信号 处理单元121A进行可逆压缩处理所获得的A+B图像，以供例如在摄像操作完 成之后、根据改变后的摄像参数利用应用软件等对JPEG图像进行显像时使 用。
A图像部1119是如下的区域，其中在该区域中，存储有通过利用图像信 号处理单元121A进行可逆压缩处理所获得的A图像，以供在摄像操作完成之 后、利用应用软件等连同A+B图像一起用于进行再聚焦处理和/或3D图像生 成处理等。
在摄像操作之后进行再聚焦处理或3D图像生成处理时，可以使用第3个 IFD部1115中所存储的A图像缺陷行数据来在各种图像处理中识别校正后的 缺陷行。在本实施例中，使用该图像文件使得图像处理设备可以使用A图像 缺陷行数据，以与在记录操作期间所进行的校正(插值)相比更高的精度对缺 陷行进行校正处理，由此使得能够在图像处理设备内所进行的图像处理中获 得更高的精度和更高的图像质量。
此外，将规格允许进行再聚焦处理或用于生成虚拟视点图像的处理的应 用软件或图像处理设备所不需要的A图像的数据部分存储在第3个IFD部1115 中。此外，将图像数据存储在位于图像文件1110的末尾的A图像部1119中。 这使得甚至不能处理A图像的数据的应用程序或设备也可以以传统方式进行 读取操作，因而维持了文件兼容性。
接着，如以下所述，利用如下所配置的图像处理设备来对以上述方式记 录的图像文件进行读出、解码和图像处理。在本实施例中，假定该操作主要 由照相机100中的图像信号处理单元121A来进行。然而，在本发明中，图像 处理设备不限于配置在摄像设备中，而且图像处理设备可以是能够获取上述 的图像文件并处理该图像文件的任意电子装置。这些电子装置的示例包括便 携式电话设备、游戏机、平板终端、个人计算机以及手表型或眼镜型信息终 端等。
利用图像处理设备的再现
以下说明图像处理设备的包括图像信号处理单元121的各单元的结构及 其操作。
图13示出解码时所使用的作为图像信号处理单元121的一部分的图像信 号处理单元121B的结构。在该结构中，采用摄像设备中的图像信号处理单元 作为重放操作时所使用的图像处理设备。然而，可选地，可以采用不同于摄 像设备并且具有诸如图13所示的结构等的结构的外部图像处理设备。
在解码操作中，使用图像信号处理单元121B的解码单元1301、A图像缺 陷行校正单元1302和解码时图像处理单元1303。注意，这里A图像是指一个 视差图像。在以下说明中，与A图像的光线通过摄像光学系统中的哪个光瞳 区域无关地，可以以与A图像相同的方式应用图像处理。
解码单元1301对经由存储器接口804从存储器132获取到的上述图像文 件进行解码，并且输出缺陷行数据、以及转换成与从摄像器件输出的图像数 据的格式相同的格式的A图像数据和A+B图像数据。在该处理中，解码单元 1301顺次分析头部，以判断哪些图像包括在图像文件中。在本实施例中，如 图11B所示，A图像部1119的头信息和A图像部1119的数据部是在各部的末尾 进行描述的。这样使得即使解码单元不能处理A图像部119的输出的图像处理 设备也可以正确地读出第0个IFD部1112～第2个IFD部1114中所描述的数据， 由此维持了兼容性。
A图像缺陷行校正单元1302从解码单元1301接收缺陷行数据、A图像和 A+B图像。A图像缺陷行校正单元1302存储所接收到的缺陷行数据，并且校 正所接收到的A图像中的利用缺陷行数据表示的行。
在A图像缺陷行校正单元1302所进行的校正(解码图像校正)中，采用与 上述的A图像缺陷行校正单元800所采用的方法不同的方法，以在校正时实现 更高的精度，虽然处理负荷和电路复杂度可能变得更大。例如，根据以关注 像素为中心的7×7的矩阵来估计最可能的像素值，并且使用该最可能的像素 值来进行插值。在重放或解码操作中利用A图像缺陷行校正单元1302所进行 的校正处理中，不同于摄像操作，不必考虑拍摄间隔(时滞)等的影响。这样 使得容易采用诸如上述等的高精度处理。
解码时图像处理单元1303通过从A+B图像中减去从A图像缺陷行校正单 元1302接收到的A图像来生成B图像。根据A图像和B图像这两个视差图像， 可以使用已知的技术来进行再聚焦处理或3D图像生成处理。解码时图像处理 单元1303响应于用户的输入操作等来输出经过了这种图像处理的图像数据。
将从解码时图像处理单元1303输出的图像数据输入至不可逆压缩处理 单元803。如摄像操作那样，对该图像数据进行不可逆压缩处理，并且将如 此得到的不可逆压缩图像经由存储器接口804输出至存储器132。
在该处理中，可逆压缩处理单元806对从A图像缺陷行校正单元800输出 的A图像和A+B图像这两者进行可逆压缩处理，并且将如此得到的可逆压缩 图像经由存储器接口804输出至存储器132。
以下处理采用与摄像操作相同的方式来进行，因而省略了针对该处理的 进一步说明。
以下说明解码时图像处理单元1303所进行的再聚焦处理的示例。图14是 示出根据本实施例的、使用利用摄像器件获取到的A图像和B图像来进行沿 一维方向(行方向、列方向)的再聚焦处理的方式的示意图。在该图中，Ai和 Bi分别表示利用摄像区域1400中所配置的摄像器件的行中的第i个像素检测 到的A图像和B图像，其中i是整数。Ai是响应于以主光线角度θa入射至第i个 像素的光线而从第i个像素输出的感光信号。Bi是响应于以主光线角度θb入射 至第i个像素的光线而从第i个像素输出的感光信号。
注意，Ai和Bi各自不仅具有光强度分布信息，而且还具有入射角度信息。 因此，如果Ai沿着角度θa平行移动至虚拟成像面1410、并且Bi沿着角度θb平 行移动至虚拟成像面1410，并且如果将这两者相加到一起，则生成虚拟成像 面1410上的再聚焦信号。同样，如果Ai和Bi偏移了与整数一样多的像素相对 应的量、并且将这两者相加到一起，则生成与该偏移量相对应的虚拟成像面 上的再聚焦图像。
在本实施例中，存在一个微透镜所覆盖的两个像素，并且以如上所述的 简单方式进行再聚焦处理。然而，再聚焦处理不限于上述的再聚焦处理。例 如，可以使用在将图像分割成更多个子图像的情况下也可以采用的、已知为 光场摄影的计算来进行再聚焦处理。
在利用解码时图像处理单元1303所进行的图像处理中，可以对各像素处 的A图像和B图像进行加权相加，使得生成如从虚拟改变后的视点所观看的 图像，即可以生成虚拟视点图像。
相关计算单元808除在拍摄操作中外，在重放操作中也能够进行相关计 算处理。例如，在重放操作中、再次检测散焦量并且进行再聚焦或者生成散 焦图的情况下，可以进行使用A图像和B图像的相关计算。在这种情况下， 相关计算中所使用的A图像和B图像可以是从在记录操作中已进行了针对A 图像缺陷行的校正的图像文件读出的图像，或者可以进行除A图像和B图像 的缺陷行数据以外的相关计算。即，在图像处理中利用解码时图像处理单元 1303进行相关计算的情况下，可以排除与缺陷信号相对应的数据。
在本实施例中，如上所述，在摄像和记录操作时在照相机内所进行的操 作中，没有对来自视差图像中的缺陷像素组的信号进行校正，而是将这些信 号从计算中排除。另一方面，在记录视差图像的情况下，校正来自缺陷像素 组的信号并且记录如此得到的图像。这样使得可以减少视差图像的一部分中 的缺陷对所记录图像的影响。还可以减少视差图像中的缺陷对图像处理或经 过了该图像处理的图像的影响。
在本实施例中，在视差图像的IFD部中描述表示视差图像中的缺陷像素 组的数据(缺陷行数据)。可选地，可以在图像文件的IFD部的开头描述缺陷行 数据。可选地，可以在另一文件中描述缺陷行数据，并且该文件可以使用文 件名等与视差图像关联。
第二实施例
在上述的第一实施例中，对视差图像进行校正，并且记录如此得到的校 正后的视差图像，以减少对使用该视差图像所进行的图像处理的影响。作为 对比，在第二实施例中，在摄像操作之后的记录处理中没有对来自缺陷像素 组的信号进行校正，但可以将视差图像和视差图像缺陷行数据以彼此关联的 方式存储。
图15是代替图1所示的图像信号处理单元121A而使用的、根据本实施例 的图像信号处理单元1500A的框图。根据第一实施例的图1的其它框与根据第 二实施例的其它框相同，因而省略了针对这些其它框的进一步说明。不同于 根据第一实施例的图8所示的图像信号处理单元121A，根据第二实施例的图 像信号处理单元1500A不包括A图像缺陷行校正单元800。
此外，在第二实施例中，不同于第一实施例，不进行图10C所示的步骤 S1032中的针对A图像的缺陷行校正处理。
在本实施例中，设置有与根据第一实施例的图像信号处理单元相同的图 像信号处理单元121B。如以上在第一实施例中所述，图像信号处理单元121B 具有基于所输入的缺陷行数据来校正解码后的A图像的功能。因此，即使在 没有对所输入的图像文件中所包括的A图像进行校正的情况下，与第一实施 例相同，也可以在解码操作期间对A图像中的缺陷行中的像素信号进行校正。
在本实施例中，如上所述，在摄像和记录操作期间在照相机内进行的计 算中，没有对来自视差图像中的缺陷像素组的信号进行校正，并且将这种信 号从计算中排除。关于要记录的视差图像，将与来自缺陷像素组的信号相关 联的数据与视差图像有关地记录。这样使得可以考虑到在所记录的视差图像 的一部分中发生的缺陷来进行重放操作时的图像处理，使得抑制了缺陷的影 响。
在上述的实施例中，通过使用A图像中的缺陷行之前或之后的行进行插 值来校正A图像中的缺陷行。然而，校正方法不限于此。例如，可以将以上 述方式对缺陷行进行了插值的A图像从A+B图像中减去，由此生成B图像， 并且代替A图像，可以记录如此得到的B图像。注意，A图像和A+B图像是经 由在不同时刻进行的模数转换所获得的，由此通过将经过了插值的缺陷行的 A图像转换成B图像，叠加有由模数转换时的时刻差所引起的模拟噪声成分。 这样使得可以在所记录图像中减轻由插值引起的不自然的单调色调。
此外，在上述实施例中，由于用于从像素读出电荷的信号线是以行为单 位共通的，因此如果发生信号线的短路，则这导致在该整个信号线上产生缺 陷、即发生缺陷行。因而，基于缺陷行来以行为单位进行校正，并且缺陷像 素组的数据对于该整行变得有缺陷。然而，用于从像素读出信号的信号线不 必是以上方式配置成的，因而缺陷像素不必以行为单位发生。在这种情况下， 可以根据摄像器件的结构来以适当方式描述并存储缺陷像素组数据，并且可 以适当方式进行校正。
尽管已经参考实施例说明了本发明，但本发明不限于所公开的实施例， 并且可以在本发明的精神和范围内进行多种变形和改变。
其它实施例
还可以如下所述实现本发明。即，将用于实现实施例所公开的功能的软 件的程序代码存储在存储介质中，将该存储介质提供至系统或设备，并且该 系统或设备中的计算机(或者CPU或MPU)从存储介质读出程序代码并执行该 程序代码。
在这种情况下，从存储介质读取的程序代码实现实施例中所公开的新颖 功能，并且程序和存储有程序代码的存储介质落在本发明的范围内。
用于供给程序代码的存储介质的示例包括软盘、硬盘、光盘和磁光盘等。 更多示例是CD-ROM盘、CD-R盘、CD-RW盘、DVD-ROM盘、DVD-RAM盘、 DVD-RW盘、DVD-R盘、磁带、非易失性存储卡和ROM等。
可以通过利用计算机执行所读出的程序代码来实现上述的实施例中所 公开的功能。可以通过计算机上运行的操作系统等根据该程序代码来进行处 理的一部分或全部。功能的这种实现也落在本发明的范围内。
可以如下所述实现功能。从存储介质读取程序代码，并且将程序代码载 入插入计算机中的扩展卡的存储器或连接至计算机的扩展单元的存储器中， 并且利用该扩展卡或扩展单元上所配置的CPU等根据所加载的程序代码来 进行处理的一部分或全部。
本发明不仅可应用于诸如主要用于摄像的数字照相机等的装置，而且还 可应用于内部配置有摄像设备或者能够连接至摄像设备的其它类型的装置， 诸如便携式电话、(笔记本型、台式或平板型)个人计算机以及游戏机等。因 此，应当理解，本说明书中的“摄像设备”是具有摄像功能的任意电子装置。
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时 性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以 进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例 中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系 统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，该系 统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进 行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进 行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一 个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以 包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例 如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介 质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式 计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘 (BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于 所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有 这类修改、等同结构和功能。
本申请要求2015年9月11日提交的日本专利申请2015-180065的优先权， 在此通过引用包含其全部内容。
