当前位置：首页 > 物理技术 > 信号装置> 图像处理装置、成像装置和图像处理方法独创技术49749字

图像处理装置、成像装置和图像处理方法

2021-01-31 18:54:08

图像处理装置、成像装置和图像处理方法

　　本申请是申请日为2015年10月22日、发明名称为“图像处理装置、成像装置和图像处理方法”的申请号为201580071105.9的专利申请的分案申请。

　　技术领域

　　本发明涉及图像处理装置。详细地，本发明涉及用于监视相机的图像处理装置、成像装置和图像处理方法。

　　背景技术

　　常规地，获得车辆的特征从而指定车辆的监视装置被用作车辆的监视装置。例如，提出了这样的监视装置：其检测车辆的牌照位置，且根据牌照位置来获得车体的颜色以指定车辆(例如，参照专利文献1)。

　　引用列表

　　专利文献

　　专利文献1：日本专利申请特开第2006-201817号公报

　　发明内容

　　本发明要解决的技术问题

　　在上述的常规技术中，检测出的牌照位置仅用于设定用来指定车体颜色的车体颜色识别区域。即，不对牌照区域进行特殊处理。因此，常规技术具有如下的问题：仅检测车体颜色，且不进行指定车辆不可缺少的改善牌照读取的处理。

　　鉴于上述的状况而完成本发明，本发明的目的是提高牌照的可见性和车体的颜色再现性以容易地读取牌照和获得车体颜色。

　　技术问题的解决方案

　　为了解决上述问题而完成本发明，本发明的第一方面是图像处理装置，其设置有：车体区域检测单元，所述车体区域检测单元从图像信号中检测车辆的车体区域；牌照区域检测单元，所述牌照区域检测单元从所述图像信号中检测所述车辆的牌照区域；车体区域图像处理单元，所述车体区域图像处理单元进行与检测出的所述车体区域对应的图像信号的处理；牌照区域图像处理单元，所述牌照区域图像处理单元对与检测出的所述牌照区域对应的图像信号进行处理，该处理不同于与所述车体区域对应的图像信号的处理；和合成单元，所述合成单元将经过处理的与所述车体区域对应的图像信号和经过处理的与所述牌照区域对应的图像信号进行合成。使用本措施，具有这样的效果：针对与牌照区域对应的图像信号和与车体区域对应的图像信号进行不同的处理。

　　此外，在第一方面中，所述牌照区域图像处理单元可以进行用来将与所述牌照区域对应的图像信号转换成与所述牌照区域对应的亮度信号的亮度信号转换处理，和用来在所述亮度信号中增强图像的边缘部的边缘增强处理。使用本措施，具有这样的效果：增强了与牌照区域对应的亮度信号中的图像的边缘部。

　　此外，在第一方面中，所述牌照区域图像处理单元可以进行用来将与所述牌照区域对应的图像信号转换成与所述牌照区域对应的亮度信号的亮度信号转换处理，以及用来通过使属于同一帧的所述亮度信号的高频成分衰减来去除所述亮度信号的噪声的二维降噪处理。使用本措施，具有这样的效果：去除与牌照区域对应的亮度信号中的图像的噪声。

　　此外，在第一方面中，所述车体区域图像处理单元可以进行用来将与所述车体区域对应的图像信号转换成与所述车体区域对应的亮度信号和色度信号的亮度/色度信号转换处理，和用来通过使用属于多个连续帧的所述亮度信号和所述色度信号来去除所述亮度信号和所述色度信号的噪声的三维降噪处理。使用本措施，具有这样的效果：去除与车体区域对应的亮度信号和色度信号的噪声。

　　此外，在第一方面中，所述图像信号包括与红色光、绿色光、蓝色光和红外光对应的图像信号，所述车体区域图像处理单元可以进行在与所述车体区域对应的图像信号中包括的与红色光、绿色光和蓝色光对应的图像信号的处理，且所述牌照区域图像处理单元可以进行在与所述牌照区域对应的图像信号中包括的与红外光对应的图像信号的处理。使用本措施，具有这样的效果：针对在与车体区域对应的图像信号中包括的与红色光、绿色光和蓝色光对应的图像信号进行由车体区域图像处理单元进行的处理，且针对与牌照区域对应的图像信号中包括的与红外光对应的图像信号进行由牌照区域图像处理单元进行的处理。

　　此外，在第一方面中，所述图像信号还包括与白色光对应的图像信号，且所述车体区域图像处理单元可以进行在与所述车体区域对应的图像信号中包含的与红色光、绿色光、蓝色光和白色光对应的图像信号的处理。使用本措施，具有这样的效果：针对在与车体区域对应的图像信号中包含的与红色光、绿色光、蓝色光和白色光对应的图像信号进行由车体区域图像处理单元进行的处理。

　　此外，在第一方面中，所述图像信号包括与红色光、绿色光、蓝色光和红外光对应的图像信号，还设置有饱和检测单元，所述饱和检测单元检测所述图像信号中包含的与红外光对应的图像信号是否饱和，且所述牌照区域图像处理单元可以在所述饱和检测单元检测出所述与红外光对应的图像信号不饱和的情况下进行在与所述牌照区域对应的图像信号中包含的与红外光对应的图像信号的处理，并且可以在所述饱和检测单元检测出所述与红外光对应的图像信号饱和的情况下进行在与所述牌照区域对应的图像信号中包含的与红色光、绿色光和蓝色光对应的图像信号的处理。使用本措施，具有这样的效果：牌照区域图像处理单元在与红外光对应的图像信号不饱和的情况下进行针对与红外光对应的图像信号的处理，并且在与红外光对应的图像信号饱和的情况下进行针对与红色光、绿色光和蓝色光对应的图像信号的处理。

　　此外，本发明的第二方面是成像装置，其设置有：图像传感器，所述图像传感器产生图像信号；车体区域检测单元，所述车体区域检测单元从所述图像信号中检测车辆的车体区域；牌照区域检测单元，所述牌照区域检测单元从所述图像信号中检测所述车辆的牌照区域；车体区域图像处理单元，所述车体区域图像处理单元进行与检测出的所述车体区域对应的图像信号的处理；牌照区域图像处理单元，所述牌照区域图像处理单元对与检测出的所述牌照区域对应的图像信号进行与所述车体区域对应的图像信号的处理不同的处理；和合成单元，所述合成单元将经过处理的与所述车体区域对应的图像信号和经过处理的与所述牌照区域对应的图像信号进行合成。使用本措施，具有这样的效果：对于与牌照区域对应的图像信号和与车体区域对应的图像信号进行不同的处理。

　　此外，本发明的第三方面是图像处理方法，其具有：车体区域检测步骤，用来从图像信号中检测车辆的车体区域；牌照区域检测步骤，用来从所述图像信号中检测所述车辆的牌照区域；车体区域图像处理步骤，用来进行与检测出的所述车体区域对应的图像信号的处理；牌照区域图像处理步骤，用来对与检测出的所述牌照区域对应的图像信号进行与所述车体区域对应的图像信号的处理不同的处理；和合成步骤，用来将经过处理的与所述车体区域对应的图像信号和经过处理的与所述牌照区域对应的图像信号进行合成。使用本措施，具有这样的效果：对于与牌照区域对应的图像信号和与车体区域对应的图像信号进行不同的处理。

　　本发明的有益效果

　　根据本发明，存在下列优良效果：通过提高牌照的可见性和车体的颜色再现性，容易地读取牌照且容易地获得车体颜色。与此同时，效果不一定限于这里所述的效果且可以是本发明所述效果中的任何效果。

　　附图说明

　　图1图示了本发明的实施例中的成像装置的构造示例。

　　图2图示了本发明的实施例中的图像传感器200的构造示例。

　　图3图示了本发明的第一实施例中的图像处理装置300的构造示例。

　　图4图示了本发明的第一实施例中的去马赛克处理。

　　图5图示了本发明的第一实施例中的牌照区域图像处理单元360的构造示例。

　　图6图示了本发明的第一实施例中的二维降噪处理。

　　图7图示了本发明的第一实施例中的车体区域图像处理单元370的构造示例。

　　图8图示了本发明的第一实施例中的三维降噪处理。

　　图9图示了本发明的第一实施例中的合成处理。

　　图10图示了本发明的第一实施例中的图像显示的示例。

　　图11图示了本发明的第一实施例中的图像处理过程的示例。

　　图12图示了本发明的第一实施例中的车体/牌照区域处理过程的示例。

　　图13图示了本发明的第一实施例中的车体区域图像处理过程的示例。

　　图14图示了本发明的第一实施例中的牌照区域图像处理过程的示例。

　　图15图示了本发明的第二实施例中的图像处理装置300的构造示例。

　　图16图示了本发明的第二实施例中的牌照区域图像处理单元360的构造示例。

　　图17图示了本发明的第二实施例中的牌照区域图像处理过程的示例。

　　图18图示了本发明的第三实施例中的合成处理。

　　图19图示了本发明的第四实施例中的去马赛克处理。

　　图20图示了本发明的第四实施例中的去马赛克处理。

　　具体实施方式

　　在下文中，说明本发明的实施方式(在下文中，被称为实施例)。以下面的顺序给出说明。

　　1.第一实施例(通过使用红外光信号来处理牌照区域的图像的情况的示例)

　　2.第二实施例(通过使用红外光信号或可见光信号来处理牌照区域的图像的情况的示例)

　　3.第三实施例(显示牌照颜色的情况的示例)

　　4.第四实施例(使用包括与白色光对应的像素的图像传感器的情况的示例)

　　5.变型例

　　<1.第一实施例>

　　[成像装置的构造]

　　图1图示了本发明的实施例中的成像装置的构造示例。该图中的成像装置10设置有透镜100、图像传感器200、图像处理装置300、图像信号输出单元400、红外光发射单元500和控制单元600。

　　透镜100以光学的方式将被摄体的图像形成在图像传感器200上。图像传感器200将经过透镜100形成的光学图像转换成图像信号以输出。图像传感器200被构造为使得产生图像信号的像素以二维的方式布置在形成有光学图像的表面上。从像素输出的图像信号包括与可见光成分对应的可见光信号和与红外光成分对应的红外信号。

　　下面的图像传感器可以用作包括有上述像素的图像传感器200。例如，可以使用这样的图像传感器：其包括输出与红色光和红外光对应的图像信号的像素、输出与绿色光和红外光对应的图像信号的像素、输出与蓝色光和红外光对应的图像信号的像素和输出与红外光对应的图像信号的像素。例如，也可以使用这样的包括有总共五种类型像素的图像传感器：除了上述的像素以外，其还包括输出与白色光和红外光对应的图像信号的像素。

　　在下文中，将与红色光和红外光对应的图像信号、与绿色光和红外光对应的图像信号和与蓝色光和红外光对应的图像信号分别称为R+IR信号、G+IR信号和B+IR信号。此外，将与白色光和红外光对应的图像信号以及与红外光对应的图像信号分别称为W+IR信号和IR信号。此外，将输出R+IR信号、G+IR信号、B+IR信号、W+IR信号和IR信号的像素分别称为R+IR像素、G+IR像素、B+IR像素、W+IR像素和IR像素。各像素都设置有滤色器以便被构造为以上述的方式与不同的光对应的像素。使滤色器的光谱特性对应于特定的光以形成上述的四种或五种类型的像素。

　　图像处理装置300处理图像信号。图像处理装置300将图像传感器200输出的图像信号转换成亮度信号和色度信号，并且处理信号以输出。

　　图像信号输出单元400将经过图像处理装置300处理的图像信号输出到成像装置10的外部。图像信号输出单元400转换图像信号以使其符合与成像装置10连接的信号线接口的标准以输出。

　　控制单元600控制整个成像装置10。红外光发射单元500使用红外光照射被摄体。红外光发射单元500由控制单元600控制。

　　[图像传感器的构造]

　　图2图示了本发明的实施例中的图像传感器200的构造示例。该图图示了像素201在图像传感器200的屏幕上的布置。与此同时，被分配给像素201的符号表示像素201的类型。被分配有符号R+IR、G+IR、B+IR、W+IR和IR的像素分别是R+IR像素、G+IR像素、B+IR像素、W+IR像素和IR像素。像素根据一定的规则布置在屏幕上。

　　在本图的a中，在R+IR像素、G+IR像素和B+IR像素的拜耳(Bayer)阵列中，两个G+IR像素中的一个被替换成IR像素。与红色、绿色和蓝色对应的像素以均衡的方式布置，使得阵列具有高颜色再现性。在本图的b中，在G+IR像素的棋盘模式阵列中，R+IR像素、B+IR像素和IR像素布置在除了G+IR像素的像素位置以外的位置中。因为存在许多与绿色对应的像素，所以阵列具有高分辨率。在本图的c中，在IR像素的棋盘模式阵列中，R+IR像素、G+IR像素和B+IR像素布置在除了IR像素的像素位置以外的位置中。布置有许多IR像素，使得阵列具有对于红外光的高分辨率。在本图的d中，在W+IR像素的棋盘模式阵列中，R+IR像素、G+IR像素、B+IR像素和IR像素布置在除了W+IR像素的像素位置以外的位置中。布置有许多与白色对应的像素，使得阵列具有高敏感度。

　　与此同时，将本图的a至c所示的包括有R+IR像素、G+IR像素、B+IR像素和IR像素的图像传感器假设为本发明的第一实施例中的图像传感器200。

　　[图像处理装置的构造]

　　图3图示了本发明的第一实施例中的图像处理装置300的构造示例。图像处理装置300设置有图像传感器控制单元310、运动图像检测单元320、去马赛克单元330和牌照区域检测单元340。此外，图像处理装置300还设置有牌照区域图像处理单元360、车体区域检测单元350、车体区域图像处理单元370和合成单元390。

　　图像传感器控制单元310控制图像传感器200。图像传感器控制单元310对图像传感器200进行聚焦控制、曝光控制、图像信号的输出控制等。

　　运动图像检测单元320检测从图像传感器200输出的图像信号中的运动图像区域。公知的方法，例如，在MPEG(Moving Picture Experts Group：运动图画专家组)等中使用的块匹配方法可以用于检测运动图像区域。

　　去马赛克单元330进行去马赛克处理。针对图像传感器200输出的单色图像信号，去马赛克处理对不足的图像信号进行插值。每像素的图像信号经过去马赛克处理而增多到R+IR信号、G+IR信号、B+IR信号和IR信号这四种信号。此外，去马赛克单元330还进行红外光成分去除处理以去除R+IR信号、G+IR信号和B+IR信号的红外光成分。这里，将通过去除R+IR信号、G+IR信号和B+IR信号的红外光成分而获得的信号分别称为R信号、G信号和B信号。例如，可以如下面的方程式所表示地进行红外光成分去除处理。

　　R＝R+IR-IR

　　G＝G+IR-IR

　　B＝B+IR-IR

　　其中，R、G、B和IR分别表示R信号、G信号、B信号和IR信号。R+IR、G+IR和B+IR分别表示R+IR信号、G+IR信号和B+IR信号。

　　车体区域检测单元350从运动图像检测单元320检测出的运动图像区域中检测车体区域。可以使用公知的方法来检测车体区域，例如如下所述的方法：保持将车体图像图示为灰度图像的灰度模板，并且进行输入图像与灰度模板的模式匹配。

　　牌照区域检测单元340从运动图像检测单元320检测出的运动图像区域中检测牌照区域。可以使用公知的牌照区域检测方法。例如，可以使用这样的方法来检测牌照位置：产生通过将车体的图像信号二值化而获得的图像，并且在所述图像的区域中搜索与牌照特有的模式阵列一致的部分。

　　车体区域图像处理单元370处理与车体区域检测单元350检测出的车体区域对应的图像信号。车体区域图像处理单元370进行处理以提高车体的颜色再现性。后面将详细地说明车体区域图像处理。

　　牌照区域图像处理单元360处理与牌照区域检测单元340检测出的牌照区域对应的图像信号。牌照区域图像处理单元360进行与上述的车体区域图像处理单元370进行的处理不同的处理。即，本单元进行用于提高牌照的可见性的处理。后面将详细地说明牌照区域图像处理。

　　合成单元390将经过车体区域图像处理单元370和牌照区域图像处理单元360处理的图像信号进行合成。

　　与此同时，可以通过进行处理的硬件来实现上述图像处理装置300进行的各项处理。也可以配备微型计算机和DSP以实现通过软件进行处理。

　　[去马赛克处理]

　　图4图示了本发明的第一实施例中的去马赛克处理。该图图示了对像素202进行去马赛克处理的情况。作为B+IR像素的像素202输出B+IR信号。将与另一种颜色对应的图像信号插补在像素202的像素位置中。在本图的a中，图示了将G+IR信号插补在像素202中的情况的示例。使像素202左右两边布置的G+IR像素的G+IR信号的平均值成为像素202的G+IR信号。在本图的b中，图示了将IR信号插补在像素202中的情况的示例。使像素202上下两边布置的IR像素的IR信号的平均值成为像素202的IR信号。在本图的c中，图示了将R+IR信号插补在像素202中的情况的示例。使在像素202的斜方向上与像素202相邻的R+IR信号的平均值做成像素202的R+IR信号。以此方式，在本图的去马赛克处理中，仅通过使用相邻像素的图像信号来进行插值。在去马赛克处理后，进行红外光成分去除处理。

　　[牌照区域图像处理单元]

　　图5图示了本发明的第一实施例中的牌照区域图像处理单元360的构造示例。牌照区域图像处理单元360设置有亮度信号转换单元362、边缘增强单元363和二维降噪单元364。

　　亮度信号转换单元362将与牌照区域对应的图像信号中的IR信号转换成亮度信号(Y信号)。如下面的方程式所表示地进行该转换。

　　Y＝IR

　　其中，Y和IR分别表示Y信号和IR信号。以此方式，亮度信号转换单元362将牌照区域的IR信号转换成Y信号。因为没有使用色度信号，所以经过牌照区域图像处理后的牌照区域图像是单色度图像。

　　边缘增强单元363对牌照区域的Y信号进行边缘增强处理。与此同时，本图中的Y_edge信号表示经过边缘增强处理的Y信号。边缘增强处理是用来增强图像边缘部的处理。公知的方法可以用于边缘增强处理。例如，可以使用这样的方法来增强边缘部：从图像中检测边缘部，并且提高被检测出的边缘部的亮度。

　　二维降噪单元364对Y_edge信号进行二维降噪处理。与此同时，本图中的Y_nr2信号表示经过二维降噪处理的Y信号。这里，降噪处理是用来去除叠加噪声的处理。此外，二维降噪处理是用来通过使属于同一帧的图像信号的高频成分衰减从而去除噪声的处理。

　　[二维降噪处理]

　　图6图示了本发明的第一实施例中的二维降噪处理。在该图中，将使用ε(epsilon)滤波器的情况图示为二维降噪处理。在本图的a中，图示了二维降噪处理的框图。与此同时，将Y信号输入到输入信号线303。当输入信号被允许通过高通滤波器304和ε滤波器306时，高频成分从输入信号中被分离。与此同时，ε滤波器306是去除输入信号中的超出预定电平的信号的滤波器。接着，减法器308从输入信号中减去分离出的高频成分。使用本措施，去除了噪声。

　　在本图的b中，图示了上述的状态。与此同时，信号线305和307分别是与高通滤波器304的输出以及ε滤波器306的输出连接的信号线。此外，输出信号线309是与二维降噪单元364的输出连接的信号线。在与后述的三维降噪处理相比的具有较低去噪能力的二维降噪处理中，图像边缘部的模糊相对少，且本处理可以防止可见性劣化。与此同时，在本发明的第一实施例中，也可以使用除此以外的其它二维降噪处理，例如，通过双边滤波器进行处理和通过光滑化进行处理。

　　尽管牌照区域图像是单色度图像，但是也可以通过边缘增强处理和二维降噪处理使其成为具有提高的可见性的图像。

　　[车体区域图像处理单元]

　　图7图示了本发明的第一实施例中的车体区域图像处理单元370的构造示例。车体区域图像处理单元370设置有亮度/色度信号转换单元372、二维降噪单元374和三维降噪单元375。

　　亮度/色度信号转换单元372将与车体区域对应的图像信号中的R、G和B信号转换成亮度信号(Y信号)和色度信号(Cb信号和Cr信号)。与此同时，Cb信号是基于B信号与Y信号之差的信号，且Cr信号是基于R信号与Y信号之差的信号。可以如下面的方程式所表示地进行转换。

　　Y＝0.2990×R+0.5870×G+0.1140×B

　　Cb＝-0.1690×R-0.3316×G+0.5000×B

　　Cr＝0.5000×R-0.4186×G-0.0813×B

　　二维降噪单元374进行上述的二维降噪处理。二维降噪单元374对亮度/色度信号转换单元372输出的Y、Cb和Cr信号进行二维降噪处理。与此同时，本图中的Y_nr2、Cb_nr2和Cr_nr2信号分别表示经过二维降噪处理的Y、Cb和Cr信号。

　　三维降噪单元375进行三维降噪处理。三维降噪单元375对二维降噪单元374输出的Y_nr2、Cb_nr2和Cr_nr2信号进行三维降噪处理。三维降噪处理是用来通过使用属于多个连续帧的图像信号来去除噪声的处理。与此同时，本图中的Y_nr3、Cb_nr3和Cr_nr3信号分别表示经过三维降噪处理的Y、Cb和Cr信号。

　　[三维降噪处理]

　　图8图示了本发明的第一实施例中的三维降噪处理。本图中的图像701至703是与车体区域对应的图像。如本图所示，通过加法器378将与K个连续帧的车体区域对应的图像的图像信号相加。其后，通过除法器379使相加得到的图像信号除以作为被相加的图像信号的数量的K，且产生输出图像704。使用本措施，可以对随机产生的噪声成分进行平均以进行降噪。三维降噪处理具有随着将被相加的图像信号的数量K越大而去噪效果越强的特性，故本处理可以具有比二维降噪处理更好的去噪能力。另一方面，随着将被相加的图像信号的数量K越大，图像被均衡化且图像质量劣化成为了问题；例如，图像变得模糊。然而，对于车体区域，允许图像质量有一定劣化，只要颜色可以再现即可，故这不是问题。

　　在对运动图像进行三维降噪处理的情况下也一样，图像质量同样劣化。因此，可以通过补偿车体的运动且进行上述的加法来防止图像质量的劣化。对于运动补偿，可以使用公知的方法，例如MPEG中使用的运动补偿方法。

　　可以通过二维降噪处理和三维降噪处理使车体区域图像成为具有提高的颜色再现性的图像。

　　[合成处理]

　　图9图示了本发明的第一实施例中的合成处理。该图图示了图像处理装置300的各单元中的图像信号的状态以及合成单元390进行的合成处理。将形成含有车辆的图像705的图像信号输入到运动图像检测单元320，并且输出与运动图像706对应的图像信号。该图像信号经过车体区域检测单元350和车体区域图像处理单元370处理，从而成为与图像707相对应的图像信号，在图像707中车体的颜色再现性得到提高。与此并行地，与运动图像706对应的图像信号经过牌照区域检测单元340和牌照区域图像处理单元360处理，从而成为与图像708相对应的图像信号，在图像708中牌照的可见性得到提高。

　　两个图像信号被合成单元390合成以被输出。与此同时，图像709是合成的图像。例如，可以以下面的方式进行由合成单元390进行的合成。将输入图像705作为背景图像且将车体区域图像707和牌照区域图像708叠加在背景图像上，从而合成图像709。使用本措施，将针对车体区域提高了颜色再现性的图像和针对牌照区域提高了可见性的图像显示为同一图像。与此同时，在牌照区域检测单元340没有检测出牌照区域的情况下，合成单元390仅将车体区域图像707叠加在背景图像上以进行合成。

　　[图像的显示]

　　图10图示了本发明的第一实施例中的图像显示示例。在本图的a中，图示了包括图像显示区域711和图像信息显示区域712的图像显示示例。图像显示区域711是这样的区域：显示由合成单元390输出的图像信号形成的图像，并且显示包括经过车体区域图像处理单元370处理的图像715和经过牌照区域图像处理单元360处理的图像716的图像。图像信息显示区域712是这样的区域：显示诸如日期等信息。在本图的b中，图示了还通过将牌照显示区域713添加到本图的a中的显示而获得的显示示例。通过放大图像716而获得的图像714显示在牌照显示区域713上。因此，在本图的b的显示中，容易地读取牌照的字符串。

　　[图像处理过程]

　　图11图示了本发明的第一实施例中的图像处理过程的示例。当接收图像传感器200输入的一个帧的图像信号时，图像处理装置300开始本处理。首先，运动图像检测单元320从输入图像信号中检测运动图像区域(步骤S901)。此时，在没有检测出运动图像区域的情况下(步骤S902：否)，图像处理装置300转到步骤S906中的处理，并且将输入图像信号输出到图像信号输出单元400(步骤S906)。

　　另一方面，在检测出运动图像区域的情况下(步骤S902：是)，车体区域检测单元350检测车体区域(步骤S903)。此时，在没有检测出车体区域的情况下(步骤S904：否)，图像处理装置300转到步骤S906中的处理，并且将输入图像信号输出到图像信号输出单元400(步骤S906)。

　　另一方面，在检测出车体区域的情况下(步骤S904：是)，牌照区域检测单元340检测牌照区域(步骤S905)。接着，图像处理装置300进行车体/牌照区域处理(步骤S910)，并且转到步骤S906中的处理。在步骤S906中，图像处理装置300将步骤S910中获得的图像输出到图像信号输出单元400(步骤S906)。其后，图像处理装置300结束图像处理。

　　[车体/牌照区域处理]

　　图12图示了本发明的第一实施例中的车体/牌照区域处理过程的示例。本图中的处理是与图11所示的步骤S910对应的处理。首先，车体区域图像处理单元370进行车体区域图像处理(步骤S920)。接着，牌照区域图像处理单元360进行牌照区域图像处理(步骤S930)。接着，合成单元390将经过车体区域图像处理和牌照区域图像处理的图像进行合成(步骤S913)。此时，在牌照区域检测单元340没有检测出牌照区域的情况下，合成单元390通过使用经过车体区域图像处理的图像来进行合成。其后，图像处理装置300结束车体/牌照区域处理。

　　[车体区域图像处理]

　　图13图示了本发明的第一实施例中的车体区域图像处理过程的示例。本图中的处理是与图12所示的步骤S920对应的处理。首先，车体区域图像处理单元370将R、G和B信号转换成亮度信号和色度信号(步骤S923)。接着，车体区域图像处理单元370进行二维降噪处理(步骤S925)。接着，车体区域图像处理单元370进行三维降噪处理(步骤S926)，并且结束车体区域图像处理。

　　[牌照区域图像处理]

　　图14图示了本发明的第一实施例中的牌照区域图像处理过程的示例。本图中的处理是与图12所示的步骤S930对应的处理。首先，牌照区域图像处理单元360将IR信号转换成亮度信号(步骤S932)。接着，牌照区域图像处理单元360进行边缘增强处理(步骤S934)。接着，牌照区域图像处理单元360进行二维降噪处理(步骤S935)，并且结束牌照区域图像处理。

　　以此方式，根据本发明的第一实施例，可以提高牌照的可见性和车体的颜色再现性，使得可以容易地指定被监视的车辆。此外，通过使用与可见光和红外光两者对应的图像传感器200且单独处理可见光信号和红外光信号，可以形成具有单个图像传感器的成像装置10。使用本措施，可以简化成像装置10的构造。

　　[变型例]

　　在上述的实施例中，牌照区域检测单元340从经过去马赛克单元330处理的图像信号中检测牌照区域。另一方面，也可以从与车体区域检测单元350检测出的车体区域对应的图像信号中检测牌照区域。这是因为牌照区域被包括在车体区域中。使用本措施，能够限制待被牌照区域检测单元340处理的图像的区域，且可以缩短处理时间。

　　<2.第二实施例>

　　在上述的实施例中，通过使用IR信号来处理牌照区域图像。另一方面，在本发明的第二实施例中，当IR信号饱和时，通过使用可见光信号(R、G和B信号)来处理牌照区域图像。

　　[图像处理装置的构造]

　　图15图示了本发明的第二实施例中的图像处理装置300的构造示例。本图中的图像处理装置300与图3所示的图像处理装置300的不同之处在于：本装置还设置有饱和检测单元380。

　　此外，在本发明的第二实施例中，需要使用包括有与红色光、绿色光、蓝色光和红外光对应的像素的图像传感器作为图像传感器200。此外，需要的是，与红色光、绿色光或蓝色光对应的像素设置有去除红外光的滤色器。即，需要使用图2所示的图像传感器中的具有图2的a至c所示的阵列的图像传感器。此外，需要使用这样的图像传感器：分配有R+IR、G+IR和B+IR的各像素被构造用来分别检测红色光、绿色光和蓝色光且不检测红外光成分。这是因为图2所示的图像传感器的R+IR像素、G+IR像素和B+IR像素也具有对于红外光成分的敏感度，使得当过多的红外光进入时，从包括有IR像素的所有像素输出的图像信号饱和。

　　本发明的第二实施例中的图像传感器200输出的图像信号包括R信号、G信号、B信号和IR信号，使得去马赛克单元330可以省略上述的红外成分去除处理。除此以外，成像装置10和图像处理装置300的构造类似于本发明的第一实施例所述的成像装置10和图像处理装置300的构造，因而能够省略其说明。

　　饱和检测单元380检测IR信号是否饱和。因为图像传感器控制单元310以上述的方式控制曝光，所以IR信号通常不饱和。然而，当在红外光发射单元500发射红外光的同时进行拍摄时，如果作为被摄体的车辆与成像装置10之间的距离短，那么IR信号暂时饱和。在这种情况下，也可以通过图像传感器控制单元310进行的曝光控制来获得IR信号不饱和状态下的图像信号。然而，在车辆高速靠近的情况下，图像传感器控制单元310的曝光控制无法跟随这种情况，且只能获得IR信号饱和状态下的图像信号。在这种情况下，饱和检测单元380检测出IR信号饱和。

　　本发明的第二实施例中的牌照区域图像处理单元360根据饱和检测单元380的检测结果来进行牌照区域图像处理。

　　[牌照区域图像处理单元的构造]

　　图16图示了本发明的第二实施例中的牌照区域图像处理单元360的构造示例。牌照区域图像处理单元360与图5所示的牌照区域图像处理单元360的不同之处在于：设置有亮度信号转换单元366来代替亮度信号转换单元362。

　　亮度信号转换单元366将R信号、G信号、B信号和IR信号转换成Y信号。此时，根据饱和检测单元380的检测结果进行不同的转换。可以如下地进行转换。

　　(a)当饱和检测单元380检测出IR信号饱和时

　　如下面的使用R信号、G信号和B信号的方程式所表示地进行转换。

　　Y＝0.2990×R+0.5870×G+0.1140×B

　　(b)当饱和检测单元380没有检测出IR信号饱和时

　　如下面的使用IR信号的方程式所表示地进行转换。

　　Y＝IR

　　以此方式，当IR信号饱和时，与图5所示的亮度信号转换单元362不同的亮度信号转换单元366将R信号、G信号和B信号转换成Y信号。因此，能够在IR信号饱和的情况下防止牌照区域的显示的光晕。使用本措施，能够提高牌照的可见性。

　　[牌照区域图像处理]

　　图17图示了本发明的第二实施例中的牌照区域图像处理过程的示例。本图中的处理是与图12所示的牌照区域图像处理对应的处理。与此同时，除此以外，图像处理过程类似于本发明的第一实施例中所述的过程，因而能够省略其说明。

　　首先，牌照区域图像处理单元360判断IR信号是否饱和(步骤S951)。具体地，该单元判断饱和检测单元380是否检测出IR信号饱和。在IR信号不饱和的情况下(步骤S951：否)，牌照区域图像处理单元360将IR信号转换成亮度信号(步骤S952)，并且转到步骤S954中的处理。另一方面，在IR信号饱和的情况下(步骤S951：是)，牌照区域图像处理单元360将R信号、G信号和B信号转换成亮度信号(步骤S953)，并且转到步骤S954中的处理。在步骤S954中，牌照区域图像处理单元360进行边缘增强处理(步骤S954)。接着，牌照区域图像处理单元360进行二维降噪处理(步骤S955)，并且结束牌照区域图像处理。

　　以此方式，根据本发明的第二实施例，可以在IR信号饱和的情况下防止牌照的可见性的劣化。

　　[变型例]

　　在上述的第二实施例中，在IR信号饱和的情况下，不控制红外光发射单元500的红外光发射。另一方面，也可以是，当图像处理装置300的饱和检测单元380检测出IR信号饱和时，控制单元600控制红外光发射单元500减小红外光发射量。使用本措施，可以获得适当的红外光发射量，且能够防止牌照的可见性的劣化。

　　<3.第三实施例>

　　在上述的实施例中，将牌照区域图像叠加在车体区域图像上以进行合成。另一方面，在本发明的第三实施例中，省略了牌照区域图像在车体区域图像上的叠加。

　　[合成处理]

　　图18图示了本发明的第三实施例中的合成处理。为了比较，在本图的a中，图示了本发明的第一实施例中的合成处理。在本图的a中，合成单元390将牌照区域图像708叠加在车体区域图像707上以显示在图像显示区域711上。因此，牌照区域的单色度图像被重写在图像707的牌照部上，且不可能指定牌照的颜色。

　　在本图的b中，图示了本发明的第三实施例中的合成处理，其中，省略了牌照区域图像在车体区域图像707上的叠加。因此，车体区域图像707的牌照区域的颜色再现性与在其它车体区域中一样地被提高，且能够指定牌照的颜色。与此同时，牌照区域图像708显示在牌照显示区域713上。

　　以此方式，根据本发明的第三实施例，可以指定车体的颜色以及牌照的颜色。

　　<4.第四实施例>

　　在上述的实施例中，使用不包括有与白色光对应的像素的图像传感器200。另一方面，在本发明的第四实施例中，使用包括有与白色光对应的像素的图像传感器200。

　　[成像装置和图像处理装置的构造]

　　本发明的第四实施例中的成像装置10使用具有图2的d所示的像素布置的图像传感器作为图像传感器200。此外，本发明的第四实施例中的图像处理装置300的运动图像检测单元320和去马赛克单元330需要对包括有W+IR信号的图像信号进行处理。除此以外，成像装置10的构造类似于本发明的第一实施例中所述的成像装置10的构造，使得能够省略其说明。

　　[去马赛克处理]

　　图19和图20图示了本发明的第四实施例中的去马赛克处理。图19图示了图像传感器200的像素布置，且假设了这样的情况：G+IR信号以外的信号被插补在布置于中心的像素203中。在图20的a中，图示了将R+IR信号插值的情况的示例。以此方式，使像素203周围的R+IR像素的信号的平均值成为像素203中的R+IR信号。通过R+IR信号的加权平均来计算该平均。预定的权重乘以各R+IR信号。像素越接近像素203，权重越大。即，在图20的a中，与布置在相对远位置处的像素205的权重相比，为与像素203相邻的像素204设定更大的权重。

　　使用标注“_L”表示经过以此方式插值的图像信号。即，经过R+IR信号、G+IR信号、B+IR信号、W+IR信号和IR信号的插值而得到的信号分别是R+IR_L信号、G+IR_L信号、B+IR_L信号、W+IR_L信号和IR_L信号。得到的信号是相对宽范围的图像信号的平均值，因而它们是失去了高频成分的图像信号。因此，当通过使用这样的信号进行处理时，与车体区域对应的图像信号形成具有模糊轮廓的图像。

　　在图20的b中，图示了用来产生含有许多对于W+IR信号的高频成分的信号的插值。布置有多于其它像素的W+IR像素，使得可以使用与图4所示的插值方法类似的方法。即，可以使与像素203相邻的W+IR像素的信号的平均值成为像素203中的W+IR信号。将经过以此方式插值得到的W+IR信号称为W+IR_H。所述信号是相邻像素的图像信号的平均值，因而这是含有许多高频成分的图像信号。W+IR信号包括从可见光到红外光这样宽范围内的波长的信号，且可以如后所述地通过使用该信号针对去马赛克处理后的其它信号恢复高频成分。

　　接着，从R+IR_L信号、G+IR_L信号和B+IR_L信号中去除IR信号成分。与本发明的第一实施例中所述的方法一样，这可以通过从R+IR_L信号、G+IR_L信号和B+IR_L中减去IR_L信号来进行。将通过去除IR信号成分而获得的图像信号称为R_L信号、G_L信号和B_L信号。

　　接着，恢复R_L信号、G_L信号和B_L信号的高频成分。这可以如下面的方程式所表示地进行。

　　R＝R_L+W+IR_H×R_L/W+IR_L

　　G＝G_L+W+IR_H×G_L/W+IR_L

　　B＝B_L+W+IR_H×B_L/W+IR_L

　　其中，W+IR_H和W+IR_L分别表示W+IR_H信号和W+IR_L信号。此外，R_L、G_L和B_L分别表示R_L信号、G_L信号和B_L信号。通过本措施，能够获得高频成分得到恢复的R信号、G信号和B信号。因为通过上述信号来处理与车体区域对应的图像信号，所以能够获得模糊度得到改善且可见性得以提高的车体区域图像信号。

　　以此方式，根据本发明的第四实施例，可以在使用包括有与白色光对应的图像信号的图像传感器200的情况下提高车体区域的可见性以及颜色再现性。

　　<5.变型例>

　　在上述的实施例中，使用单个图像传感器200。也可以使用两个图像传感器，它们是与可见光对应的图像传感器和与红外光对应的图像传感器。这是因为可以通过控制与可见光对应的图像传感器以及与红外光对应的图像传感器各者的曝光来获得最佳曝光条件。与此同时，在本发明的实施例的变型例中，需要通过棱镜、半反射镜等将成像装置10的入射光引导到两个图像传感器。

　　也可以设置两个图像传感器以及图15所示的饱和检测单元380。在IR信号饱和的情况下，可以通过可见光信号来提高牌照区域的可见性。与此同时，也可以通过将红外截止滤波器安装在与可见光对应的图像传感器上来去除红外光的影响。

　　如上所述，根据本发明的实施例，可以通过提高牌照的可见性和车体的颜色再现性来读取牌照和获得车体的颜色。使用本措施，可以容易地指定被监视的车辆。

　　与此同时，上述的实施例说明了实施本发明的示例，且本实施例中的内容与权利要求中指定本发明的内容之间存在对应关系。同样，权利要求中指定本发明的内容与本发明的实施例中具有相同名称的内容之间存在对应关系。然而，本发明不限于实施例，且可以在不偏离本发明的实质的情况下使用实施例的各种变型例来实施。

　　上述的实施例中所述的过程可以被认为是具有一系列过程的方法，且可以被认为是使计算机执行这一系列过程的程序或是存储这一程序的记录介质。例如，CD(CompactDisc：紧凑盘)、MD(MiniDisc：迷你盘)、DVD(Digital Versatile Disc：数字通用盘)、存储卡、蓝光盘(Blu-ray(注册商标)Disc)等可以用作记录介质。

　　与此同时，本说明书中所述的效果仅是说明性的且不是限制性的；也可以存在其他效果。

　　与此同时，本发明也可以具有下面的构造。

　　(1)一种图像处理装置，其包括：

　　车体区域检测单元，所述车体区域检测单元从图像信号中检测车辆的车体区域；

　　牌照区域检测单元，所述牌照区域检测单元从所述图像信号中检测所述车辆的牌照区域；

　　车体区域图像处理单元，所述车体区域图像处理单元进行与检测出的所述车体区域对应的所述图像信号的处理；

　　牌照区域图像处理单元，所述牌照区域图像处理单元对与检测出的所述牌照区域对应的所述图像信号进行处理，该处理不同于与所述车体区域对应的所述图像信号的处理；和

　　合成单元，所述合成单元将经过处理的与所述车体区域对应的图像信号和经过处理的与所述牌照区域对应的图像信号进行合成。

　　(2)根据(1)所述的图像处理装置，其中，所述牌照区域图像处理单元进行用来将与所述牌照区域对应的图像信号转换成与所述牌照区域对应的亮度信号的亮度信号转换处理，以及用来在所述亮度信号中增强图像的边缘部的边缘增强处理。

　　(3)根据(1)所述的图像处理装置，其中，所述牌照区域图像处理单元进行用来将与所述牌照区域对应的图像信号转换成与所述牌照区域对应的亮度信号的亮度信号转换处理，以及用来通过使属于同一帧的所述亮度信号的高频成分衰减来去除所述亮度信号的噪声的二维降噪处理。

　　(4)根据(1)所述的图像处理装置，其中，所述车体区域图像处理单元进行用来将与所述车体区域对应的图像信号转换成与所述车体区域对应的亮度信号和色度信号的亮度/色度信号转换处理，以及用来通过使用属于多个连续帧的所述亮度信号和所述色度信号来去除所述亮度信号和所述色度信号的噪声的三维降噪处理。

　　(5)根据(1)至(4)中任一项所述的图像处理装置，其中，

　　所述图像信号包括与红色光、绿色光、蓝色光和红外光对应的图像信号，

　　所述车体区域图像处理单元进行在与所述车体区域对应的所述图像信号中包含的与红色光、绿色光和蓝色光对应的图像信号的处理，且

　　所述牌照区域图像处理单元进行在与所述牌照区域对应的所述图像信号中包含的与红外光对应的图像信号的处理。

　　(6)根据(5)所述的图像处理装置，其中，

　　所述图像信号还包括与白色光对应的图像信号，且

　　所述车体区域图像处理单元进行在与所述车体区域对应的所述图像信号中的与红色光、绿色光、蓝色光和白色光对应的图像信号的处理。

　　(7)根据(1)所述的图像处理装置，其中，

　　所述图像信号包括与红色光、绿色光、蓝色光和红外光对应的图像信号，

　　所述图像处理装置还包括饱和检测单元，所述饱和检测单元检测被包括在所述图像信号中的与红外光对应的图像信号是否饱和，且

　　在所述饱和检测单元检测出所述与红外光对应的图像信号不饱和的情况下，所述牌照区域图像处理单元进行在与所述牌照区域对应的所述图像信号中包含的与红外光对应的图像信号的处理，并且在所述饱和检测单元检测出所述与红外光对应的图像信号饱和的情况下，所述牌照区域图像处理单元进行在与所述牌照区域对应的所述图像信号中包含的与红色光、绿色光和蓝色光对应的图像信号的处理。

　　(8)一种成像装置，其包括：

　　图像传感器，所述图像传感器产生图像信号；

　　车体区域检测单元，所述车体区域检测单元从所述图像信号中检测车辆的车体区域；

　　牌照区域检测单元，所述牌照区域检测单元从所述图像信号中检测所述车辆的牌照区域；

　　车体区域图像处理单元，所述车体区域图像处理单元进行与检测出的所述车体区域对应的图像信号的处理；

　　合成单元，所述合成单元将经过处理的与所述车体区域对应的所述图像信号和经过处理的与所述牌照区域对应的所述图像信号进行合成。

　　(9)一种图像处理方法，其包括：

　　车体区域检测步骤，用来从图像信号中检测车辆的车体区域；

　　牌照区域检测步骤，用来从所述图像信号中检测所述车辆的牌照区域；

　　车体区域图像处理步骤，用来进行与检测出的所述车体区域对应的所述图像信号的处理；

　　牌照区域图像处理步骤，用来对与检测出的所述牌照区域对应的所述图像信号进行处理，所述处理不同于与所述车体区域对应的图像信号的处理；和

　　合成步骤，用来将经过处理的与所述车体区域对应的所述图像信号和经过处理的与所述牌照区域对应的所述图像信号进行合成。