发送装置、接收装置以及通信系统
技术领域
本公开涉及发送装置、接收装置以及通信系统。
背景技术
近年来，使用传输大量大容量数据的应用的机会越来越多。这通常导致对发送系统施加重负载，并且在最坏的情况下，发送系统可能会中断，从而导致数据发送失败。
现有技术文献
专利文献
专利文献1：JP 2016-201756 A
专利文献2：JP 2013-164834 A
专利文献3：JP 2012-209831 A
专利文献4：JP 2014-39219 A
发明内容
技术问题
由于背景中的上述情况，因此需要引入一种能够减轻发送系统负担的技术，例如，通过仅发送从捕获图像切出的部分区域的数据来代替发送作为整体的捕获图像数据。注意，例如，在专利文献1至4中公开了用于从捕获的图像切出部分区域的技术。
鉴于这些，本公开提出了一种能够以更优选的方式在针对图像设置的区域中发送数据的技术。
问题的解决方案
根据本公开，提供了一种发送装置，包括：图像处理单元，控制以发送包括关于从图像检测到的区域的区域信息的第一分组，并且针对在图像中检测出该区域的每行控制以发送第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中与所述行相对应的部分区域的区域数据，其中，所述报头包括：所述有效载荷中包含的数据的标识信息；所述报头中包含的信息的纠错码；和扩展区域，设置为介于所述标识信息和所述纠错码之间，并且在所述扩展区域的至少一部分中设置有指示所述区域数据是否包含在与所述报头对应的有效载荷中的信息。
此外，根据本公开，提供了一种接收装置，该接收装置包括：图像处理单元，基于包括关于所述区域的区域信息的第一分组的接收结果和针对在所述图像中的检测出至少所述区域的每行的第二分组的接收结果，恢复与所述区域相对应的部分图像，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中的与所述行相对应的部分区域的区域数据，其中，所述报头包括：所述有效载荷中包括的数据的标识信息；所述报头中包含的信息的纠错码；和扩展区域，设置为介于所述标识信息和所述纠错码之间，并且在所述扩展区域的至少一部分中设置有指示所述区域数据是否包含在与所述报头对应的有效载荷中的信息。
根据本公开，提供了一种通信系统，包括：发送装置，包括第一图像处理单元，第一图像处理单元控制以发送包括关于从图像检测到的区域的区域信息的第一分组，并且针对在所述图像中检测出至少所述区域的每行控制以发送第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中与所述行相对应的部分区域的区域数据；和接收装置，包括第二图像处理单元，该第二图像处理单元基于所述第一分组的接收结果和针对在图像中检测到至少所述区域的每行的第二分组的接收结果，恢复所述区域对应的部分图像，其中，所述报头包括：所述有效载荷中包含的数据的标识信息；所述报头中包含的信息的纠错码；和扩展区域，设置为介于所述标识信息和所述纠错码之间，并且在所述扩展区域的至少一部分中设置有指示所述区域数据是否包含在与所述报头对应的有效载荷中的信息。
此外，根据本公开，提供了一种发送装置，其包括：图像处理单元，控制以发送包括关于从图像检测到的区域的区域信息的第一分组，并且在所述图像中检测出至少所述区域的针对每行控制以发送第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中与所述行相对应的部分区域的区域数据，其中，在所述第二分组的接收侧，基于包括在与所述有效载荷相对应的报头中的信息和所述区域信息中的至少一项，识别所述第二分组的有效载荷是否包括所述区域数据。
此外，根据本公开，提供了一种接收装置，其包括：图像处理单元，基于包括关于所述区域的区域信息的第一分组的接收结果和针对在所述图像中检测出至少所述区域的每行的第二分组的接收结果，恢复与所述区域相对应的部分图像，其中在所述图像中至少检测到所述区域，所述第二分组包括：包含有关所述行的信息的报头；以及有效载荷，包括关于所述区域中与所述行相对应的部分区域的区域数据，其中，所述图像处理单元基于包括在与所述有效载荷相对应的报头中的信息和所述区域信息中的至少一项，识别所述第二分组的有效载荷是否包括所述区域数据。
此外，根据本公开，提供了一种通信系统，其包括：发送装置，包括第一图像处理单元，第一图像处理单元控制以发送包括关于从图像检测到的区域的区域信息的第一分组，并且针对在所述图像中检测出至少所述区域的每行控制以发送第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中与所述行相对应的部分区域的区域数据；以及接收装置，包括第二图像处理单元，该第二图像处理单元基于所述第一分组的接收结果和针对在所述图像中检测出至少所述区域的每行的第二分组的接收结果，恢复所述区域对应的部分图像，其中，第二图像处理单元基于包括在与所述有效载荷相对应的报头中的信息和区域信息中的至少一项，识别所述第二分组的有效载荷是否包括所述区域数据。
发明的有益效果
如上所述，根据本公开，提供了一种能够以更优选的方式发送针对图像设置的区域中的数据的技术。
注意，上述效果不必受到限制，并且与上述效果一起或代替上述效果，可展现本说明书中描述的任何效果或可从本说明书中理解的其他效果。
附图说明
图1是示出根据本公开的实施方式的通信系统的系统配置的实例的图。
图2是示出根据实施方式的在通信系统中用于发送图像数据的分组的结构的实例的图。
图3是示出设置在分组的报头中的扩展区域的图。
图4是示出设置在分组的报头中的扩展区域的图。
图5是示出通过第一发送方法发送的数据的格式的图。
图6是示出在第一发送方法中包括在嵌入数据中的信息的实例的图。
图7是示出第一发送方法中的分组报头的配置的实例的图。
图8是示出为图像设置的区域的实例的图。
图9是示出通过第一发送方法发送的数据的实例的图。
图10是示出为图像设置的区域的另一实例的图。
图11是示出通过第一发送方法发送的数据的另一实例的图。
图12是示出在应用第一发送方法的情况下图像传感器的功能配置的实例的框图。
图13是示出在应用第一发送方法的情况下处理器的功能配置的实例的框图。
图14是示出通过第二发送方法发送的数据的格式的图。
图15是示出第二发送方法中的嵌入数据中包括的信息的实例的图。
图16是示出第二发送方法中的分组报头的配置的实例的图。
图17是示出通过第二发送方法发送的数据的实例的图。
图18是示出通过第二发送方法发送的数据的另一实例的图。
图19是示出在应用第二发送方法的情况下图像传感器的功能配置的实例的框图。
图20是示出在应用第二发送方法的情况下处理器的功能配置的实例的框图。
图21是示出通过第三发送方法发送的数据的格式的图。
图22是示出在第三发送方法中包括在嵌入数据中的信息的实例的图。
图23是示出第三发送方法中的分组报头的配置的实例的图。
图24是示出通过第三发送方法发送的数据的实例的图。
图25是示出通过第三发送方法发送的数据的另一实例的图。
图26是示出在应用第三发送方法的情况下图像传感器的功能配置的实例的框图。
图27是示出在应用第三发送方法的情况下处理器的功能配置的实例的框图。
图28是示出通过第四发送方法发送的数据的格式的图。
图29是示出在第四发送方法中包括在嵌入数据中的信息的实例的图。
图30是示出第四发送方法中的分组报头的配置的实例的图。
图31是示出指示区域类型的信息的实例的图。
图32是示出为图像设置的区域的实例的图。
图33是示出通过第四发送方法发送的数据的实例的图。
图34是示出为图像设置的区域的另一实例的图。
图35是示出通过第四发送方法发送的数据的另一实例的图。
图36是示出在应用第四发送方法的情况下图像传感器的功能配置的实例的框图。
图37是示出在应用第四发送方法的情况下处理器的功能配置的实例的框图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，具有基本上相同的功能配置的组件将由相同的附图标记表示，并且将省略其冗余描述。
注意，将按以下顺序提供描述。
1.系统配置
2.分组结构
3.技术特点
3.1.第一发送方法
3.2.第二发送方法
3.3.第三发送方法
3.4.第四发送方法
3.5.补充
4.结论
<<1.系统配置>>
首先，将描述根据本公开的实施方式的通信系统的系统配置实例。
例如，图1是示出根据本公开的实施方式的通信系统的系统配置的实例的图。
通信系统1000例如包括图像传感器100、处理器200、存储器800和显示装置900。
图像传感器100具有成像功能和发送功能，并且发送指示通过成像生成的图像的数据。处理器200接收从图像传感器100发送的数据并处理接收到的数据。即，在通信系统1000中，图像传感器100用作发送装置，并且处理器200用作接收装置。
注意，尽管尽管图1示出了具有一个图像传感器100的通信系统1000，但是根据本实施方式的通信系统中包括的图像传感器100的数量不限于图1所示的实例。例如，根据本实施方式的通信系统可包括两个或更多个图像传感器100。
注意，尽管图尽管图1示出了具有一个处理器200的通信系统1000，但是根据本实施方式的通信系统中包括的处理器200的数量不限于图1所示的实例。例如，根据本实施方式的通信系统可包括两个或更多个处理器200。
在具有多个图像传感器100和处理器200的通信系统中，图像传感器100和处理器200可一对一对应，或者一个处理器200可与多个图像传感器100对应。此外，在包括多个图像传感器100和多个处理器200的系统中，多个处理器200可对应于一个图像传感器100。
在包括多个图像传感器100和多个处理器200的通信系统中，类似于图1所示的通信系统1000，在图像传感器100和处理器200之间执行通信。
图像传感器100和处理器200通过数据总线B1电连接。数据总线B1是连接图像传感器100和处理器200的信号传输路径。例如，表示从图像传感器100发送的图像的数据(以下有时称为“图像数据”)从图像传感器100经由数据总线B1发送到处理器200。
例如，图像传感器100和处理器200可通过与数据总线B1不同的控制总线B2电连接。控制总线B2是连接图像传感器100和处理器200以传输其他信号的传输路径。例如，从处理器200输出的控制信息可经由控制总线B2从处理器200发送到图像传感器100。
控制信息可包括用于控制的信息和处理命令。用于控制的信息的实例包括用于控制图像传感器100的功能的信息，例如图像尺寸、帧速率以及从接收图像输出命令到图像输出的输出延迟量。此外，控制信息可包括指示图像传感器100的标识信息。标识信息的实例是能够指定图像传感器100的任何类型的信息，例如在图像传感器100中设置的ID。
注意，经由控制总线B2从处理器200发送到图像传感器100的信息不限于以上实例。例如，处理器200可经由控制总线B2发送指定图像的区域的区域指定信息。区域指定信息的实例是能够指定区域的任何格式的信息，例如指示该区域中包括的像素的位置的信息(例如，指示该区域中包括的像素的位置的坐标)。
尽管图1示出了通过控制总线B2电连接图像传感器100和处理器200的实例，但图像传感器100和处理器200不是必须通过控制总线B2连接。例如，图像传感器100和处理器200可通过使用任何发送方法的无线通信来发送和接收控制信息等。
在下文中，将描述构成图1所示的通信系统1000的每个装置。
(存储器800)
存储器800是通信系统1000中包括的记录介质。存储器800的实例包括诸如随机存取存储器(RAM)的易失性存储器和诸如闪存的非易失性存储器。存储器800以从内部电源(未示出)，诸如通信系统1000中包括的电池，提供的电力或从通信系统1000的外部电源提供的电力进行操作。
存储器800存储例如从图像传感器100输出的图像。图像到存储器800的记录例如由处理器200控制。
(显示装置900)
显示装置900是通信系统1000中包括的显示装置。显示装置900的实例包括液晶显示器和有机电致发光(EL)显示器(也称为有机发光二极管(OLED)显示器)。显示装置900利用从通信系统1000中包括的诸如电池之类的内部电源(未示出)供应的电力或从通信系统1000的外部电源供应的电力进行操作。
显示装置900的显示屏幕用于显示例如各种图像和屏幕，诸如从图像传感器100输出的图像，与在处理器200上执行的应用有关的屏幕，以及与用户界面(UI)相关的屏幕。例如，由处理器200控制在显示装置900的显示屏上的图像等的显示。
(处理器200(接收装置))
处理器200接收从图像传感器100发送的数据并处理接收到的数据。如上所述，处理器200在通信系统1000中用作接收装置。下面将描述与从图像传感器100发送的数据的处理有关的配置实例(用作接收装置的配置)。
处理器200包括一个或多个具有诸如微处理单元(MPU)的算术电路和各种处理电路的处理器。处理器200利用从诸如通信系统1000中包括的电池的内部电源(未示出)供应的电力或从通信系统1000的外部电源供应的电力进行操作。
处理器200执行各种处理，诸如与将图像数据记录到诸如存储器800的记录介质的记录控制有关的处理，与在显示装置900的显示屏上显示图像的显示控制有关的处理，以及执行任意应用软件的处理。与记录控制有关的处理的实例包括“将包括记录命令的控制数据和要记录到记录介质上的数据传输到诸如存储器800的记录介质的处理”。此外，与显示控制有关的处理的实例包括“将包括显示命令的控制数据和要在显示屏上显示的数据传输到诸如显示装置900的显示装置的处理”。
此外，例如，处理器200可通过将控制信息发送到图像传感器100来控制图像传感器100的功能。例如，处理器200还可通过将区域指定信息发送到图像传感器100来控制从图像传感器100发送的数据。
(图像传感器100(发送装置))
图像传感器100具有成像功能和发送功能，并且发送指示通过成像生成的图像的数据。如上所述，图像传感器100用作通信系统1000中的发送装置。
图像传感器100包括能够生成图像的任意类型的图像传感器装置，例如“诸如数字静态相机、数字摄像机或立体相机之类的成像装置”、“红外传感器”、或“距离图像传感器”。图像传感器100具有发送所生成的图像的功能。由图像传感器100生成的图像对应于表示由图像传感器100获得的感测结果的数据。下面将描述图像传感器100的配置的实例。
图像传感器100通过根据以下描述的每个实施方式的发送方法来发送与为图像设置的区域相对应的数据(以下，也称为“区域数据”)。关于区域数据的发送的控制由在图像传感器100中用作图像处理单元的组件(以下描述)执行。在某些情况下为图像设置的区域称为关注区域(ROI)。在下文中，为图像设置的区域被称为“区域”或“ROI”。即，除非另外说明，否则简单地描述为“区域”的术语表示在图像中设置的区域(ROI)。
关于图像的区域设置的处理的实例包括能够指定图像中的部分区域的任意处理(或者能够从图像中切出部分区域的任意处理)，例如“从图像中检测物体和设置包括检测到的物体的区域的处理”，以及“将通过操作指定的区域设置到任意操作装置上的处理”。
与图像的区域设置有关的处理可由图像传感器100或由诸如处理器200之类的外部装置执行。在图像传感器100进行与图像的区域设置有关的处理的情况下，图像传感器100根据与用于图像的区域的设置有关的处理的结果来指定区域。此外，例如，在外部装置执行关于图像的区域的设置的处理的情况下，图像传感器100基于从外部装置获取的区域指定信息来指定区域。
与发送整个图像的情况相比，图像传感器100发送区域数据，即部分图像的数据，使得能够减少与发送有关的数据量。因此，例如，通过图像传感器100发送区域数据带来由较小数据量实现的各种效果，诸如发送时间的减少，例如与通信系统1000中的发送有关的负载的减少。
注意，图像传感器100还可发送表示整个图像的数据。
在图像传感器100具有发送区域数据的功能以及发送代表整个图像的数据的功能的情况下，图像传感器100能够在区域数据的发送和代表整个图像的数据的发送之间选择性地切换。
图像传感器100例如根据所设置的操作模式来发送区域数据或代表整个图像的数据。例如，通过在任意操作装置上的操作来设置操作模式。
此外，图像传感器100可基于从外部装置获取的区域指定信息，在区域数据的发送和代表整个图像的数据的发送之间选择性地进行切换。例如，当从外部装置获取区域指定信息时，图像传感器100发送与区域指定信息相对应的区域的区域数据；或者当没有从外部装置获取区域指定信息时，发送代表整个图像的数据。
通信系统1000具有图1所示的配置。例如。注意，根据本实施方式的通信系统的配置不限于图1所示的实例。
例如，尽管图1示出图像传感器100作为用作发送装置的装置实例，但是用作发送装置的装置不限于图像传感器100。例如，在根据本实施方式的通信系统具有包括诸如成像装置的图像传感器装置和电连接到图像传感器装置的发送器的配置的情况下，该发送器可用作发送装置。
此外，尽管图1示出了处理器200作为用作接收装置的装置实例，但用作接收装置的装置不限于处理器200。例如，在根据本实施方式的通信系统中，具有接收数据的功能的装置可用作接收装置。
此外，在从图像传感器100发送的图像存储在通信系统外部的记录介质中的情况下，在从图像传感器100发送的图像存储在处理器200所包括的存储器中的情况下，或者在不记录从图像传感器100发送的图像的情况下，根据本实施方式的通信系统不需要包括存储器800。
此外，根据本实施方式的通信系统可具有不包括图1所示的显示装置900的配置。
此外，根据本实施方式的通信系统可具有根据应用了以下描述的根据本实施方式的通信系统的电子装置的功能任意配置。
(应用实例)
随后，将描述根据本实施方式的通信系统的应用实例。通信系统1000的实例包括诸如智能手机之类的通信装置、无人机(能够远程操作或自主操作的装置)以及诸如汽车之类的移动体。此外，通信系统1000的应用实例不限于以上实例。即，本实施方式适用于各种类型的电子装置，例如诸如智能手机的通信装置、无人机(能够远程操作或自主操作的装置)、诸如汽车的移动体、诸如个人计算机(PC)的计算机、平板电脑装置和游戏机。
<<2.分组结构>>
接下来，将描述在根据本实施方式的通信系统中用于从图像传感器100(发送装置)向处理器200(接收装置)发送图像的分组的结构的实例。在根据本实施方式的通信系统中，由图像传感器100捕获的图像被以行为单位划分为部分图像，并且使用一个或多个分组来发送每行的部分图像的数据。这类似地适用于关于为图像设置的区域的区域数据(即，设置了ROI的部分的图像数据)。
例如，图2是示出根据本实施方式的在通信系统中用于发送图像数据的分组的结构的实例的图。如图2所示，用于图像发送的分组(Packet)被定义为在数据流中以起始码(Start Code)开始并且以结束码(End Code)结束的一系列数据。此外，分组包括以以下顺序布置的报头(Header)和有效载荷数据(Payload Data)。可在有效载荷数据之后添加页脚(Footer)。有效载荷数据(以下，也简称为“有效载荷”)以行为单位包括部分图像的像素数据。报头包括关于与包括在有效载荷中的部分图像相对应的行的各种类型的信息。页脚包含其他(可选)信息。
在此，将描述报头中包括的信息。如图2所示，报头依次包括“帧开始”、“帧结束”、“行有效性”、“行号”、“EBD行”、“数据ID”、“保留”和“报头ECC”的项目。
“帧开始”是指示帧开始的1位信息。例如，将要发送的图像数据中用于发送第一行的像素数据的分组的报头的“帧开始”设置为值1，而将用于发送另一行像素数据的分组的报头的“帧开始”设置为值0。注意，“帧开始”对应于“表示帧开始的信息”的实例。
“帧结束”是指示帧结束的1位信息。例如，将要被发送的图像数据中的在有效像素区域的末端行处具有包含像素数据的有效载荷的分组的报头的“帧结束”设置为值1，而将用于发送像素数据的另一行的像素数据的分组的报头的“帧结束”设置为值0。“帧结束”对应于“指示帧结束的信息”的实例。
“帧开始”和“帧结束”对应于作为关于帧的信息的帧信息的实例。
“行有效性”是指示存储在有效载荷中的像素数据的行是否是有效像素的行的1位信息。用于发送有效像素区域内的一行的像素数据的分组的报头的“行有效性”设置为值1，而用于发送另一行像素数据的分组的报头的“行有效性”设置为值0。注意，“行有效性”对应于“指示相应行是否有效的信息”的实例。
“行号”是13位信息，指示包括存储在有效载荷中的像素数据在内的行的行号。
“EBD行”是指示该行是否包括嵌入数据的1位信息。即，“EBD行”对应于“指示该行是否包括嵌入数据的信息”的实例。
“数据ID”是4位信息，用于在多个流中传输数据时标识每个数据(即有效载荷中包含的数据)。“数据ID”对应于“有效载荷中包括的数据的标识信息”的实例。
“行有效性”、“行号”、“EBD行”和“数据ID”对应于作为关于行的信息的行信息。
“保留”是用于扩展的27位区域。在下文中，指示为“保留”的区域也将被称为“扩展区域”。另外，整个报头信息具有6字节的数据量。
如图2所示，被安排为跟随报头信息的“报头ECC”包括循环冗余校验(CRC)码，其是基于6字节报头信息计算出的2字节错误检测码。即，“报头ECC”对应于“报头中包括的信息的纠错码”的实例。另外，“报头ECC”包括CRC码，后跟两条信息，每个信息与作为一组报头信息和CRC码的8字节信息相同。
也就是说，一个分组的报头包括三组相同的报头信息和CRC码。整个报头的总数据量为24字节，这是通过将第一组报头信息和CRC码的8个字节、第二组报头信息和CRC码的8个字节以及第三组报头信息和CRC代码的8个字节相加而获得的。
这里，将参照图3和图4描述设置在分组的报头中的扩展区域(保留)。图3和图4是示出设置在分组的报头中的扩展区域的图。
如图3所示，在扩展区域中，将表示根据分组中发送的信息的类型的信息设置为前3位的报头信息类型(Header Info Type)。根据报头信息的类型，确定在扩展区域的除了用于指定报头信息的类型的3位之外的其余24位区域中设置的信息格式(即信息的类型和信息设置的位置)。这允许接收侧确认报头信息的类型，以识别在扩展区域中除了指定报头信息的类型的区域以外的区域中的哪个位置设置了什么类型的信息，并读出该信息。
例如，图4示出了设置报头信息的类型的实例以及在将分组的有效载荷长度(换言之，行长度)设置为变量的情况下的设置实例，作为根据设置如何使用扩展区域的实例。具体地，在有效载荷长度被设置为变量的情况下图4中示出的实例根据类型为报头信息的类型设置值。更具体地，图4中示出的实例为报头信息类型设置“001”，作为与图3所示的实例中报头信息类型设置的“000”不同的值。即，在这种情况下，报头信息的类型中与“001”相对应的类型是指与有效载荷长度是变量的情况相对应的类型。此外，在图4所示的实例中，扩展区域中的14位被分配给“行长度”。“行长度”是用于通知有效载荷长度的信息。该配置允许接收侧基于设置为报头信息的类型的值来识别有效载荷长度是变量，并且在扩展区域中读取设置为“行长度”的值，从而使得接收侧能够识别有效载荷长度。
上面已经参考图2到图4描述了用于在根据本实施方式的通信系统中从图像传感器100(发送装置)向处理器200(接收装置)发送图像的分组的结构的实例。
<<3.技术特征>>
接下来，作为根据本公开的通信系统的技术特征，将用于发送针对图像设置的区域(ROI)的区域数据的发送方法的实例作为第一发送方法至第四发送方法进行单独描述。
<3.1.第一发送方法>
首先，将描述第一发送方法。图像传感器100将图像中设置的区域的区域数据存储到分组的有效载荷中，并针对每行发送所存储的数据。因此，在下面的描述中，为了方便起见，与图像中设置的区域中的每行相对应的部分也被称为“部分区域”。
(数据格式)
首先，将描述通过第一发送方法发送的数据的格式。例如，图5是示出通过第一发送方法发送的数据的格式的图示。在图5中，由附图标记A1指示的一系列分组示意性地示出了用于发送与图像中设置的区域有关的区域数据的分组(换句话说，用于发送有效像素区域的数据的分组)。由附图标记A2和A3指示的一系列分组对应于与用于发送区域数据的分组不同的分组。在下面的描述中，当由附图标记A1、A2和A3指示的分组彼此区分时，为了方便起见，它们也被称为“分组A1”、“分组A2”和“分组A3”。即，在发送一帧的数据的期间内，在发送一系列的分组A1之前先发送一系列的分组A2。此外，可在发送一系列分组之后发送一系列分组A3。注意，分组A2和A3中的至少一个对应于“第一分组”的实例。分组A1对应于“第二分组”的实例。
在图5所示的实例中，一系列分组A2的至少一部分用于发送“嵌入数据”。例如，可以以存储在分组A2的有效载荷中的状态发送“嵌入数据”。此外，作为另一实例，嵌入数据可以以存储在分组A2的有效载荷以外的区域中的状态被发送。
“嵌入数据”对应于另外由图像传感器100发送的附加信息(换言之，由图像传感器100嵌入的信息)，并且这对应于关于图像拍摄条件的信息或关于哪个区域数据被发送的区域(ROI)的信息。
例如，图6是示出在第一发送方法中包括在“嵌入数据”中的信息的实例的图。如图6所示，“嵌入数据”例如包括诸如“ROI ID”、“左上坐标”、“高度”、“宽度”、“AD字长度(AD位)”、“曝光”、“增益”和“感测信息”之类的信息。图6中示出的实例还示出了上述每条信息的字节数的实例。
“ROI ID”、“左上坐标”、“高度”和“宽度”的信息对应于关于图像中设置的区域(ROI)的信息，该信息用于恢复接收侧的区域图像。具体地，“ROI ID”是用于标识每个区域的标识信息。“左上坐标”对应于作为在图像内为图像设置的区域的位置的索引的坐标，并且指示在设置该区域的矩形范围内的左上顶点坐标。“高度”和“宽度”表示设置了该区域的矩形区域的高度(垂直方向的长度)和宽度(水平方向的长度)。注意，在嵌入数据中，具体是关于区域(ROI)的信息，例如上述“ROI ID”、“左上坐标”、“高度”和“宽度”对应于“第一分组(例如，分组A2)中包括的“区域信息”。
“曝光”信息指示关于区域(ROI)成像的曝光时间。“增益”信息指示关于区域的成像的增益。AD字长(AD位)表示在该区域中通过AD转换获得的每个像素的数据的字长。“感测信息”的实例包括关于该区域中包括的物体(对象)的计算的细节或用于对该区域中的图像进行后续信号处理的补充信息。
在图5所示的实例中，分组A2的至少一部分用于发送“嵌入数据”。然而，代替分组A2，可使用分组A3的至少一部分来发送“嵌入数据”。此外，在下面的描述中，“嵌入数据”也被称为“EBD”。
在图5中，“SC”表示“起始码”，其是指示分组的开始的符号组。“起始码”添加在分组之前。“起始码”由例如K28.5、K27.7、K28.2和K27.7的四个符号表示，它们是三种类型的K字符的组合。
“EC”表示“结束码”，它是指示分组结束的符号组。“结束码”添加在分组之后。“结束码”由例如K28.5、K27.7、K30.7和K27.7的四个符号表示，它们是三种类型的K字符的组合。
“PH”表示“分组报头”，并且例如对应于参照图2描述的报头。“FS”代表帧开始(FS)分组。“FE”代表帧结束(FE)分组。
“DC”表示“抗偏斜码”，其是用于校正通道之间的数据偏斜的符号组，即，在接收侧上的各个通道中接收的数据的接收定时的偏差。“抗偏斜码”由例如K28.5和Any**的四个符号表示。
“IC”指示“空闲码”，它是在分组数据的发送时间以外的时间段内重复发送的符号组。空闲代码用D字符的D00.0(00000000)表示，例如是8B10B码。
“数据”指示存储在有效载荷中的区域数据(即，与设置在图像中的区域相对应的部分的像素数据)。
“XY”对应于指示与存储在有效载荷中的区域数据相对应的部分区域的左端的位置(图像中的位置)作为X坐标和Y坐标的信息。在下文中，由“XY”表示的指示部分区域的左端的位置的X坐标和Y坐标也将被简称为“部分区域的XY坐标”。
部分区域的XY坐标存储在分组A1的有效载荷的顶部。另外，在连续发送的分组A1之间的对应部分区域的X坐标没有变化并且Y坐标仅增加1的情况下，可在分组A1中省略部分区域的XY坐标以稍后发送。注意，下面将通过具体实例单独描述该控件。
此外，在第一发送方法中，在针对其中设置有在水平方向上彼此分离的多个区域的行发送与对应于多个区域中的每个区域的区域数据有关的区域数据的情况下，针对多个区域中的每个区域分别生成A1并发送。即，针对设置了在水平方向上彼此分离的两个区域的行，生成并发送两个分组A1。
接下来，参照图7，将特别关注扩展区域的配置来描述用于发送在图像中设置的区域(ROI)的区域数据的分组A1的分组报头的配置实例。图7是示出第一发送方法中的分组报头的配置的实例的图示。
如图7所示，在以第一发送方法发送在图像中设置的区域(ROI)的区域数据的情况下，指示将要发送区域信息的信息(即，与假定发送了区域信息的类型相对应的信息)设置为用于发送区域数据的分组A1的分组报头中的报头信息类型。此外，将指示要使用有效载荷来发送区域数据(即，与部分区域有关的区域数据)的信息设置为扩展区域的至少一部分。另外，在使用有效载荷来发送区域的坐标(即，部分区域的XY坐标)的情况下，至少为一部分扩展区域设置指示要发送区域的坐标的信息。在发送与图像中设置的区域(ROI)有关的区域数据的情况下，分组A1的有效载荷长度可根据该区域在水平方向上的宽度而改变。因此，类似于参考图4描述的实例，可在扩展区域的一部分中设置指示有效载荷长度的信息。
(数据实例)
接下来，参考图8至图11，将描述通过第一发送方法发送的数据的具体实例作为在应用第一发送方法的情况下的实例。
例如，图8是示出为图像设置的区域(ROI)的实例的图。在图8中，示出了区域1、区域2和区域3的三个区域作为为图像设置的区域的实例。此外，在图8中，由在垂直方向和水平方向上延伸的虚线划分的网格示意性地示出了形成图像的一条单位数据(例如，像素)。在图8所示的实例中，为了方便起见，将每个网格的左上顶点的坐标定义为网格的坐标。
此外，图9是示出通过第一发送方法发送的数据的实例的示图，其示出了在与图8所示的每个区域有关的区域数据通过第一发送方法来发送的情况下的一帧数据。注意，图9中的分组A2和A3的配置基本上类似于参考图5描述的实例，因此下面的描述将集中在分组A1的配置上。此外，图9中所示的“1”、“2”和“3”中的每一个对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据和区域3的数据。
例如，用于发送区域1的第一行中的部分区域的数据的分组A1的有效载荷在其顶部存储部分区域的左端坐标(x，y)＝(2,1)，并在其后续部分存储有关部分区域的区域数据。此外，在作为区域数据的后续发送目标的区域1的第二和第三行中的部分区域中，左端的X坐标与第一行的部分区域相似，Y坐标从前一行开始增加了1。因此，在用于在区域1的第二行和第三行上发送部分区域的数据的分组A1的有效载荷中，省略了部分区域的XY坐标。
同时，在与区域1的第三至第五行相对应的行中，区域1和区域2的部分区域被设置为在水平方向上分开。因此，在这些行的发送中，交替地发送具有与有效载荷中存储的区域1的部分区域有关的区域数据的分组A1和具有与有效载荷中存储的区域2的部分区域的区域数据的分组A1。即，在这些行中，对应的部分区域在连续发送的分组A1之间的左端具有互不相同的X坐标。因此，对于这些行，将部分区域的XY坐标(即，对应的部分区域的左端的坐标(x，y))存储在每个分组A1的有效载荷的顶部。
此外，区域3被设置为在水平方向上包括三个行区域，其中对应于第一和第三行的部分区域的左端的X坐标与对应于第二行的部分区域的左端的X坐标不同。即，在与区域3的第一行至第三行相对应的行中，对应的部分区域在连续发送的分组A1之间在左端具有彼此不同的X坐标。因此，对于这些行，将部分区域的XY坐标(即，对应的部分区域的左端的坐标(x，y))存储在每个分组A1的有效载荷的顶部。
此外，图10是示出为图像设置的区域(ROI)的另一实例的图。在图在图10中，示出了区域1、区域2和区域3的三个区域作为为图像设置的区域的实例。注意，在图10中，由在垂直方向和水平方向上延伸的虚线划分的网格示意性地示出了形成图像的单位数据，与参考图8描述的实例相似。因此，还是在图10描述的实例中，为了方便起见，将每个网格的左上顶点的坐标定义为网格的坐标。
此外，图11是示出通过第一发送方法发送的数据的实例的图，示出在与图10中示出的每个区域有关的区域数据通过第一发送方法来发送的情况下的一帧数据。注意，图1中的分组A2和A3的配置也基本上类似于参照图5描述的实例，因此描述将集中在分组A1的配置上。此外，图11中所示的“1”、“2”和“3”中的每一个都对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据、区域3的数据。
例如，用于发送区域1的第一行中的部分区域的数据的分组A1的有效载荷在其顶部存储部分区域左端的坐标(x，y)＝(2，1)，并在其后续部分存储有关部分区域的区域数据。此外，在作为区域数据的后续发送的目标的区域1的第二行至第五行的部分区域中，左端的X坐标与第一行的部分区域相似，Y坐标从前一行开始增加了1。因此，在用于在区域1的第二行至第五行上发送部分区域的数据的分组A1的有效载荷中，省略了部分区域的XY坐标。
此外，区域1的第五行上的部分区域的右端侧的部分与区域2的第一行上的部分区域的左端侧的部分重叠。因此，用于在区域1的第五行中的部分区域中发送数据的分组A1的有效载荷存储在区域1中的第五行中的与部分区域有关的区域数据之后的与区域2的第一行中的部分区域有关的区域数据。注意可任意设置将区域1的部分区域和区域2的部分区域之间的重叠部分作为与区域1的部分区域有关的区域数据还是与区域2的部分区域有关的区域数据进行发送。例如，在图11所示的实例中，区域1的部分区域和区域2的部分区域之间的重叠部分作为关于区域1的部分区域的区域数据被发送。
区域3类似于参考图8和图9描述的实例，因此将省略其详细描述。
(图像传感器100(发送装置)的配置实例)
接下来，将描述在应用第一发送方法的情况下图像传感器100(发送装置)的功能配置的实例。例如，图12是示出在应用第一发送方法的情况下图像传感器100的功能配置的实例的框图。如图12所示，图像传感器100例如包括图像传感器装置102和IC芯片104。图12中的图像传感器100以从通信系统1000中包括的诸如电池的内部电源(未示出)提供的电力或从通信系统1000的外部电源提供的电力进行操作。
图像传感器装置102的实例包括能够产生图像的任何方法的图像传感器装置，诸如“包括数字静态相机的成像装置”、“红外传感器”或“距离图像传感器”。
作为实例，用作图像传感器装置102的成像装置包括透镜、成像元件和信号处理电路。
透镜和成像元件包括例如光学系统透镜和使用多个成像元件的图像传感器，例如互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)。
信号处理电路包括自动增益控制(AGC)电路和模数转换器(ADC)，并将由成像元件生成的模拟信号转换为数字信号(图像数据)。信号处理电路还执行例如与RAW显影有关的各种处理。信号处理电路可进一步执行各种信号处理，例如白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理和边缘增强处理。
此外，信号处理电路还可执行与图像的区域的设置有关的处理，并且可将区域指定信息传输到IC芯片104。此外，信号处理电路可将诸如曝光信息和增益信息的各种数据发送给IC芯片104。
表示由图像传感器装置102生成的图像的信号被传送到IC芯片104。当表示从图像传感器装置102传送到IC芯片104的图像的信号是模拟信号时，IC芯片104通过提供的ADC将模拟信号转换为数字信号，并处理通过转换获得的图像数据。以下是作为实例从图像传感器装置102向IC芯片104传送图像数据的情况。
IC芯片104是由集成电路(IC)形成的芯片，其中集成有与使用第一发送方法的数据发送功能有关的电路。IC芯片104用于处理从图像传感器装置102传送的图像数据，并发送与生成的图像相对应的数据。与图像相对应的数据是从图像传感器装置102传送的图像数据(即，表示整个图像的数据)或者是与图像中设置的区域有关的区域数据。与根据第一发送方法的数据发送功能有关的电路不限于以一个IC芯片的形式实现，并且可由多个IC芯片形成。
IC芯片104包括图像处理单元106、LINK/PHY控制器108、控制码生成器110、PH生成器112、EBD缓冲器114、图像数据缓冲器116、组合单元118和发送单元120。
图像处理单元106可形成为具有执行与根据本实施方式的发送方法有关的处理的功能的一个电路。当执行与根据本实施方式的发送方法有关的处理时，图像处理单元106通过LINK/PHY控制器108、控制码生成器110、PH生成器112、EBD缓冲器114、图像数据缓冲器116、组合单元118和发送单元120，使用第一发送方法，针对图像中的每行控制以发送与图像中设置的区域相对应的区域数据。图像处理单元106还可以控制以针对每行发送从图像传感器装置102传送的图像数据(即，表示整个图像的数据)。
图像处理单元106可由例如MPU之类的处理器形成。
将以功能块的形式描述图像处理单元106的功能。如图10所示，图像处理单元106例如包括区域切出单元122、图像处理控制器124和编码器126。
区域切出单元122具有执行与图像的区域的设置有关的处理的功能，从而为由从图像传感器装置102传送来的图像数据表示的图像设置区域(ROI)。区域切出单元122例如根据所设置的操作模式，执行与针对图像的区域设置有关的处理。例如，在操作模式是发送区域数据的操作模式的情况下，区域切出单元122执行与图像的区域设置有关的处理。此外，在操作模式是发送表示整个图像的数据的操作模式的情况下，区域切出单元122将不执行与图像的区域设置有关的处理。
区域切出单元122通过对图像执行任意对象检测处理来检测对象，并且针对每个检测到的对象设置包括检测到的对象的区域。此外，区域切出单元122可设置通过在任意操作装置等上的操作指定的区域。由区域切出单元122设置的区域可包括矩形区域，诸如图8和10中的区域1和2，或除了矩形以外的任意形状的区域也可设定为诸如图8和10所示的区域3的图像。
在设置区域的情况下，区域切出单元122例如将指示所设置的区域的区域指定信息传送到图像处理控制器124。在未设置区域的情况下，区域切出单元122不将区域指定信息传送到图像处理控制器124。
区域切出单元122还将从图像传感器装置102传送的图像数据传送到编码器126。
图像处理控制器124具有执行与根据本实施方式的发送方法有关的处理的功能，并且因此将与为图像设置的区域有关的区域信息传送到编码器126和EBD缓冲器114。此时，图像处理控制器124可设置除了区域信息之外的附加信息，并且可将区域信息和其他附加信息作为一系列附加信息传送到EBD缓冲器114。注意，包括区域信息的一系列附加信息的实例例如包括在参考图6描述的“嵌入数据”中定义的信息。
设置附加信息的过程的实例可以是生成附加信息的过程。生成附加信息的过程的实例包括一个或两个或更多个过程，即，生成指示该区域中的数据量的信息的过程，生成指示该区域的大小的信息的过程以及生成指示区域优先级的信息的过程。
注意，设置附加信息的过程不限于生成附加信息的过程。例如，图像处理控制器124可将从图像传感器装置102获取的信息，诸如曝光信息和增益信息，设置为附加信息。此外，图像处理控制器124可将与各种区域有关的数据设置为附加信息，诸如指示物理区域长度的数据、指示输出区域长度的数据、指示图像格式的数据以及指示数据总量的数据。物理区域长度的实例包括图像传感器装置102的像素数。输出区域长度的实例包括从图像传感器装置102输出的图像的像素数(图像上的长度)。
图像处理控制器124例如基于从区域切出单元122获取的区域指定信息或从外部装置获取的区域指定信息(未示出)，指定图像的各行中包括的区域。随后，图像处理控制器124基于指定的区域来设置区域信息。
另外，图像处理控制器124设置指示每行中包括的区域(即，每行的部分区域)在图像中的位置的信息(即，部分区域的XY坐标)。此时，在从水平方向(例如，左端的X坐标)发送部分区域的区域数据的先前位置没有改变的情况下，图像处理控制器124不需要设置指示要对其执行区域数据的发送的部分区域的位置的信息(即，部分区域的XY坐标)。随后，图像处理控制器124将指示每行中包括的区域在图像中的位置的信息传送到编码器126。
另外，在未获取区域指定信息的情况下，图像处理控制器124将不设置区域信息。
此外，例如，图像处理控制器124可生成帧信息并将所生成的帧信息传送到LINK/PHY控制器108。帧信息的实例包括分配给每个帧的上述“帧开始”、“帧结束”等。此外，帧信息可包括指示诸如YUV数据、RGB数据或RAW数据的数据类型的数据。
编码器126例如使用诸如与联合摄影专家组(JPEG)标准相对应的方法之类的预定方法对从图像传感器装置102传送来的图像数据进行编码。
在没有从图像处理控制器124获取区域信息的情况下，编码器126将编码图像数据传送到图像数据缓冲器116。在下文中，编码图像数据，即表示整个编码图像的数据在某些情况下将被称为“普通数据”。
另外，在从图像处理控制器124获取区域信息的情况下，编码器126根据获取的区域信息将与该区域相对应的编码区域数据传送到图像数据缓冲器116。此时，编码器126可将各条区域数据与指示与该区域数据相对应的区域(即，每行的部分区域)在图像内的位置的信息相关联。此外，这时，在水平方向上目标部分区域的位置(例如，左端的X坐标)与水平方向上部分区域的先前区域数据发送位置相比没有变化的情况下，编码器126不需要将与目标部分区域有关的区域数据与表示部分区域的位置的信息相关联。更具体地，编码器126可在区域数据的顶部插入指示相应的部分区域的位置的信息，如在图9和11所示的实例中由“XY”指示的。
例如，图像处理单元106包括区域切出单元122、图像处理控制器124和编码器126，从而执行与根据本实施方式的发送方法有关的处理。注意，为了方便起见，图12中示出的图像处理单元106的功能块通过划分图像处理单元106的功能来获得，并且如何划分图像处理单元106中的功能并不限于图12所示的实例。
例如，LINK/PHY控制器108针对每行将帧信息传送到控制码生成器110和PH生成器112。此外，此时，LINK/PHY控制器108可控制与数据发送有关的协议和发送路径，并且可将控制结果传输到控制码生成器110和PH生成器112。
控制码生成器110为每行设置纠错码。控制码生成器110基于帧信息中的行的数据(例如，“帧开始”或“帧结束”)来生成行的纠错码。例如，控制码生成器110将所生成的纠错码传送至组合单元118。此外，控制码生成器110可与PH生成器112协作生成纠错码。
PH生成器112使用帧信息来为每行生成分组报头。此时，在发送区域数据的情况下，如上所述，PH生成器112将指示要发送区域信息(例如，区域数据)的信息作为报头信息类型设置到分组报头的扩展区域。此后，PH生成器112针对扩展区域的至少一部分设置指示将使用有效载荷来发送区域数据的信息。此外，关于将区域的坐标插入到有效载荷中的分组，PH生成器112在扩展区域的至少一部分上设置指示将使用有效载荷发送该区域的坐标的信息。
EBD缓冲器114是临时保持从图像处理单元106(图12的实例中的图像处理控制器124)传送来的附加信息的缓冲器。EBD缓冲器114在预定定时将附加信息作为“嵌入数据”输出到组合单元118。从EBD缓冲器114输出的“嵌入数据”可经由以下描述的图像数据缓冲器116被传送到组合单元118。
图像数据缓冲器116是临时保持从图像处理单元106(图12的实例中的编码器126)传送的数据(普通数据或区域数据)的缓冲器。图像数据缓冲器116在预定的定时将所保持的数据针对每行输出到组合单元118。
组合单元118例如基于从控制码生成器110、PH生成器112、EBD缓冲器114和图像数据缓冲器116分别获取的数据来生成要发送的分组。
发送单元120经由数据总线B1(信号发送路径的实例；以下类似地应用)针对每行发送从组合单元118发送的分组。
例如，在图8所示的区域1、区域2和区域3被设置的情况下，发送单元120使用分组A2发送与每个区域有关的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1针对每行发送与每个区域相对应的区域数据，如图9所示。此外，作为另一实例，在设置图10所示的区域1、区域2和区域3的情况下，发送单元120使用分组A2发送与每个区域有关的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1针对每行发送与每个区域相对应的区域数据，如图11所示。
另外，在没有区域设置的情况下，即，从图像数据缓冲器116输出普通数据的情况下，发送单元120针对每行发送将与每行对应的数据存储在有效载荷中的分组。即使在这种情况下，发送单元120也可发送附加信息作为“嵌入数据”。
上述配置仅是实例，并且图像传感器100的功能配置不限于此。例如，执行上述每个功能的装置或电子装置不受限制，只要能实现每个功能即可。作为更具体的实例，IC芯片104的一些功能可设置在IC芯片104的外部。
此外，可添加附加功能，只要不妨碍上述图像传感器100的功能即可。
作为具体实例，可基于存储在分组的有效载荷中的数据(例如，上述区域数据)来计算用于数据的纠错的纠错码，并且纠错码可作为奇偶校验插入到有效载荷中。以这种方式，将奇偶校验插入有效载荷中使得接收侧能够基于奇偶校验执行纠错计算，从而检测存储在有效载荷中的数据中的错误并校正检测到的错误。适用的纠错码的实例包括里德-所罗门码。
在上文中，已经参考图12描述了在应用第一发送方法的情况下图像传感器100(发送装置)的功能配置的实例。
(处理器200(接收装置)的配置实例)
接下来，将描述在应用第一发送方法的情况下处理器200(接收装置)的功能配置的实例。例如，图13是示出在应用第一发送方法的情况下处理器200的功能配置的实例的框图。如图13所示，处理器200包括报头分离器202、报头解释器204、有效载荷分离器206、EBD解释器208、帧存储器210和图像处理单元212。
报头分离器202从接收到的数据中分离出与报头部分相对应的报头数据和与有效载荷部分相对应的有效载荷数据。报头分离器202例如根据由标准等预先定义的规则从接收的数据中分离报头数据。此外，报头分离器202可例如根据由标准预先定义的规则从接收的数据中分离有效载荷数据，或者可基于报头解释器执行的处理结果从接收的数据中分离有效载荷数据。
报头解释器204解释由报头数据指示的内容。
作为具体实例，报头解释器204根据在分组报头的扩展区域的前三位中设置的报头信息类型，识别在扩展区域的前三位以外的区域中设置的信息的格式。随后，报头解释器204根据格式的识别结果读出在扩展区域中设置的各种类型的信息。这使得报头解释器204能够基于例如在扩展区域中设置的信息，使用有效载荷来识别区域(ROI)信息(例如，区域数据)的发送或区域的坐标的发送。随后，报头解释器204根据读出在扩展区域中设置的各种类型的信息的结果，将所识别的设置通知给有效载荷分离器206。具体地，在报头解释器204已经使用有效载荷识别出区域(ROI)信息(例如，区域数据)的发送或区域的坐标的发送的情况下，报头解释器204将识别结果通知给有效载荷分离器206。
在报头解释器204上执行的处理的实例不限于以上实例。例如，报头解释器204可指定有效载荷数据位置并将指定的位置传送到报头分离器202。报头解释器204还可在发送“嵌入数据”的分组A2和发送区域数据的分组A1之间进行区分。
有效载荷分离器206基于来自报头解释器204的解释结果，从有效载荷数据中分离附加信息和图像数据(普通数据或区域数据)。
例如，在作为处理目标的分组是分组A2或A3的情况下，有效载荷分离器206可从分组中分离附加信息(嵌入数据)。
此外，作为另一实例，在作为处理目标的分组是分组A1的情况下，有效载荷分离器206从有效载荷数据分离图像数据。例如，在将区域数据存储在有效载荷中的情况下，有效载荷分离器206可根据分组报头解释结果将从有效载荷数据分离区域数据。此外，此时，有效载荷分离器206可根据分组报头解释结果来分离插入到有效载荷的顶部中的区域的坐标(即，部分区域的XY坐标)。另外，在将普通数据存储在有效载荷中的情况下，有效载荷分离器206可根据分组报头解释结果从有效载荷数据分离普通数据。
有效载荷分离器206将从有效载荷数据分离的各种类型的数据中的附加信息发送到EBD解释器208。此外，有效载荷分离器206使帧存储器210保持从有效载荷数据中分离出来的各种类型的数据中的图像数据(区域数据或普通数据)。此外，此时，有效载荷分离器206可使帧存储器210与对应于该区域数据的区域的坐标(即，部分区域的XY坐标)相关联地保持区域数据。
EBD解释器208解释附加信息的内容(嵌入数据)，然后将附加信息的解释结果输出到图像处理单元212。此外，EBD解释器208可使帧存储器210保持附加信息的解释结果。附加信息(嵌入数据)的格式如上参考图6所述。
图像处理单元212包括信息提取单元214、区域解码器216、区域图像生成器218和普通图像解码器220。
信息提取单元214基于对附加信息(嵌入数据)的解释结果来提取附加信息中包括的各种类型的信息(具体是区域信息)。随后，信息提取单元214将从附加信息中提取的各种类型的信息输出到区域解码器216和区域图像生成器218。
区域解码器216基于保持在帧存储器210中的附加信息(嵌入数据)，来区分保持在帧存储器210中的图像数据是区域数据还是普通数据。在帧存储器210中的图像数据是区域数据的情况下，区域解码器216通过与图像传感器100中的编码相对应的预定方法对区域数据进行解码。这时，区域解码器216可基于从附加信息(嵌入数据)中提取的各种类型的信息来改变处理的内容。
区域图像生成器218基于从附加信息(嵌入数据)提取的各种类型的信息(例如，区域信息)，和与至少一部分区域数据相关联的区域的坐标，从区域解码器216解码的各行的区域数据生成表示与区域相对应的图像的数据。
例如，区域图像生成器218基于包括在附加信息(嵌入数据)中的区域数据，辨别哪个区域(ROI)包括与每行的部分区域相对应的每个区域数据，这是与帧存储器210中保持的区域数据对应的。此外，区域图像生成器218基于包括在附加信息(嵌入数据)中的区域信息，识别图像中设置的每个区域在图像内的位置以及区域的大小。随后，在根据与每个区域中的每行的每个部分区域相对应的区域数据中的与至少一部分区域数据相关联的区域的坐标，在水平方向上调整各区域数据的位置的同时，区域图像生成器218组合对应于该区域的一系列区域数据。如上所述，区域图像生成器218组合与每个区域相对应的一系列区域数据，从而生成与在图像中设置的区域相对应的部分图像(在下文中，也称为“区域图像”)。区域图像对应于“ROI图像”。
如上所述，区域图像生成器218针对图像中设置的每个区域生成区域图像，并将所生成的区域图像输出至预定的输出目的地。
普通图像解码器220基于保持在帧存储器210中的附加信息(嵌入数据)来区别保持在帧存储器210中的图像数据是区域数据还是普通数据。在保持在帧存储器210中的是普通数据的情况下，普通图像解码器220通过与图像传感器100中的编码相对应的预定方法对普通数据进行解码，以生成普通图像，然后将所生成的普通图像输出到预定的输出目的地。
上述配置仅是实例，并且处理器200的功能配置不限于此。例如，执行上述每个功能的装置备或电子装置不受限制，只要能实现每个功能即可。作为更具体的实例，可在处理器200的外部提供处理器200的一些功能。
此外，可添加附加功能，只要不妨碍上述处理器200的功能即可。
例如，在将纠错码添加到分组的一部分数据的情况下，可基于纠错码执行各种处理。作为具体实例，可将根据存储在分组的有效载荷中的数据计算出的纠错码作为奇偶校验插入到分组负载中。在这种情况下，可根据基于奇偶校验的纠错计算来检测存储在有效载荷(例如，上述区域数据)中的数据中的错误并纠正检测到的错误。
(评估)
如上所述，在第一发送方法中，图像中设置的每个区域的区域信息作为附加信息(嵌入数据)的一部分在分组A2中发送，并且针对分组A1中的每行发送与每个区域相对应的区域数据。此外，在发送设置在图像中的区域的数据的情况下，在每个分组的报头的扩展区域中设置指示将要发送区域信息的信息(例如，区域数据)。对于在有效载荷中插入了区域的坐标的分组，在扩展区域的至少一部分中设置了指示要使用有效载荷来发送区域的坐标的信息。利用上述配置，接收侧基于附加信息(嵌入数据)和插入在分组A1的有效载荷的至少一部分中的区域的坐标来组合存储在每个分组A1的有效载荷中的区域数据，使得轻松恢复图像中设置的区域的区域图像。
<3.2.第二发送方法>
接下来，将描述第二发送方法。与第一发送方法类似，第二发送方法中的图像传感器100将与图像中设置的区域有关的区域数据存储在分组的有效载荷中，并针对每行发送数据。因此，在下文中，将着重于与第一发送方法不同的部分来描述第二发送方法，并且将省略与第一发送方法基本相似的部分的详细描述。
(数据格式)
首先，将描述通过第二发送方法发送的数据的格式。例如，图14是示出通过第二发送方法发送的数据的格式的图。注意，在图14中，与图5中相似的附图标记表示与图5所示的实例中的对象相似的对象。
在图14所示的实例中，一系列分组A2的至少一部分用于发送“嵌入数据”。例如，可以以存储在分组A2的有效载荷中的状态发送“嵌入数据”。此外，作为另一实例，嵌入数据可以以存储在分组A2的有效载荷以外的区域中的状态被发送。注意，类似于第一发送方法，第二发送方法中的“嵌入数据”对应于由图像传感器100额外发送的附加信息(换言之，由图像传感器100嵌入的信息)。
例如，图15是示出第二发送方法中的“嵌入数据”中包括的信息的实例的图。另外，如图15所示，“ROI ID”、“左上坐标”、“高度”、“宽度”、“AD字长度(AD位)”、“曝光”、“增益”和“感测信息”中的每一个均示出类似于图6所示的实例的信息。
另外，第二发送方法与第一发送方法的不同之处在于，对于在水平方向上设置了彼此分离的多个区域的行，在一个分组A1中发送多个区域中的每个区域相对应的部分区域的区域数据。因此，在这种情况下，分组A1的有效载荷存储与多个区域中的每个区域相对应的部分区域的区域数据。此外，此时，将与水平方向上的部分区域之间的间隔相对应的任意数据插入在与在水平方向上彼此分离的多个区域中的每一个的部分区域相对应的区域数据之间。注意，在下文中，任意数据也被称为“空白数据”。例如，图14中所示的“空白”表示空白数据。
作为空白数据插入的数据没有特别限制。例如，可将部分区域之间的图像数据作为空白数据插入。此外，可插入除图像数据以外的数据(例如，具有不能是图像数据的值的设置的数据)作为空白数据。
此外，在第二发送方法中，可将部分区域的XY坐标插入分组A1的有效载荷的顶部，如“XY”所示。注意，在有效载荷存储与多个区域中的每个区域的部分区域相对应的区域数据的情况下，插入指示顶部部分区域的左端的位置(左端的部分区域)的X和Y坐标，作为上述部分区域的XY坐标。另外，在连续发送的分组A1之间的相应部分区域的X坐标没有变化并且Y坐标仅增加1的情况下，可省略部分区域的XY坐标。
接下来，参照图16，将特别关注扩展区域的配置来描述用于发送设置在图像中的区域(ROI)的区域数据的分组A1的分组报头的配置实例。图16是示出第二发送方法中的分组报头的配置的实例的图。
如图16中所示，在以第二发送方法发送设置在图像中的区域(ROI)的区域数据的情况下，指示将要发送区域信息的信息(即，与假定发送了区域信息的类型对应的信息)，被设置为用于发送区域数据的分组A1的分组报头中的报头信息类型。此外，将指示要使用有效载荷来发送区域数据(即，与部分区域有关的区域数据)的信息被设置为扩展区域的至少一部分。另外，在使用有效载荷发送区域的坐标(即，部分区域的XY坐标)的情况下，针对至少一部分扩展区域设置指示要发送区域的坐标的信息。在发送与图像中设置的区域(ROI)有关的区域数据的情况下，分组A1的有效载荷长度可根据该区域在水平方向上的宽度而改变。因此，类似于参考图4描述的实例，可在扩展区域的一部分中设置指示有效载荷长度的信息。
(数据实例)
接下来，参考图17和图18，将描述通过第一发送方法发送的数据的具体实例作为在应用第二发送方法的情况下的实例。
例如，图17是示出通过第二发送方法发送的数据的实例的示图，示出在与图8中示出的每个区域有关的区域数据通过第二发送方法来发送的一帧数据。注意，图17中的分组A2和A3的配置与参考图5描述的实例基本相似，因此下面的描述将集中在分组A1的配置上。此外，图17中所示的“1”、“2”和“3”中的每一个对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据和区域3的数据。
如上所述，第二发送方法与第一发送方法的不同之处在于，对于在水平方向上设置了彼此分离的多个区域的行，在一个分组A1中发送多个区域中的每个区域相对应的部分区域的区域数据。因此，与对应于区域1的第三至第五行的行一样，与参照图9描述的实例的不同之处在于：针对行发送的分组A1的有效载荷中存储的数据设置为使得区域1的部分区域和区域2的部分区域在水平方向上彼此分离。即，与行相对应的分组A1的有效载荷存储区域1和区域2的各个区域的部分区域的区域数据。此外，在有效载荷中，与部分区域之间的水平方向上的间隔相对应的空白数据插入区域1和区域2的部分区域的区域数据之间。例如，图17中示为“虚拟”的部分对应于空白数据。
此外，利用上述配置，关于针对与第一区域的第一行至第五行相对应的每行发送的分组A1，有效载荷中存储的区域数据中的顶部区域数据的左端的X坐标指示相同的值，且Y坐标从前一行增加1。因此，关于针对与第一区域的第二至第五行相对应的每行发送的分组A1，省略了由“XY”指示的部分区域的XY坐标到有效载荷的顶部的插入。
此外，图18是示出通过第二发送方法发送的数据的实例的示图，示出在与图10中示出的每个区域有关的区域数据通过第二发送方法来发送的情况下的一帧数据。注意，图18中的分组A2和A3的配置也基本上类似于参照图5描述的实例，因此描述将集中在分组A1的配置上。此外，图18中所示的“1”、“2”和“3”中的每一个都对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据和区域3的数据。
在图10所示的实例中，不存在设置在水平方向上彼此分离的多个区域的行。因此，图18中所示的数据基本上类似于应用图11所示的第一发送方法时的数据。
(图像传感器100(发送装置)的配置实例)
接下来，将描述在应用第二发送方法的情况下图像传感器100(发送装置)的功能配置的实例。例如，图19是示出在应用第二发送方法的情况下图像传感器100的功能配置的实例的框图。如图19所示，图像传感器100例如包括图像传感器装置102和IC芯片130。图19中的图像传感器100以从通信系统1000中包括的诸如电池的内部电源(未示出)提供的电力或从通信系统1000的外部电源提供的电力进行操作。
图19所示的图像传感器装置102基本上类似于图12所示的图像传感器装置102。
IC芯片130是由IC形成的芯片，其中集成有与使用第二发送方法的数据发送功能有关的电路，并用于处理从图像传感器装置102传输的图像数据，并发送与生成的图像对应的数据。与根据第二发送方法的数据发送功能有关的电路不限于以一个IC芯片的形式实现，并且可由多个IC芯片形成。
IC芯片130包括图像处理单元132、LINK/PHY控制器108、控制码生成器110、PH生成器134、EBD缓冲器138、图像数据缓冲器116、组合单元136和发送单元120。
图19中所示的LINK/PHY控制器108、控制码生成器110、图像数据缓冲器116和发送单元120分别与图12所示的LINK/PHY控制器108、控制码生成器110、图像数据缓冲器116和发送单元120基本相似。
图像处理单元132可形成为具有执行与根据本实施方式的发送方法有关的处理的功能的一个电路。当执行与根据本实施方式的发送方法有关的处理时，图像处理单元132通过LINK/PHY控制器108、控制码生成器110、PH生成器134、EBD缓冲器138、图像数据缓冲器116、组合单元136和发送单元120，使用第二发送方法，针对图像中的每行控制以发送与图像中设置的区域相对应的区域数据。图像处理单元132还可以控制以针对每行发送从图像传感器装置102传送的图像数据(即，表示整个图像的数据)。
图像处理单元132可由例如诸如MPU的处理器形成。
将以功能块的形式描述图像处理单元106的功能。如图10所示，图像处理单元106包括例如区域切出单元122、图像处理控制器124和编码器140。
图19中示出的区域切出单元122和图像处理控制器124分别基本上类似于图12所示的区域切出单元122和图像处理控制器124。
类似于图12中所示的编码器126，编码器140通过预定方法对从图像传感器装置102传送来的图像数据进行编码。
在没有从图像处理控制器124获取区域信息的情况下，类似于图12所示的编码器126，编码器140将编码的图像数据传送到图像数据缓冲器116。
另外，在从图像处理控制器124获取区域信息的情况下，编码器140根据获取的区域信息将与该区域相对应的编码区域数据传送到图像数据缓冲器116。此时，编码器140可将各条区域数据与指示对应于区域数据的区域(即，每行的部分区域)在图像内的位置的信息相关联。此外，这时，在水平方向上目标部分区域的位置(例如，左端的X坐标)与水平方向上部分区域的先前区域数据发送位置相比没有变化的情况下，编码器140不需要将与目标部分区域有关的区域数据与指示部分区域的位置的信息相关联。更具体地，编码器140可在区域数据的顶部插入指示相应的部分区域的位置的信息，如在图17和18所示的实例中由“XY”指示的。
此外，编码器140将与对应于多个区域中的每个区域的部分区域有关的区域数据编码为设置了在水平方向上彼此分离的多个区域的行的一系列数据。随后，编码器140将通过对行中包括的一系列区域数据进行编码而获得的数据传送至图像数据缓冲器116。在这种情况下，编码器140可将通过对行中包括的一系列区域数据进行编码而获得的数据与指示与一系列区域数据中的顶部区域数据相对应的部分区域在图像中的位置的信息相关联。
图像处理单元132例如包括区域切出单元122、图像处理控制器124和编码器140，从而执行与根据本实施方式的发送方法有关的处理。注意，为了方便起见，图19中示出的图像处理单元132的功能块通过划分图像处理单元132的功能来获得，并且如何划分图像处理单元132中的功能不限于图19所示的实例。
PH生成器134使用帧信息来为每行生成分组报头。此时，在发送区域数据的情况下，如上所述，PH生成器134将指示要发送区域信息(例如，区域数据)的信息作为报头信息类型设置到分组报头的扩展区域。此后，PH生成器134针对扩展区域的至少一部分设置指示将使用有效载荷来发送区域数据的信息。此外，关于其中将区域的坐标插入到有效载荷中的分组，PH生成器134在扩展区域的至少一部分上设置指示将使用有效载荷发送该区域的坐标的信息。
EBD缓冲器138是临时保持从图像处理单元132(图19的实例中的图像处理控制器124)传送来的附加信息的缓冲器。EBD缓冲器138在预定定时将附加信息作为“嵌入数据”输出到组合单元136。从EBD缓冲器138输出的“嵌入数据”可经由图像数据缓冲器116被传送到组合单元136。
组合单元136例如基于从控制码生成器110、PH生成器134、EBD缓冲器138和图像数据缓冲器116分别获取的数据来生成要发送的分组。
发送单元120经由数据总线B1针对每行发送从组合单元136传送的分组。
例如，在设置图8所示的区域1、区域2和区域3的情况下，发送单元120使用分组A2发送与每个区域有关的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1针对每行发送与每个区域相对应的区域数据，如图17所示。此外，作为另一实例，在设置图10所示的区域1、区域2和区域3的情况下，发送单元120使用分组A2发送与每个区域有关的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1针对每行发送与每个区域相对应的区域数据，如图18所示。
另外，在没有区域设置的情况下，即，从图像数据缓冲器116输出普通数据的情况下，发送单元120针对每行发送将与每个行对应的数据存储在有效载荷中的分组。即使在这种情况下，发送单元120也可发送附加信息作为“嵌入数据”。
上述配置仅是实例，并且图像传感器100的功能配置不限于此。例如，执行上述每个功能的装置或电子装置不受限制，只要能实现每个功能即可。作为更具体的实例，IC芯片130的一些功能可提供在IC芯片130的外部。
此外，可添加附加功能，只要不妨碍上述图像传感器100的功能即可，类似于上述第一发送方法。
上文中，已经参考图19描述了在应用第二发送方法的情况下图像传感器100(发送装置)的功能配置的实例。
(处理器200(接收装置)的配置实例)
接下来，将描述在应用第二发送方法的情况下处理器200(接收装置)的功能配置的实例。例如，图20是示出在应用第二发送方法的情况下处理器200的功能配置的实例的框图。如图20所示，处理器200包括例如报头分离器232、报头解释器234、有效载荷分离器236、EBD解释器238、帧存储器210和图像处理单元240。
报头分离器232从接收到的数据中分离出与报头部分相对应的报头数据和与有效载荷部分相对应的有效载荷数据。报头分离器232例如根据由标准等预先定义的规则从接收的数据中分离报头数据。此外，报头分离器232可例如根据标准预先定义的规则从接收到的数据分离有效载荷数据，或者可基于报头解释器234执行的处理结果从接收到的数据分离有效载荷数据。
报头解释器234解释由报头数据指示的内容。
作为具体实例，报头解释器234根据在分组报头的扩展区域的前三位中设置的报头信息类型，识别在扩展区域的前三位以外的区域中设置的信息的格式数据。随后，报头解释器234根据格式的识别结果读出在扩展区域中设置的各种类型的信息。这使得报头解释器234能够基于例如在扩展区域中设置的信息，使用有效载荷来识别区域(ROI)信息(例如，区域数据)的发送或区域的坐标的发送。随后，报头解释器234根据读出在扩展区域中设置的各种类型的信息的结果，将所识别的设置通知给有效载荷分离器236。具体地，在报头解释器234已经使用有效载荷识别出区域(ROI)信息(例如，区域数据)的发送或区域的坐标的发送的情况下，报头解释器234向有效载荷分离器236通知识别结果。
在报头解释器234上执行的处理的实例不限于以上实例。例如，报头解释器234可指定有效载荷数据的位置，并且可将指定的位置传送到报头分离器232。报头解释器234还可在发送“嵌入数据”的分组A2和发送区域数据的分组A1之间进行区分。
有效载荷分离器236基于来自报头解释器234的解释结果，从有效载荷数据中分离附加信息和图像数据(普通数据或区域数据)。
例如，在作为处理目标的分组是分组A2或A3的情况下，有效载荷分离器236可从分组中分离附加信息(嵌入数据)。
此外，作为另一实例，在作为处理目标的分组是分组A1的情况下，有效载荷分离器236从有效载荷数据分离图像数据。例如，在将区域数据存储在有效载荷中的情况下，有效载荷分离器236可根据分组报头解释结果从有效载荷数据分离区域数据。此外，此时，有效载荷分离器236可根据分组报头解释结果来分离插入到有效载荷的顶部中的区域的坐标(即，部分区域的XY坐标)。另外，在将普通数据存储在有效载荷中的情况下，有效载荷分离器236可根据分组报头解释结果从有效载荷数据分离普通数据。
有效载荷分离器236将从有效载荷数据分离的各种类型的数据中的附加信息发送到EBD解释器238。此外，有效载荷分离器236使帧存储器210保持从有效载荷数据中分离出来的各种类型的数据中的图像数据(区域数据或普通数据)。此外，此时，有效载荷分离器236可使帧存储器210与对应于该区域数据的区域的坐标(即，部分区域的XY坐标)相关联地保持区域数据。
EBD解释器238解释附加信息的内容(嵌入数据)，然后将附加信息的解释结果输出到图像处理单元240。此外，EBD解释器238可使帧存储器210保持附加信息的结果解释。附加信息(嵌入数据)的格式如上参考图15所述。
图像处理单元240包括信息提取单元242、区域解码器244、区域图像生成器246和普通图像解码器220。
信息提取单元242基于对附加信息(嵌入数据)的解释结果来提取包括在附加信息中的各种类型的信息(具体是区域信息)。随后，信息提取单元242将从附加信息中提取的各种类型的信息输出到区域解码器244和区域图像生成器246。
区域解码器244基于保持在帧存储器210中的附加信息(嵌入数据)区分保持在帧存储器210中的图像数据是区域数据还是普通数据。在帧存储器210中保持的图像数据是区域数据的情况下，区域解码器244通过与图像传感器100中的编码相对应的预定方法对区域数据进行解码。这时，区域解码器244可基于从附加信息中提取的各种类型的信息(嵌入数据)来改变处理的内容。
区域图像生成器246基于从附加信息(嵌入数据)提取的各种类型的信息(例如，区域信息)，和与至少一部分区域数据相关联的区域的坐标，从区域解码器244解码的各行的区域数据生成表示与区域相对应的图像的数据。
例如，区域图像生成器246基于包括在附加信息(嵌入数据)中的区域数据，区别哪个区域(ROI)包括与每行的部分区域相对应的每个区域数据，这是与帧存储器210中保持的区域数据对应的。此外，区域图像生成器246基于包括在附加信息(嵌入数据)中的区域信息，识别图像中设置的每个区域在图像内的位置以及区域的大小。随后，在根据与每个区域中的每行的每个部分区域相对应的区域数据中的与至少一部分区域数据相关联的区域的坐标，在水平方向上调整各区域数据的位置的同时，区域图像生成器246组合对应于该区域的一系列区域数据。如上所述，区域图像生成器246组合与每个区域相对应的一系列区域数据，从而生成与在图像中设置的区域相对应的区域图像。
另外，关于设置了在水平方向上彼此分离的多个区域的行，区域图像生成器246基于插入在与每个区域相对应的区域数据之间的空白数据，将除了顶部区域之外的另一区域的位置识别为相对于顶部区域的相对位置。随后，在基于对每个区域的位置的识别结果而在水平方向上调整区域的各个区域数据的位置的同时，区域图像生成器246组合对应于该区域的一系列区域数据，从而生成与该区域相对应的区域图像。
如上所述，区域图像生成器246针对图像中设置的每个区域生成区域图像，并将所生成的区域图像输出至预定的输出目的地。
图20中所示的普通图像解码器220基本上类似于图13所示的普通图像解码器220。
上述配置仅是实例，并且处理器200的功能配置不限于此。例如，执行上述每个功能的装置或电子装置不受限制，只要能实现每个功能即可。作为更具体的实例，可在处理器200的外部提供处理器200的一些功能。
此外，可添加附加功能，只要不阻碍上述处理器200的功能即可，类似于上述第一发送方法。
(评估)
如上所述，在第二发送方法中，图像A中设置的每个区域的区域信息作为附加信息(嵌入数据)的一部分在分组A2中发送，并且针对分组A1中的每行发送与每个区域相对应的区域数据。此外，在发送设置在图像中的区域的数据的情况下，在每个分组的报头的扩展区域中设置指示将要发送区域信息的信息(例如，区域数据)。对于在有效载荷中插入了区域的坐标的分组，在扩展区域的至少一部分中设置了指示要使用有效载荷来发送区域的坐标的信息。另外，关于设置了在水平方向上彼此分离的多个区域的行，基于插入在与每个区域相对应的区域数据之间的空白数据，将顶部区域以外的另一区域的位置识别为相对于顶部区域的相对位置。利用上述配置，接收侧基于附加信息(嵌入数据)，插入在分组A1的至少一部分有效载荷中的区域的坐标，以及空白数据的检测结果，组合存储在分组A1的每个有效载荷中的区域数据，使得可容易地恢复图像中设定的区域的区域图像。在第二发送方法中，在一个分组A1中发送一行中包括的区域数据。这使得可轻松地计算一行数据的最大长度。
<3.33.第三发送方法>
接下来，将描述第三发送方法。与上述发送方法类似，第三发送方法中的图像传感器100将与图像中设置的区域有关的区域数据存储在分组的有效载荷中，并针对每行发送数据。因此，在下文中，将着重于与第一发送方法不同的部分来描述第三发送方法，并且将省略与第一发送方法基本相似的部分的详细描述。
(数据格式)
首先，将描述通过第三发送方法发送的数据的格式。例如，图21是示出通过第三发送方法发送的数据的格式的图。注意，在图21中，与图5中相似的附图标记表示与图5所示的实例中的物体相似的物体。
在图21所示的实例中，一系列分组A2的至少一部分用于发送“嵌入数据”。例如，可以以存储在分组A2的有效载荷中的状态发送“嵌入数据”。此外，作为另一实例，嵌入数据可以以存储在分组A2的有效载荷以外的区域中的状态被发送。注意，与第一发送方法类似，第三发送方法中的“嵌入数据”对应于由图像传感器100额外传输的附加信息(换言之，由图像传感器100嵌入的信息)。
例如，图22是示出在第三发送方法中包括在“嵌入数据”中的信息的实例的图。另外，如图22所示，“ROI ID”、“左上坐标”、“高度”、“宽度”、“AD字长度(AD位)”、“曝光”、“增益”和“感测信息”中的每一项示出类似于图6所示的实例的信息。
第三发送方法与上述第一发送方法的不同之处在于，指示与存储在有效载荷中的区域数据相对应的部分区域的位置的信息(即，部分区域的XY坐标)没有插入有效载荷中。此外，即使当一行包括多个区域时，也将与多个区域中的每个区域相对应的部分区域的区域数据定义为一系列数据，并且在一个分组A1中发送该一系列数据。
接下来，参照图23，将特别关注扩展区域的配置来描述用于发送在图像中设置的区域(ROI)的区域数据的分组A1的分组报头的配置实例。图23是示出第三发送方法中的分组报头的配置的实例的图。
如图23所示，在以第三发送方法发送在图像中设置的区域(ROI)的区域数据的情况下，指示将要发送区域信息的信息(即，与假定发送了区域信息的类型对应的信息)，设置为用于发送区域数据的分组A1的分组报头中的报头信息类型。此外，将指示要使用有效载荷来发送区域数据(即，与部分区域有关的区域数据)的信息设置为扩展区域的至少一部分。在发送与图像中设置的区域(ROI)有关的区域数据的情况下，分组A1的有效载荷长度可根据该区域在水平方向上的宽度而改变。因此，类似于参考图4描述的实例，可在扩展区域的一部分中设置指示有效载荷长度的信息。
(数据实例)
接下来，参考图24和图25，将描述通过第一发送方法发送的数据的具体实例作为在应用第三发送方法的情况下的实例。
例如，图24是示出通过第三发送方法发送的数据的实例的示图，示出了在与图8中示出的每个区域有关的区域数据通过第三发送方法来发送的情况下的一帧数据。注意，图24中的分组A2和A3的配置也基本上类似于参照图5描述的实例，因此以下描述将集中在分组A1的配置上。此外，图24中所示的“1”、“2”和“3”中的每一个都对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据和区域3的数据。
如上所述，与上述第一发送方法不同，在第三发送方法中，指示与存储在有效载荷中的区域数据相对应的部分区域的位置的信息(即，部分区域的XY坐标)将不会被插入到分组A1的有效载荷中。此外，即使当一行包括多个区域时，与多个区域中的每个区域相对应的部分区域的区域数据也被定义为一系列数据，并且该一系列数据被存储在分组A1的单个有效载荷中。具有这样的特性，在图24所示的实例中，分组A1的有效载荷仅存储与每行中包括的区域的部分区域相对应的区域数据。
此外，图25是示出通过第三发送方法发送的数据的实例的示图，示出了在与图10中示出的每个区域有关的区域数据通过第三发送方法来发送的情况下的一帧数据。注意，图25中的分组A2和A3的配置也基本上类似于参照图5描述的实例，因此描述将集中在分组A1的配置上。此外，图25中所示的“1”、“2”和“3”中的每一个都对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据和区域3的数据。
在图25所示的实例中，还已知分组A1的有效载荷仅存储与每行中包括的区域的部分区域相对应的区域数据。
(图像传感器100(发送装置)的配置实例)
接下来，将描述在应用第三发送方法的情况下图像传感器100(发送装置)的功能配置的实例。例如，图26是示出在应用第三发送方法的情况下图像传感器100的功能配置的实例的框图。如图26所示，图像传感器100例如包括图像传感器装置102和IC芯片300。图26中的图像传感器100以从通信系统1000中包括的诸如电池的内部电源(未示出)提供的电力或从通信系统1000的外部电源提供的电力进行操作。
图26所示的图像传感器装置102基本上类似于图12所示的图像传感器装置102。
IC芯片300是由IC形成的芯片，其中集成有与使用第三发送方法的数据发送功能有关的电路，并且用于处理从图像传感器装置102传输的图像数据，并发送与生成的图像对应的数据。与根据第三发送方法的数据发送功能有关的电路不限于以一个IC芯片的形式实现，并且可由多个IC芯片形成。
IC芯片300包括图像处理单元302、LINK/PHY控制器304、控制码生成器306、PH生成器308、EBD缓冲器310、图像数据缓冲器312、组合单元314和发送单元328。
图像处理单元302可形成为具有执行与根据本实施方式的发送方法有关的处理的功能的一个电路。当执行与根据本实施方式的发送方法有关的处理时，图像处理单元302通过LINK/PHY控制器304、控制码生成器306、PH生成器308、EBD缓冲器310、图像数据缓冲器312、组合单元314和发送单元328，使用第三发送方法，针对图像中的每行控制以发送与图像中设置的区域相对应的区域数据。图像处理单元302还可控制以针对每行发送从图像传感器装置102传送的图像数据(即，表示整个图像的数据)。
图像处理单元302可由例如MPU的处理器形成。
将以功能块的形式描述图像处理单元302的功能。如图26所示，图像处理单元302例如包括区域切出单元316、区域分析器318、重叠检测器320、优先级设置单元322、图像处理控制器326和编码器324。
区域切出单元316具有执行与图像区域的设置有关的处理的功能，从而为从图像传感器装置102传送来的图像数据所指示的图像设置区域(ROI)。区域切出单元316例如根据所设置的操作模式来执行与针对图像的区域设置有关的处理。例如，在操作模式是发送区域数据的操作模式的情况下，区域切出单元316执行与图像的区域设置有关的处理。此外，在操作模式是发送表示整个图像的数据的操作模式的情况下，区域切出单元316将不执行与图像的区域设置有关的处理。
区域切出单元316将一个或多个物体(对象)指定为包括在由从图像传感器装置102传送的图像数据所表示的图像(以下，也称为“捕获图像”)中包括的成像目标，然后为每个指定物体设置区域(ROI)。由区域切出单元316设置的区域可包括矩形区域，诸如图8和10中的区域1和2，或者除了矩形以外的任意形状的区域也可设定为诸如图8和10中的区域3的图像。
区域切出单元316从图像传感器装置102切出每个区域的图像(即，区域图像)。区域切出单元316还向每个设置的区域分配区域号(ROI ID)作为标识符。例如，在图像传感器装置102中设置两个区域的情况下，区域切出单元316将区域号1分配给一个区域，而将区域号2分配给另一区域。
在设置区域的情况下，区域切出单元316例如将指示所设置的区域的区域指定信息传送到图像处理控制器326或区域分析器318。在未设置区域的情况下，区域切出单元316将不将区域指定信息传送到图像处理控制器326或区域分析器318。
区域切出单元316还将从图像传感器装置102传送的图像数据传送到编码器324。
区域分析器318针对图像中设置的每个区域(ROI)来得出图像中的区域的位置。该区域的位置由该区域的左上角坐标(Xa，Ya)、该区域在水平方向(x方向)上的长度(即宽度)和该区域在垂直方向(y方向)上的长度(即高度)定义。区域在水平方向上的长度的实例是在区域的x方向上的物理区域长度XLa。区域在Y轴方向上的长度的实例是区域在Y轴方向上的物理区域长度YLa。物理区域长度是指该区域的物理长度(数据长度)。位置信息可包括与区域的左上端不同的位置的坐标。区域分析器318例如将得出的位置信息存储在存储单元中。区域分析器318例如将信息与分配给该区域的标识符(区域号)相关联地存储在存储单元中。
区域分析器318还可针对例如每个区域得出区域的水平方向(x方向)上的输出区域长度XLc和区域的垂直方向(y方向)上的输出区域长度YLc作为位置信息。输出区域长度的实例是在通过细化处理或像素相加来改变分辨率之后的区域(ROI)的物理长度(数据长度)。除了位置信息之外，区域分析器318还可针对每个区域导出“AD字长”、“曝光”、“增益”、“感测信息”、“图像格式”等，以便存储在存储单元。图像格式是指区域图像的格式。区域分析器318可导出例如包括在捕获图像中的区域(ROI)的(ROI数量)并且将所推导的数量存储在存储单元中。
在捕获图像中指定了多个物体作为成像目标的情况下，重叠检测器320基于捕获图像的多个区域的位置信息来检测两个或更多个区域重叠的重叠区域(重叠区域(ROO))。即，重叠检测器320针对每个重叠区域ROO导出捕获图像中的重叠区域ROO的位置信息。重叠检测器320在存储单元中存储例如导出的重叠区域ROO的位置信息。重叠检测器320例如与重叠区域ROO相关联地将导出的重叠区域ROO的位置信息存储在存储单元中。重叠区域ROO例如是具有与彼此重叠的两个或两个以上区域(ROI)中的最小区域相同或小于最小该区域的尺寸的区域或者小于该区域的区域(例如，矩形区域)。重叠区域ROO的位置信息由重叠区域ROO的左上角坐标(Xb，Yb)、重叠区域ROO在水平方向(x方向)上的长度(即宽度)和重叠区域ROO在垂直方向(y方向)上的长度(即高度)定义。重叠区域ROO在水平方向上的长度的实例是物理区域长度XLb。重叠区域ROO在垂直方向上的长度的实例是物理区域长度YLb。重叠区域ROO的位置信息可包括与区域(ROI)的左上端不同的位置的坐标。
优先级设置单元322将优先级分配给捕获的图像中的每个区域(ROI)。优先级设置单元322例如将分配的优先级存储在存储单元中。优先级设置单元322例如将分配的优先级与区域相关联地存储在存储单元中。优先级设置单元322除了分配给每个区域的区域号(ROI ID)之外，还可给每个区域分配优先级，或者可使用分配给每个区域的区域号(ROIID)代替优先级。优先级设置单元322可与区域相关联地将优先级存储在存储单元中，或者可与区域相关联地将分配给每个区域的区域号存储在存储单元中。
优先级是每个区域(ROI)的标识符，并且是能够区分所捕获图像中的多个区域中的哪个区域已经省略了重叠区域ROO的标识信息。例如，在分别包括重叠区域ROO的两个区域中，优先级设置单元322将优先级1赋予一个区域，将优先级2赋予另一区域。在这种情况下，例如，对具有较大优先级值的区域执行重叠区域ROO的省略。注意，优先级设置单元322可将与分配给每个区域的区域号相同的编号作为优先级分配给该区域。优先级设置单元322例如将分配给每个区域的优先级与区域图像相关联地存储在存储单元中。
图像处理控制器326具有执行与根据本实施方式的发送方法有关的处理的功能，并且因此将与为图像设置的区域有关的区域信息传送到编码器324和EBD缓冲器310。另外，图像处理控制器326可设置除了区域信息之外的附加信息，并且可将区域信息和其他附加信息作为一系列附加信息传送到EBD缓冲器310。注意，包括区域信息的一系列附加信息的实例包括例如在参考图22描述的“嵌入数据”中定义的信息。
设置附加信息的过程的实例可以是生成附加信息的过程。生成附加信息的过程的实例包括一个或两个或更多个过程，即，生成指示该区域中的数据量的信息的过程、生成指示该区域的大小的信息的过程以及生成指示区域优先级的信息。作为具体实例，图像处理控制器326可基于区域分析器318、重叠检测器320和优先级设置单元322的处理结果来执行用于设置上述附加信息的各种过程(即，存储在存储单元中的处理结果)。
注意，设置附加信息的过程不限于生成附加信息的过程。例如，图像处理控制器326可将从图像传感器装置102获取的诸如曝光信息和增益信息的信息设置为附加信息。此外，图像处理控制器326可将与各种区域有关的数据设置为附加信息，例如指示物理区域长度的数据、指示输出区域长度的数据、指示图像格式的数据以及指示数据总量的数据。
图像处理控制器326基于从区域切出单元316获取的区域指定信息、区域分析器318、重叠检测器320和优先级设置单元322的处理结果(即，存储在存储单元中的处理结果)，来指定图像的各行中包括的区域。另外，作为另一实例，图像处理控制器326可基于从外部装置获取的区域指定信息(未示出)来指定图像的每行中包括的区域。随后，图像处理控制器326基于指定的区域设置区域信息。然后，图像处理控制器326将针对每个区域设置的区域信息传送到编码器354。
另外，在未获取区域指定信息的情况下，图像处理控制器326将不设置区域信息。
此外，例如，图像处理控制器326可生成帧信息并将所生成的帧信息传送到LINK/PHY控制器304。帧信息类似于以上在第一发送方法中描述的实例。
编码器324例如通过诸如与JPEG标准相对应的方法的预定方法对从图像传感器装置102传送来的图像数据进行编码。
在没有从图像处理控制器326获取区域信息的情况下，编码器324将编码的图像数据(即，普通数据)传送到图像数据缓冲器312。
另外，在从图像处理控制器326获取区域信息的情况下，编码器324根据获取的区域信息将与该区域相对应的编码区域数据传送到图像数据缓冲器312。
图像处理单元302例如包括区域切出单元316、区域分析器318、重叠检测器320、优先级设置单元322、编码器324和图像处理控制器326，从而执行根据本实施方式的发送方法。注意，为了方便起见，图26中示出的图像处理单元302的功能块通过划分图像处理单元106的功能来获得，并且如何划分图像处理单元302中的功能并不限于图26所示的实例。
LINK/PHY控制器304例如针对每行将帧信息传送到控制码生成器306和PH生成器308。此外，此时，LINK/PHY控制器304可控制与数据发送有关的协议和发送路径，并且可将控制结果传输到控制码生成器306和PH生成器308。
控制码生成器306为每行设置纠错码。控制码生成器306基于帧信息中的行的数据生成行的纠错码。例如，控制码生成器306将所生成的纠错码传送至组合单元314。此外，控制码生成器306可与PH生成器308合作生成纠错码。
PH生成器308使用帧信息来为每行生成分组报头。此时，在发送区域数据的情况下，如上所述，PH生成器112将指示要发送区域信息(例如，区域数据)的信息作为报头信息类型设置到分组报头的扩展区域。此后，PH生成器308针对扩展区域的至少一部分设置指示将使用有效载荷来发送区域数据的信息。
EBD缓冲器310是临时保持从图像处理单元302(图26的实例中的图像处理控制器326)传送来的附加信息的缓冲器。EBD缓冲器310在预定定时将附加信息作为“嵌入数据”输出到组合单元314。从EBD缓冲器310输出的“嵌入数据”可经由以下描述的图像数据缓冲器312被传送到组合单元314。
图像数据缓冲器312是临时保持从图像处理单元302(图26的实例中的编码器324)传送的数据(普通数据或区域数据)的缓冲器。图像数据缓冲器312在预定定时将所保持的数据针对每行输出到组合单元314。
组合单元314例如基于从控制码生成器306、PH生成器308、EBD缓冲器310和图像数据缓冲器312分别获取的数据来生成要发送的分组。
发送单元328经由数据总线B1针对每行发送从组合单元314传送的分组。
例如，在设置图8所示的区域1、区域2和区域3的情况下，发送单元328使用分组A2发送关于每个区域的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1针对每行发送与每个区域相对应的区域数据，如图24所示。此外，作为另一实例，在设置图10所示的区域1、区域2和区域3的情况下，发送单元328使用分组A2发送与每个区域有关的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1针对每行发送与每个区域相对应的区域数据，如图24所示。
另外，在没有区域设置的情况下，即，从图像数据缓冲器312输出普通数据的情况下，发送单元328针对每行发送将与每行对应的数据存储在有效载荷中的分组。即使在这种情况下，发送单元328也可发送附加信息作为“嵌入数据”。
上述配置仅是实例，并且图像传感器100的功能配置不限于此。例如，执行上述每个功能的装置或电子装置不受限制，只要能实现每个功能即可。作为更具体的实例，IC芯片300的一些功能可设置在IC芯片300的外部。
此外，可添加附加功能，只要不妨碍上述图像传感器100的功能即可，类似于上述第一发送方法。
在上文中，已经参考图26描述了在应用第三发送方法的情况下图像传感器100(发送装置)的功能配置的实例。
(处理器200(接收装置)的配置实例)
接下来，将描述在应用第三发送方法的情况下处理器200(接收装置)的功能配置的实例。例如，图27是示出当应用第三发送方法时处理器200的功能配置的实例的框图。如图27所示，处理器200包括例如报头分离器402、报头解释器404、有效载荷分离器406、EBD解释器408、区域数据分离器410和图像处理单元412。
报头分离器402从接收到的数据中分离出与报头部分相对应的报头数据和与有效载荷部分相对应的有效载荷数据。报头分离器402例如根据通过标准等预先定义的规则从接收的数据分离报头数据。此外，报头分离器402可例如根据标准预先定义的规则从接收的数据中分离有效载荷数据，或者可基于报头解释器404执行的处理结果从接收的数据中分离有效载荷数据。
报头解释器404解释由报头数据指示的内容。
作为具体实例，报头解释器404根据在分组报头的扩展区域的前三位中设置的报头信息类型，识别在扩展区域的前三位以外的区域中设置的信息的格式。随后，报头解释器404根据格式的识别结果读出在扩展区域中设置的各种类型的信息。这使得报头解释器404能够基于例如在扩展区域中设置的信息来识别区域(ROI)信息(例如，区域数据)的发送。随后，报头解释器404将根据在扩展区域中设置的各种类型信息的读取结果而识别出的设置通知给有效载荷分离器406和图像处理单元412(信息提取单元414，将在下面进行描述)。具体地，在报头解释器404已经识别出区域(ROI)信息(例如，区域数据)的发送的情况下，报头解释器404将识别结果通知给有效载荷分离器406和图像处理单元412。
在报头解释器404上执行的处理的实例不限于以上实例。例如，报头解释器404可指定有效载荷数据的位置，并且可将指定的位置传送到报头分离器402。报头解释器404还可在发送“嵌入数据”的分组A2和发送区域数据的分组A1之间进行区分。
有效载荷分离器406基于来自报头解释器404的解释结果，从有效载荷数据中分离附加信息和图像数据(普通数据或区域数据)。
例如，在作为处理目标的分组是分组A2或A3的情况下，有效载荷分离器406可从分组中分离附加信息(嵌入数据)。
此外，作为另一实例，在作为处理目标的分组是分组A1的情况下，有效载荷分离器406从有效载荷数据分离图像数据。
有效载荷分离器406将从有效载荷数据分离的各种类型的数据中的附加信息发送到EBD解释器408。此外，有效载荷分离器406将从有效载荷数据分离的各种数据中的图像数据(区域数据或普通数据)发送到区域数据分离器410。
EBD解释器238解释附加信息(嵌入数据)的内容，然后将附加信息的解释结果输出到区域数据分离器410和图像处理单元412。附加信息(嵌入数据)的格式为如以上参考图22所述。
区域数据分离器410基于附加信息(嵌入数据)的解释结果来区分存储在有效载荷中的图像数据是区域数据还是普通数据。例如，在将区域数据存储在有效载荷中的情况下，区域数据分离器410根据附加信息的解释结果从有效载荷数据中分离区域数据，然后将分离的区域数据发送到图像处理单元412(区域解码器416，将在下面描述)。在将普通数据存储在有效载荷中的情况下，区域数据分离器410根据分组报头的解释结果从有效载荷数据中分离普通数据，然后将分离的普通数据发送到图像处理单元412(普通图像解码器420，将在下面描述)。
图像处理单元412包括信息提取单元414、区域解码器416、区域图像生成器418和普通图像解码器420。
在信息提取单元414已经基于报头解释器404上的解释结果识别出区域(ROI)信息的发送的情况下，信息提取单元414基于附加信息(嵌入数据)的解释结果提取包括在区域信息中的各种类型的信息(具体是区域信息)。随后，信息提取单元214将从附加信息中提取的各种类型的信息输出到区域解码器416和区域图像生成器418。
区域解码器416基于附加信息(嵌入数据)的解释结果，从区域数据分离器410发送的一系列区域数据中分离出与每个区域相对应的区域数据。区域解码器416通过与图像传感器100中的编码相对应的预定方法对每个区域的分离的区域数据进行解码。这时，区域解码器416可基于从附加信息(嵌入数据)提取的各种类型的信息来改变处理的内容。
区域图像生成器418基于从附加信息(例如，嵌入数据)提取的各种类型的信息(例如，区域信息)，从区域解码器416解码的每个区域的区域数据生成表示与该区域相对应的图像的数据。
例如，区域图像生成器418基于附加信息(嵌入数据)中包括的区域信息，辨别哪个区域包括与每行的部分区域相对应的每个区域数据，其是针对每个区域分离的区域数据。此外，区域图像生成器418基于附加信息(嵌入数据)中包括的区域信息，识别图像中设置的每个区域在图像内的位置以及区域的大小。随后，区域图像生成器418基于图像中设置的每个区域在图像中的位置并基于区域大小的识别结果，来组合与该区域相对应的一系列区域数据。如上所述，区域图像生成器418组合与每个区域相对应的一系列区域数据，以生成与在图像中设置的区域相对应的区域图像。
如上所述，区域图像生成器418针对图像中设置的每个区域生成区域图像，并将所生成的区域图像输出至预定的输出目的地。
普通图像解码器420通过与图像传感器100中的编码相对应的预定方法对从区域数据分离器410发送的普通数据进行解码，以生成普通图像，然后将所生成的普通图像输出到预定的输出目的地。
上述配置仅是实例，并且处理器200的功能配置不限于此。例如，执行上述每个功能的装置或电子装置不受限制，只要能实现每个功能即可。作为更具体的实例，可在处理器200的外部提供处理器200的一些功能。
此外，可添加附加功能，只要不阻碍上述处理器200的功能即可，类似于上述第一发送方法。
(评估)
如上所述，在第三发送方法中，图像中设置的每个区域的区域信息作为附加信息(嵌入数据)的一部分在分组A2中发送，并且针对分组A1中的每行发送与每个区域相对应的区域数据。此外，在发送在图像中设置的区域的数据的情况下，在每个分组的报头的扩展区域中设置指示将要发送区域信息的信息(例如，区域数据)。利用上述配置，接收侧基于附加信息(嵌入数据)组合存储在每个分组A1的有效载荷中的区域数据，使得可容易地恢复图像中设置的区域的区域图像。此外，在第三发送方法中，诸如第一发送方法和第二发送方法中的区域的坐标之类的区域数据以外的区域相关信息未插入有效载荷中。因此，与其他发送方法相比，第三发送方法使得可在发送区域相关信息(例如，区域数据)时进一步减少开销。
<3.4.第四发送方法>
接下来，将描述第四发送方法。与上述发送方法类似，第四发送方法中的图像传感器100将与图像中设置的区域有关的区域数据存储在分组的有效载荷中，并针对每行发送数据。因此，在下文中，将着重于与第一发送方法不同的部分来描述第四发送方法，并且将省略与第一发送方法基本相似的部分的详细描述。
(数据格式)
首先，将描述通过第四发送方法发送的数据的格式。例如，图28是示出通过第四发送方法发送的数据的格式的图。注意，在图28中，与图5中相似的附图标记表示与图5所示的实例中的对象相似的对象。
在图28所示的实例中，一系列分组A2的至少一部分用于发送“嵌入数据”。例如，可以以存储在分组A2的有效载荷中的状态发送“嵌入数据”。此外，作为另一实例，嵌入数据可以以存储在分组A2的有效载荷以外的区域中的状态被发送。注意，类似于第一发送方法，第四发送方法中的“嵌入数据”对应于由图像传感器100额外发送的附加信息(换言之，由图像传感器100嵌入的信息)。
例如，图29是示出在第四发送方法中包括在“嵌入数据”中的信息的实例的图。另外，如图29所示，“ROI ID”、“左上坐标”、“高度”、“宽度”、“AD字长度(AD位)”、“曝光”、“增益”和“感测信息”中的每一个均类似于图6所示的实例。
在图28中，“RI”指示关于与存储在有效载荷中的每个区域数据相对应的部分区域的区域信息(ROI信息)。例如，“RI”可包括在对应的行中包括的部分区域的数量或关于每个部分区域的各种类型的信息(例如，标识信息、坐标、长度等)的至少一部分。注意，在下文中，由图28中的“RI”表示的信息也被称为“关于部分区域的信息”。
关于部分区域的信息存储在分组A1的有效载荷的顶部。另外，在关于连续发送的分组A1之间的部分区域的信息中所包括的信息中，除了每个部分区域中的Y坐标之外的其他信息中没有改变的信息可在分组A1中被省略，以在稍后发送。此外，在连续发送的分组A1之间Y坐标增加为1的情况下，可在分组A1中省略Y坐标，以在稍后发送。另外，在关于连续发送的分组A1之间的部分区域的信息中除了每个部分区域的Y坐标之外的任何信息都没有改变并且Y坐标增加了1的情况下，甚至在稍后发送的分组A1中可省略关于部分区域的信息。注意，下面将通过具体实例单独描述该控件。
接下来，参照图30，将特别关注扩展区域的配置来描述用于发送与图像中设置的区域(ROI)有关的区域数据的分组A1的分组报头的配置实例。图30是示出第四发送方法中的分组报头的配置的实例的图示。
如图30中所示，在以第四发送方法发送在图像中设置的区域(ROI)的区域数据的情况下，指示将要发送区域信息的信息(即，与假定发送了区域信息的类型对应的信息)设置为用于发送区域数据的分组A1的分组报头中的报头信息类型。此外，针对扩展区域的至少一部分设置指示根据与要使用有效载荷来发送的部分区域有关的信息的类型的类型的信息(以下，也称为“区域类型(ROI信息类型)”)。即，指示区域类型的信息(ROI信息类型)对应于“指示关于部分区域的信息的类型的信息”的实例。下面将描述指示区域类型的信息的实例。另外，在发送与图像中设置的区域(ROI)有关的区域数据的情况下，分组A1的有效载荷长度可根据该区域的水平宽度而改变。因此，类似于参考图4描述的实例，可在扩展区域的一部分中设置指示有效载荷长度的信息。
随后，将参考图31描述指示区域类型(ROI信息类型)的信息的实例。图31是示出指示区域类型(ROI信息类型)的信息的实例的图。如上所述，在第四种发送方法中，存在一种情况，其中关于部分区域的信息被插入到有效载荷的顶部。作为关于部分区域的信息而包括的各种信息的类型根据连续发送的分组A1之间的部分区域的设置的差异而变化。因此，在分组报头中，根据作为在有效载荷的顶部的部分区域上的信息插入的信息的类型来设置指示区域类型的信息。因此，如图31所示，下面将分别描述可被设置为指示区域类型的信息的值的实例以及在设置该值的情况下被发送为指示区域类型的信息的信息的实例。
在关于部分区域的信息中，除了每个部分区域的Y坐标以外的任何信息都没有变化并且Y坐标增加1的情况下，设置值“4'b0000”。即，在这种情况下，省略了关于有效载荷中的部分区域的信息的插入。
在发送包括在对应行中的部分区域的数量和每个部分区域的标识信息作为关于部分区域的信息的情况下，设置值“4'b0100”。在这种情况下，作为与部分区域有关的信息，存储包括在与顶部相对应的行中的部分区域的数目(ROI的数量)，然后，将用于每个部分区域的标识信息(ROI ID)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
在相应行中包括的部分区域的数量以及每个部分区域的标识信息和宽度(水平方向上的长度)作为关于部分区域的信息被发送的情况下，设置值“4'b0101”。在这种情况下，作为与部分区域有关的信息，存储包括在与顶部相对应的行中的部分区域的数量(ROI数量)，然后，将用于每个部分区域的标识信息(ROI ID)和宽度(ROI长度)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
在对应行中包括的部分区域的数量，每个部分区域的标识信息和X坐标(水平方向上的位置)作为有关部分区域的信息被发送的情况下，设置值“4'b0110”。在这种情况下，作为与部分区域有关的信息，存储包括在与顶部相对应的行中的部分区域的数量(ROI的数量)，然后，将用于每个部分区域的标识信息(ROI ID)和X坐标(ROI X)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
在相应行中包括的部分区域的数量，以及每个部分区域的标识信息、X坐标(水平方向上的位置)和宽度(水平方向上的长度)作为关于部分区域的信息被发送的情况下，设置值“4'b0111”。在这种情况下，作为与部分区域有关的信息，存储包括在与顶部相对应的行中的部分区域的数量(ROI的数量)，然后，将用于每个部分区域的标识信息(ROI ID)、X坐标(ROI X)和宽度(ROI长度)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
在包括在对应行中的部分区域的Y坐标(换句话说，行的Y坐标)作为关于部分区域的信息被发送的情况下，设置值“4'b1000”。在这种情况下，对应于顶部的行的Y坐标(Y)被存储为关于部分区域的信息。
在对应线中包括的部分区域的Y坐标(换言之，行的Y坐标)、行中包括的部分区域的数量以及每个部分区域的标识信息作为关于部分区域的信息被发送的情况下，设置值“4'b1100”。在这种情况下，作为与部分区域有关的信息，以该顺序存储与顶部相对应的行的Y坐标(Y)和该行中包括的部分区域的数量(ROI数量)，然后将用于每个部分区域的标识信息(ROI ID)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
在相应行中包括的部分区域的Y坐标(换言之，该行的Y坐标)、该行中包括的部分区域的数量、每个部分区域的标识信息和宽度(水平方向上的长度)作为关于部分区域的信息被发送的情况下，设置值“4'b1101”。在这种情况下，作为与部分区域有关的信息，以该顺序存储与顶部相对应的行的Y坐标(Y)和该行中包括的部分区域的数量(ROI数量)，然后，将用于每个部分区域的标识信息(ROI ID)和宽度(ROI长度)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
在对应行中包括的部分区域的Y坐标(换言之，行的Y坐标)、行中包括的部分区域的数量，每个部分区域的标识信息和X坐标(水平方向上的位置)作为关于部分区域的信息被发送的情况下，设置值“4'b1110”。在这种情况下，作为与部分区域有关的信息，以该顺序存储与顶部相对应的行的Y坐标(Y)和该行中包括的部分区域的数量(ROI数量)，然后，将用于每个部分区域的标识信息(ROI ID)和X坐标(ROI X)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
对应行中包括的部分区域的Y坐标(换言之，行的Y坐标)，行中包括的部分区域的数量，以及每个部分区域的标识信息、X坐标(水平方向的位置)和宽度(水平方向的长度)作为与部分区域有关的信息被发送的情况下，设置值“4'b1111”。在这种情况下，作为与部分区域有关的信息，以该顺序存储与顶部相对应的行的Y坐标(Y)和该行中包括的部分区域的数量(ROI数量)，然后，将用于每个部分区域的标识信息(ROI ID)、X坐标(ROI X)和宽度(ROI长度)按以下顺序存储，每个部分区域已按该顺序设置为相应行。
(数据实例)
接下来，参考图32至图35，将描述通过第四发送方法发送的数据的具体实例作为在应用第四发送方法的情况下的实例。
例如，图32是示出为图像设置的区域(ROI)的实例的图。在图32中，示出了三个区域，区域1、区域2和区域3，作为为图像设置的区域的实例。此外，在图32中，由在垂直方向和水平方向上延伸的虚线划分的网格示意性地示出了形成图像的一条单位数据(例如，像素)。在图32所示的实例中，为了方便起见，将每个网格的左上顶点的坐标定义为网格的坐标。
此外，图33是示出通过第四发送方法发送的数据的实例的示图，示出了在与图32所示的每个区域有关的区域数据通过第四发送方法来发送的情况下的一帧数据。注意，图33中的分组A2和A3的配置基本上类似于参考图5描述的实例，因此下面的描述将集中在分组A1的配置上。此外，图33中所示的“1”、“2”和“3”中的每一个对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据和区域3的数据。
例如，在区域1的第一行中仅设置区域1的部分区域。因此，对于该行，将区域1的部分区域的区域数据存储在分组A1的有效载荷中。此外，在有效载荷的顶部，部分区域的Y坐标(Y)、部分区域的数量(ROI数量)和区域1的标识信息(I1)、X坐标(X1)和宽度(L1)插入作为关于部分区域的信息。因此，在分组A1的分组报头中将“Fh(＝4'b1111)”设置为区域类型(ROI信息类型)。此外，关于接下来要发送区域数据的区域1的第二行到第四行，关于区域部分区域的信息中，除了部分区域的Y坐标(Y)区域1的第一行没有变化。因此，在用于发送区域1的第二行至第四行中的部分区域的数据的分组A1的有效载荷中，关于部分区域的信息未插入顶部。因此，在分组A1的分组报头中将“0h(＝4'b0000)”设置为区域类型(ROI信息类型)。
另外，在与区域1的第五行相对应的行中设置区域1的部分区域和区域2的部分区域。因此，对于该行，分组A1的有效载荷存储了区域1的部分区域的区域数据和区域2的部分区域的区域数据。此外，在有效载荷的顶部，部分区域的Y坐标(Y)、部分区域的数量(ROI数量)、区域1的标识信息(I1)、X坐标(X1)和宽度(L1)，区域2的标识信息(I2)、X坐标(X2)和宽度(L2)作为关于部分区域的信息插入。因此，在分组A1的分组报头中将“Fh(＝4'b1111)”设置为区域类型(ROI信息类型)。此外，在与接下来要发送区域数据的区域1的第六行相对应的行中，与区域2相对应的部分区域的信息已从第五行改变，即，将两个独立的区域设置为区域2的部分区域。因此，对于此行，分组A1的有效载荷存储区域1的部分区域的区域数据和区域2的两个部分区域的区域数据。此外，在有效载荷的顶部，部分区域的Y坐标(Y)、部分区域的数量(ROI数量)、区域1的标识信息(I1)、X坐标(X1)和宽度(L1)以及区域2的两个部分区域的标识信息(I2)、X坐标(X2)和宽度(L2)作为有关部分区域的信息插入。因此，在分组A1的分组报头中将“Fh(＝4'b1111)”设置为区域类型(ROI信息类型)。
另外，在与区域1的第七行相对应的行中仅设置区域1的部分区域。因此，对于该行，区域1的部分区域的区域数据被存储在分组A1的有效载荷中。请注意，该行与紧接的前一行相似，不同之处在于不存在区域2的部分区域，即区域的数量(ROI数量)和区域1的标识信息(I1)插入有效载荷的顶部，作为有关部分区域的信息。因此，在分组A1的分组报头中将“4h(＝4'b0100)”设置为区域类型(ROI信息类型)。
此外，区域3被设置为在水平方向上包括三个行区域，其中，与第一和第三行相对应的部分区域的左端的X坐标与对应于第二行的部分区域的左端的X坐标不同。
具体地，在区域3的第一行中仅设置区域3的部分区域。因此，对于该行，将区域3的部分区域的区域数据存储在分组A1的有效载荷中。此外，在有效载荷的顶部，部分区域的Y坐标(Y)和部分区域的数量(ROI数量)，以及区域3的标识信息(I3)、X坐标(X3)和宽度(L3)作为关于部分区域的信息插入。因此，在分组A1的分组报头中将“Fh(＝4'b1111)”设置为区域类型(ROI信息类型)。区域3的第二行类似于紧接在前的行，不同之处在于部分区域的X坐标和宽度不同，即区域数量(ROI数量)和区域3的标识信息(I3)、X坐标(X3)和宽度(L3)插入有效载荷的顶部，作为有关部分区域的信息。因此，在分组A1的分组报头中将“7h(＝4'b0111)”设置为区域类型(ROI信息类型)。类似地，区域3的第三行与前一行类似，不同之处在于部分区域的X坐标和宽度不同，即区域数量(ROI数量)和区域3的标识信息(I3)、X坐标(X3)和宽度(L3)被插入到有效载荷的顶部，作为关于部分区域的信息。因此，在分组A1的分组报头中将“7h(＝4'b0111)”设置为区域类型(ROI信息类型)。
另外，图34是示出为图像设置的区域(ROI)的另一实例的图。在图在图34中，示出了三个区域，区域1、区域2和区域3，作为为图像设置的区域的实例。注意，在图34中，类似于参考图8所述的实例，由在垂直方向和水平方向上延伸的虚线划分的网格示意性地示出了形成图像的一条单位数据。因此，还是在图34所示的实例中，为了方便起见，将每个网格的左上顶点的坐标定义为网格的坐标。
此外，图35是示出通过第四发送方法发送的数据的另一实例的示图，示出在与图34中示出的每个区域有关的区域数据通过第四发送方法发送发送的情况下的一帧数据。注意，图35中的分组A2和A3的配置也基本上类似于参照图5描述的实例，因此描述将集中在分组A1的配置上。此外，图35中所示的“1”、“2”和“3”中的每一个对应于存储在分组A1的有效载荷中的区域1的数据、区域2的数据和区域3的数据。
例如，在区域1的第一行中仅设置区域1的部分区域。因此，对于该行，将区域1的部分区域的区域数据存储在分组A1的有效载荷中。此外，在有效载荷的顶部，部分区域的Y坐标(Y)、部分区域的数量(ROI数量)和区域1的标识信息(I1)、X坐标(X1)和宽度(L1)作为关于部分区域的信息插入。因此，在分组A1的分组报头中将“Fh(＝4'b1111)”设置为区域类型(ROI信息类型)。此外，关于接下来要发送区域数据的区域1的第二行到第四行，关于部分区域的信息中，除了部分区域的Y坐标(Y)之外区域1的第一行没有变化。因此，在用于发送区域1的第二行至第四行中的部分区域的数据的分组A1的有效载荷的顶部，没有插入关于部分区域的信息。因此，在分组A1的分组报头中将“0h(＝4'b0000)”设置为区域类型(ROI信息类型)。
另外，在与区域1的第五行相对应的行中设置区域1的部分区域和区域2的部分区域。因此，对于该行，分组A1的有效载荷存储了区域1的部分区域的区域数据和区域2的部分区域的区域数据。此外，在有效载荷的顶部，部分区域的Y坐标(Y)、部分区域的数量(ROI数量)、区域1的标识信息(I1)、X坐标(X1)和宽度(L1)、区域2的标识信息(I2)、X坐标(X2)和宽度(L2)作为关于部分区域的信息插入。因此，在分组A1的分组报头中将“Fh(＝4'b1111)”设置为区域类型(ROI信息类型)。另外，在行中，区域1的部分区域的一部分和区域2的部分区域的一部分彼此重叠。关于重叠区域(重叠区域ROO)，区域1的部分区域的区域数据和区域2的部分区域的区域数据中的哪一个被存储在有效载荷中(即，被省略)是可选的。例如，在图35所示的实例中，对于第二区域，省略了与第一区域的重叠区域(重叠区域ROO)。即使在省略重叠区域的情况下，也基于省略前的状态来设定被设置为关于部分区域的信息的每个部分区域的X坐标和宽度。
另外，仅在与区域2的第二行相对应的行中设置区域2的部分区域。因此，对于该行，区域2的部分区域的区域数据被存储在分组A1的有效载荷中。请注意，该行与紧接的前一行相似，除了不存在区域1的部分区域，也就是说，区域2的区域数量(ROI数量)和标识信息(I2)插入有效载荷的顶部，作为有关部分区域的信息。因此，在分组A1的分组报头中将“4h(＝4'b0100)”设置为区域类型(ROI信息类型)。此外，关于接下来要发送区域数据的区域2的第三行，在关于部分区域的信息中，除了部分区域的Y坐标(Y)之外，区域2的第二行没有变化。因此，在用于发送区域2的第三行中的部分区域的数据的分组A1的有效载荷的顶部，没有插入关于部分区域的信息。因此，在分组A1的分组报头中将“0h(＝4'b0000)”设置为区域类型(ROI信息类型)。
区域3类似于参考图32和33描述的实例，因此将省略其详细描述。
(图像传感器100(发送装置)的配置实例)
接下来，将描述在应用第四发送方法的情况下图像传感器100(发送装置)的功能配置的实例。例如，图36是示出在应用第四发送方法的情况下图像传感器100的功能配置的实例的框图。如图36所示，图像传感器100例如包括图像传感器装置102和IC芯片330。图36中的图像传感器100以从通信系统1000所包含的诸如电池的内部电源(未图示)提供的电力或从通信系统1000的外部电源提供的电力进行操作。
图36所示的图像传感器装置102基本上类似于图12所示的图像传感器装置102。
IC芯片330是由IC形成的芯片，其中集成有与使用第三发送方法的数据发送功能有关的电路，并且用于处理从图像传感器装置102传输的图像数据并发送与生成的图像对应的数据。与根据第四发送方法的数据发送功能有关的电路不限于以一个IC芯片的形式实现，并且可由多个IC芯片形成。
IC芯片330包括例如图像处理单元332、LINK/PHY控制器334、控制码生成器336、PH生成器338、EBD缓冲器340、图像数据缓冲器342、组合单元344和发送单元358。
图像处理单元332可形成为具有执行与根据本实施方式的发送方法有关的处理的功能的一个电路。当执行与根据本实施方式的发送方法有关的处理时，图像处理单元332通过LINK/PHY控制器334、控制码生成器336、PH生成器338、EBD缓冲器340、图像数据缓冲器342、组合单元344和发送单元358，使用第三发送方法，针对图像中的每行控制以发送与图像中设置的区域相对应的区域数据。图像处理单元332还可控制以针对每行发送从图像传感器装置102传送的图像数据(即，表示整个图像的数据)。
图像处理单元332可由诸如MPU的处理器形成。
将以功能块的形式描述图像处理单元332的功能。如图36所示，图像处理单元332例如包括区域切出单元346、区域分析器348、重叠检测器350、优先级设置单元322、图像处理控制器326和编码器324。注意，区域切出单元346、区域分析器348、重叠检测器350和优先级设置单元322分别基本上类似于图26所示的区域切出单元316、区域分析器318、重叠检测器320和优先级设置单322，因此将省略其详细描述。
图像处理控制器356具有执行与根据本实施方式的发送方法有关的处理的功能，并且因此将与为图像设置的区域有关的区域信息传送到编码器324和EBD缓冲器340。控制器356可设置除了区域信息之外的附加信息，并且可将区域信息和其他附加信息作为一系列附加信息传送到EBD缓冲器340。注意，包括区域信息的一系列附加信息的实例例如包括在参考图29描述的“嵌入数据”中定义的信息。
设置附加信息的过程的实例可以是生成附加信息的过程。生成附加信息的过程的实例包括一个或两个或更多个过程，即，生成指示该区域中的数据量的信息的过程、生成指示该区域的大小的信息的过程以及生成指示区域优先级的信息。作为具体实例，图像处理控制器356可基于区域分析器348、重叠检测器350和优先级设置单元322的处理结果(即存储在存储单元中的处理结果)，执行用于设置上述附加信息的各种处理。
注意，设置附加信息的过程不限于生成附加信息的过程。例如，图像处理控制器356可将从图像传感器装置102获取的信息，诸如曝光信息和增益信息，设置为附加信息。此外，图像处理控制器356可将与各个区域有关的数据设置为附加信息，诸如指示物理区域长度的数据、指示输出区域长度的数据、指示图像格式的数据以及指示数据总量的数据。
图像处理控制器356基于从区域切出单元346获取的区域指定信息、区域分析器348、重叠检测器350和优先级设置单元322的处理结果(即，存储在存储单元中的处理结果)，来指定包括在图像的各行中的区域。另外，作为另一实例，图像处理控制器356可基于从外部装置获取的区域指定信息(未示出)来指定包括在图像的各行中的区域。随后，图像处理控制器356基于指定的区域设置区域信息。然后，图像处理控制器356将针对每个区域设置的区域信息传送到编码器354。
另外，在未获取区域指定信息的情况下，图像处理控制器356将不设置区域信息。
此外，例如，图像处理控制器356可生成帧信息，并将所生成的帧信息传送到LINK/PHY控制器334。帧信息类似于以上在第一发送方法中描述的实例。
编码器354通过预定方法，诸如对应于例如JPEG标准的方法，对从图像传感器装置102传送的图像数据进行编码。
在没有从图像处理控制器356获取区域信息的情况下，编码器354将编码的图像数据(即，普通数据)传送到图像数据缓冲器342。
另外，在从图像处理控制器356获取区域信息的情况下，编码器354将获取的区域信息和与该区域相对应的编码区域数据传送到图像数据缓冲器342。
图像处理单元332例如包括区域切出单元346、区域分析器348、重叠检测器350、优先级设置单元352、编码器354和图像处理控制器356，从而执行根据本实施方式的发送方法。注意，为了方便起见，图36中示出的图像处理单元332的功能块通过划分图像处理单元332的功能来获得，并且如何划分图像处理单元332中的功能并不限于图36所示的实例。
LINK/PHY控制器334例如针对每行将帧信息传送到控制码生成器336和PH生成器338。此外，此时，LINK/PHY控制器334可控制与数据发送有关的协议和发送路径，并且可将控制结果传输到控制码生成器336和PH生成器338。
控制码生成器336为每行设置纠错码。控制码生成器336基于帧信息中的行的数据来生成行的纠错码。例如，控制码生成器336将所生成的纠错码传送到组合单元344。此外，控制码生成器336可与PH生成器338协作生成纠错码。
PH生成器338使用帧信息来为每行生成分组报头。此时，在发送区域数据的情况下，如上所述，PH生成器112将指示要发送区域信息(例如，区域数据)的信息作为报头信息类型设置到分组报头的扩展区域。此后，PH生成器338针对扩展区域的至少一部分设置指示使用有效载荷发送区域数据的信息以及指示与关于部分区域的信息相对应的区域类型(ROI信息类型)的信息，以插入有效载荷中。
EBD缓冲器340是临时保持从图像处理单元332(图36的实例中的图像处理控制器356)传送来的附加信息的缓冲器。EBD缓冲器340在预定定时将附加信息作为“嵌入数据”输出到组合单元344。从EBD缓冲器340输出的“嵌入数据”可经由下面描述的图像数据缓冲器342被传送到组合单元344。
图像数据缓冲器342是临时保持从图像处理单元332(图36的实例中的编码器324)传送的数据(普通数据或区域数据)的缓冲器。图像数据缓冲器342在预定的定时将所保持的数据针对每行输出到组合单元344。
组合单元344例如基于从控制码生成器336、PH生成器338、EBD缓冲器340和图像数据缓冲器342获取的数据来生成要发送的分组。
发送单元358经由数据总线B1针对每行发送从组合单元344传送的分组。
例如，在设置图32所示的区域1、区域2和区域3的情况下，发送单元358使用分组A2发送与每个区域有关的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1，针对图33所示的每行发送与每个区域相对应的区域数据。此外，作为另一实例，在设置图34所示的区域1、区域2和区域3的情况下，发送单元358使用分组A2发送关于每个区域的区域信息作为附加信息(嵌入数据)的一部分，同时使用分组A1，针对图35所示的每行发送与每个区域相对应的区域数据。
另外，在没有区域设置的情况下，即，从图像数据缓冲器342输出普通数据的情况下，发送单元358针对每行发送具有与存储在有效载荷中的每行对应的数据的分组。即使在这种情况下，发送单元358也可发送附加信息作为“嵌入数据”。
上述配置仅是实例，并且图像传感器100的功能配置不限于此。例如，执行上述每个功能的装置或电子装置不受限制，只要可实现每个功能即可。作为更具体的实例，IC芯片330的一些功能可提供在IC芯片330的外部。
此外，可添加附加功能，只要不妨碍上述图像传感器100的功能即可，类似于上述第一发送方法。
在上文中，已经参考图36描述了在应用第三发送方法的情况下图像传感器100(发送装置)的功能配置的实例。
(处理器200(接收装置)的配置实例)
接下来，将描述在应用第四发送方法的情况下处理器200(接收装置)的功能配置的实例。例如，图37是示出当应用第四发送方法时处理器200的功能配置的实例的框图。如图37所示，处理器200包括例如报头分离器432、报头解释器434、有效载荷分离器436、EBD解释器438、区域数据分离器440和图像处理单元442。
报头分离器432从接收到的数据中分离出与报头部分相对应的报头数据和与有效载荷部分相对应的有效载荷数据。报头分离器432例如根据通过标准等预先定义的规则从接收的数据中分离报头数据。此外，报头分离器432可例如根据标准预先定义的规则从接收的数据中分离有效载荷数据，或者可基于报头解释器434执行的处理结果从接收的数据中分离有效载荷数据。
报头解释器434解释由报头数据指示的内容。
作为具体实例，报头解释器434根据在分组报头的扩展区域的前三位中设置的报头信息类型，识别在扩展区域的前三位以外的区域中设置的信息的格式。随后，报头解释器434根据格式的识别结果，读出在扩展区域中设置的各种类型的信息。这使得报头解释器434能够基于例如在扩展区域中设置的信息来识别区域(ROI)信息(例如，区域数据)的发送或区域类型，即，作为与部分区域有关的信息将被插入到有效载荷中的信息的类型。随后，报头解释器434将根据在扩展区域中设置的各种信息的读取结果而识别出的设置通知给有效载荷分离器436和图像处理单元442(信息提取单元444，将在下面进行描述)。具体地，在报头解释器434已经识别出区域(ROI)信息(例如，区域数据)的发送的情况下，报头解释器434将识别结果和识别的区域类型通知给有效载荷分离器436和图像处理单元442。
在报头解释器434上执行的处理的实例不限于以上实例。例如，报头解释器434可指定有效载荷数据的位置，并且可将指定的位置传送到报头分离器432。报头解释器434还可在发送“嵌入数据”的分组A2和发送区域数据的分组A1之间进行区分。
有效载荷分离器436基于来自报头解释器434的解释结果，从有效载荷数据中分离附加信息、关于部分区域的信息以及图像数据(普通数据或区域数据)。
例如，在作为处理目标的分组是分组A2或A3的情况下，有效载荷分离器436可从分组中分离附加信息(嵌入数据)。
此外，作为另一实例，在作为处理目标的分组是分组A1的情况下，有效载荷分离器436从有效载荷数据中分离出关于部分区域的信息(ROI信息(RI))和图像数据。
有效载荷分离器436将从有效载荷数据分离的各种类型的数据中的附加信息发送到EBD解释器438。此外，有效载荷分离器436将从有效载荷数据中分离出的各种数据中的关于部分区域的信息和图像数据(区域数据或普通数据)发送到区域数据分离器440。有效载荷分离器436。
EBD解释器438解释附加信息(嵌入数据)的内容，然后将附加信息的解释结果输出到区域数据分离器440和图像处理单元442。附加信息(嵌入数据)的格式如以上参考图29所述。
区域数据分离器440基于附加信息(嵌入数据)的解释结果来区分存储在有效载荷中的图像数据是区域数据还是普通数据。例如，在将区域数据存储在有效载荷中的情况下，区域数据分离器440根据附加信息的解释结果，从有效载荷数据中分离出包括关于部分区域的信息(ROI信息(RI))和区域数据的一系列数据，然后将分离的数据发送到图像处理单元442(区域解码器416，将在下面描述)。在将普通数据存储在有效载荷中的情况下，区域数据分离器440从有效载荷数据分离普通数据，然后将分离的普通数据发送到图像处理单元442(普通图像解码器450，将在下面描述)。
图像处理单元442包括信息提取单元444、区域解码器446、区域图像生成器448和普通图像解码器450。
在信息提取单元444已经基于报头解释器434上的解释结果识别出区域(ROI)信息的发送的情况下，信息提取单元444基于附加信息(嵌入数据)的解释结果提取包括在附加信息中的各种类型的信息(具体是区域信息)。随后，信息提取单元214将从附加信息中提取的各种类型的信息以及作为报头解释器434获得的解释结果而获取的区域类型输出到区域解码器446和区域图像生成器448。
区域解码器446根据从信息提取单元444输出的区域类型，从从区域数据分离器440发送的一系列数据中提取关于部分区域的信息(ROI信息(RI))。此外，区域解码器446基于提取的关于部分区域的信息，从一系列数据中分离出与每个区域相对应的区域数据。此时，区域解码器446根据包括在与部分区域有关的信息中的部分区域的数量(ROI数量)来识别包括在一系列数据中的区域数据的数量(换言之，包括在相应行中的区域的数量)。此外，区域解码器446根据关于部分区域的信息中包括的每个区域的宽度(ROI长度)，识别与每个区域相对应的区域数据的长度。这使得区域解码器446能够将与每个区域相对应的区域数据从上述数据序列中分离出来。区域解码器446通过对应于图像传感器100中的编码的预定方法对每个区域的分离的区域数据进行解码。这时，区域解码器446可基于从附加信息(嵌入数据)提取的各种信息来改变处理的内容。
区域图像生成器448基于从附加信息(嵌入数据)提取的各种信息(例如，区域信息)，并基于有关部分区域的信息(ROI信息(RI))，针对由区域解码器446解码的每个区域，从区域数据生成表示与该区域相对应的图像的数据。
例如，区域图像生成器448基于关于部分区域的信息(ROI信息(RI))中所包括的标识信息(ROI ID)来辨别哪个区域包括与每行的部分区域相对应的每条区域数据，其是针对每个区域分离的区域数据。此外，区域图像生成器448基于包括在关于部分区域的信息中的X坐标(ROI X)和宽度(ROI长度)，识别图像中设置的每个区域在图像内的位置以及区域的大小。随后，区域图像生成器448基于图像中设置的每个区域在图像中的位置并基于区域大小的识别结果，来组合与该区域相对应的一系列区域数据。如上所述，区域图像生成器448组合与每个区域相对应的一系列区域数据，以生成与在图像中设置的区域相对应的区域图像。
如上所述，区域图像生成器448针对图像中设置的每个区域生成区域图像，并将所生成的区域图像输出至预定的输出目的地。
普通图像解码器450通过与图像传感器100中的编码相对应的预定方法对从区域数据分离器440发送的普通数据进行解码，以生成普通图像，然后将所生成的普通图像输出至预定的输出目的地。
上述配置仅是实例，并且处理器200的功能配置不限于此。例如，执行上述每个功能的装置或电子装置不受限制，只要能实现每个功能即可。作为更具体的实例，可在处理器200的外部提供处理器200的一些功能。
此外，可添加附加功能，只要不妨碍上述处理器200的功能即可，类似于上述第一发送方法。
(评估)
如上所述，在第四发送方法中，图像中设置的每个区域的区域信息在分组A2中作为附加信息(嵌入数据)的一部分被发送，并且在分组A1中针对每行发送与每个区域相对应的区域数据。此外，在发送在图像中设置的区域的数据的情况下，在每个分组的报头的扩展区域中设置指示将要发送区域信息的信息(例如，区域数据)。此外，在这种情况下，可将与对应行中包括的每个区域的每个部分区域有关的信息(ROI信息(RI))插入每个分组的有效载荷中。此时，根据关于插入到有效载荷中的部分区域的信息的类型，为每个分组的报头的扩展区域设置区域类型(ROI信息类型)。利用上述配置，接收侧基于附加信息(嵌入数据)和关于部分区域的信息(ROI信息(RI))，组合存储在每个分组A1的有效载荷中的区域数据，使得可容易地恢复图像中设置的区域的区域图像。如上所述，在第四发送方法中，可针对图像中设置的区域(ROI)的每行，将关于每个部分区域的信息的精细设置为关于部分区域的信息(ROI信息(RI))。由于这种特性，第四方法使得可发送关于具有任意形状的区域的信息。
<3.5.补充>
注意，上述实例仅是实例，并且不一定限制根据本公开的技术，特别是与用于发送与针对图像设置的区域(ROI)有关的区域数据的发送方法有关的技术。例如，发送方法不受限制，只要接收方能够识别分组的有效载荷是否包括区域数据即可。不需要设置指示区域信息将被发送到分组报头的扩展区域的信息。作为具体实例，接收侧可基于分组报头的扩展区域或关于包括在附加信息(嵌入数据)中的区域(ROI)的信息来识别分组的有效载荷是否包括区域数据，诸如“ROI ID”、“左上坐标”、“高度”和“宽度”。
<<4.结论>>
上面已经参考附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于这样的实例。显然，在本公开的技术领域中的普通技术人员可想到在所附权利要求中描述的技术思想的范围内的各种变更或校正，并且应当理解，这样的变更或校正将自然地属于本公开的技术范围。
此外，本说明书中描述的有益效果仅是描述性或示例性的，而非限制性的。换句话说，根据本发明的技术，除了前述有益效果之外或代替前述有益效果，还提供根据本说明书的描述对于本领域技术人员显而易见的其他有益效果。
注意，以下配置也落入本公开的技术范围内。
(1)一种发送装置，包括
图像处理单元，控制以发送包括关于从图像检测到的区域的区域信息的第一分组，并且针对所述图像中检测到至少所述区域的每行控制以发送第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中的与所述行相对应的部分区域的区域数据，
其中，所述报头包括：所述有效载荷中包含的数据的标识信息；所述报头中包含的信息的纠错码；和扩展区域，设置为介于所述标识信息和所述纠错码之间，并且
在所述扩展区域的至少一部分中设置有指示所述区域数据是否包含在与所述报头对应的有效载荷中的信息。
(2)根据(1)所述的发送装置，其中，所述报头包括：按下述顺序排列的指示帧的开始的信息、指示所述帧的结束的信息、指示相应的行是否有效的信息、行号、指示行是否具有嵌入数据的信息、所述标识信息、所述扩展区域和所述纠错码。
(3)根据(1)或(2)所述的发送装置，其中，所述第二分组是针对所述行所包含的每个所述部分区域分别发送的。
(4)根据(3)所述的发送装置，
其中，所述有效载荷包括关于相应的部分区域的坐标的信息，并且
在所述扩展区域中设置有指示所述有效载荷包括关于所述坐标的信息的信息。
(5)根据(1)或(2)所述的发送装置，
其中，针对每行发送所述第二分组，并且
所述第二分组中包括的有效载荷包括所述行中包括的每个所述部分区域的区域数据。
(6)根据(5)所述的发送装置，其中，与包含多个所述部分区域的行对应的所述第二分组的有效载荷在与彼此分离的两个部分区域中的每一个对应的区域数据之间，包括与所述两个部分区域之间的间隔对应的数据。
(7)根据(6)所述的发送装置，
其中，所述有效载荷包括关于相应的行中包括的部分区域中的顶部部分区域的坐标的信息，并且
在所述扩展区域中设置有指示所述有效载荷包括关于所述坐标的信息的信息。
(8)根据(5)所述的发送装置，其中，基于关于包括所述第一分组中包含的部分区域的区域的区域信息，指定与所述有效载荷所包含的一个或多个区域数据的每一个相对应的所述部分区域在所述图像内的位置中。
(9)根据(5)所述的发送装置，
其中，所述有效载荷包括与关于相应的行中包括的部分区域的信息，并且
在所述扩展区域中设置有指示与所述有效载荷中包括的部分区域有关的信息的类型的信息。
(10)根据(9)所述的发送装置，其中，关于所述部分区域的信息包括关于在相应的行中包括的部分区域的数量的信息，以及每个所述部分区域的关于所述区域的标识信息、坐标以及长度中的至少一个信息。
(11)根据(9)或(10)所述的发送装置，其中，在与紧接在第一行之后的第二行相对应的有效载荷中设置有关于所述部分区域的信息之中的具有与所述第一行不同的设定值的信息。
(12)根据(1)至(11)中任一项所述的发送装置，其中，所述区域信息包括与所述区域有关的标识信息、坐标、高度、宽度、AD字长、曝光、增益、关于被摄体的信息以及用于后期信号处理的信息中的至少一项。
(13)一种接收装置，包括
图像处理单元，其恢复与相对应的部分图像，基于包括从图像检测到的区域的区域信息的第一分组的接收结果和针对图像中的检测出的至少所述区域的每行的第二分组的接收结果，恢复与所述区域相对应的部分图像，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中的与所述行相对应的部分区域的区域数据，
其中，所述报头包括：所述有效载荷中包括的数据的标识信息；所述报头中包含的信息的纠错码；和扩展区域，设置为介于所述标识信息和所述纠错码之间，并且
在所述扩展区域的至少一部分中，设置有指示所述区域数据是否包含在与所述报头对应的有效载荷中的信息。
(14)根据(13)所述的接收装置，
其中，在针对所述报头的扩展区域的至少一部分设置了指示所述区域数据被包括在与所述报头相对应的有效载荷中的信息的情况下，
所述图像处理单元基于所述第一分组的接收结果和所述第二分组的接收结果来恢复与所述区域相对应的部分图像。
(15)根据(13)或(14)所述的接收装置，其中，所述图像处理单元基于所述区域信息，通过对包括在一个或多个所述第二分组的有效载荷中的所述区域数据进行恢复处理，来恢复与所述区域相对应的部分图像。
(16)根据(13)或(14)所述的接收装置，
其中，针对所述行中包括的每个部分区域分别发送所述第二分组，
所述有效载荷包括关于相应的部分区域的坐标的信息，
在所述扩展区域中设置指示所述有效载荷包括关于所述坐标的信息的信息，并且
所述图像处理单元针对所述图像中设置的每个区域，基于所述区域信息以及关于包含在与所述区域的所述部分区域相对应的一个或多个第二分组的有效载荷中的坐标的信息，对所述一个或多个第二分组的有效载荷中包括的区域数据执行恢复处理，从而恢复与所述区域相对应的部分图像。
(17)根据(13)或(14)所述的接收装置，
其中，与包含多个所述部分区域的行对应的所述第二分组的有效载荷在与彼此分离的两个部分区域中的每一个对应的区域数据之间，包括与所述图像中的所述两个部分区域之间的间隔对应的数据，
所述有效载荷包括关于所述对应的行中包括的部分区域中的顶部部分区域的坐标的信息，
在所述扩展区域中设置有指示所述有效载荷包括关于坐标的信息的信息，并且
所述图像处理单元基于所述区域信息以及包括在所述一个或多个第二分组的有效载荷中的坐标，针对每个区域对所述一个或多个第二分组的有效载荷中包括的区域数据执行恢复处理，从而恢复与所述区域相对应的部分图像。
(18)根据(13)或(14)所述的接收装置，
其中，所述有效载荷包括关于所述相应行中包括的部分区域的信息，
在所述扩展区域中设置有指示与所述有效载荷中包括的部分区域有关的信息的类型的信息，并且
所述图像处理单元基于所述区域信息以及针对所述一个或多个第二分组中的每一个基于指示设置在所述扩展区域的所述种类的信息提取的关于包括在所述有效载荷中的部分区域的信息，针对每个所述区域对所述一个或多个第二分组的有效载荷中包括的区域数据执行恢复处理，从而恢复与所述区域相对应的部分图像。
(19)一种通信系统，包括：
发送装置，包括第一图像处理单元，所述第一图像处理单元控制以发送包括关于从图像检测到的区域的区域信息的第一分组，并且针对在所述图像中检测出的至少所述区域的每行控制以发送的第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中与所述行相对应的部分区域的区域数据；和
接收装置，包括第二图像处理单元，所述第二图像处理单元基于所述第一分组的接收结果和针对在所述图像中检测出的至少所述区域的每行的第二分组的接收结果，恢复所述区域对应的部分图像，
其中，所述报头包括：所述有效载荷中包含的数据的标识信息；所述报头中包含的信息的纠错码；和扩展区域，提供为介于所述标识信息和所述纠错码之间，并且
在所述扩展区域的至少一部分中设置有指示所述区域数据是否包含在与所述报头对应的有效载荷中的信息。
(20)一种发送装置，包括
图像处理单元，控制以发送包括关于从图像检测到的区域的区域信息的第一分组，并且针对所述图像中检测出至少所述区域的每行，控制以发送第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中所述行相对应的部分区域的区域数据，
其中，在所述第二分组的接收侧，基于包括在与所述有效载荷相对应的报头中的信息和所述区域信息中的至少一项，识别所述第二分组的有效载荷是否包括所述区域数据。
(21)一种接收装置，包括
图像处理单元，基于包括关于从图像检测到的所述区域的区域信息的第一分组的接收结果和针对所述图像中检测出至少所述区的每行的第二分组的接收结果，恢复与所述区域相对应的部分图像，其中所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中的与所述行相对应的部分区域的区域数据，
其中，所述图像处理单元基于包括在与所述有效载荷相对应的报头中的信息和所述区域信息中的至少一项，识别所述第二分组的有效载荷是否包括所述区域数据。
(22)一种通信系统，包括：
发送装置，包括第一图像处理单元，所述第一图像处理单元控制以发送包括关于从图像检测到的区域有关的区域信息的第一分组，并且针对在所述图像中检测出至少所述区域的每行控制以发送第二分组，所述第二分组包括：包含关于所述行的信息的报头；以及有效载荷，包括关于所述区域中的与所述行相对应的部分区域的区域数据；以及
接收装置，包括第二图像处理单元，第二图像处理单元基于所述第一分组的接收结果和针对在所述图像之中检测出至少所述区域的每行的第二分组的接收结果，恢复所述区域对应的部分图像，
其中，所述第二图像处理单元基于包括在与所述有效载荷相对应的报头中的信息和区域信息中的至少一项，识别所述第二分组的有效载荷是否包括所述区域数据。
符号说明
1000通信系统
100 图像传感器
102 图像传感器装置
104、130、300 IC芯片
106、132、302 图像处理单元
108、304、334 LINK/PHY控制器
110、306、336 控制码生成器
112、134、308、338 PH生成器
114、138、310、340 EBD缓冲器
116、312、342 图像数据缓冲区
118、136、314 组合单元
120、328、358 发送单元
122、316、346 区域切出单元
124、326 图像处理控制器
126、140、324、354 编码器
318、348 区域分析器
320、350 重叠检测器
322、352 优先级设置单元
200 处理器
202、232、402、432 报头分离器
204、234、404、434 报头解释器
206、236、406、436 有效载荷分离器
208、238、408、438 EBD解释器
210 帧存储器
212、240、412、442 图像处理单元
214、242、414、444 信息提取单元
216、244、416、446 区域解码器
218、246、418、448 区域图像生成器
220、420、450 普通图像解码器
410、440 地区数据分离器
800 存储器
900 显示装置。
