摄像设备及其控制方法、程序和存储介质
技术领域
本发明涉及摄像设备中所使用的自动摄像技术。
背景技术
在无需来自用户的拍摄指示的情况下周期性地进行连续拍照的生活记录照相机是已知的(专利文献1)。生活记录照相机是在利用带子等附着至用户的身体的状态下被使用的，并且将来自用户的日常生活的场景按设置时间间隔记录为图像。生活记录照相机不是在通过用户按下快门按钮等所指定的时间进行拍照。而是该照相机按每个设置时间间隔自动进行拍照，从而使得可以拍摄通常将不会拍摄的意外瞬间的图像。
专利文献2公开了在被配置为能够改变拍摄方向的摄像设备中应用的、自动搜索到并拍摄被摄体的技术。即使在自动摄像中，基于所检测到的被摄体来对拍照进行构图也使得可以提高拍摄到用户将喜欢的图像的机会。
现有技术文献
专利文献
专利文献1：日本特表2016-536868
专利文献2：日本专利05453953
发明内容
发明要解决的问题
在为了生活记录的目的而拍摄图像时，也可能会记录用户不太感兴趣的图像。使照相机自动平摇和俯仰以搜索到周边的被摄体并按包括所检测到的被摄体的视角进行拍照，这可以提高记录将被用户喜欢的图像的机会。
然而，在用户将摄像设备穿戴在他或她的身上的状态下搜索被摄体的情况下，摄像设备本身正在移动。如此，即使在执行了搜索操作之后、将摄像设备再次指向所检测到的被摄体以拍摄该被摄体，该被摄体也可能已看不见。还存在被摄体已离开且过小、这使得被摄体搜索无意义的情形。这种情形在以下方面存在问题：不仅用户不能获得他或她喜欢的图像，而且还将消耗电池电量以重新进行被摄体搜索，这样减少了可以拍摄图像的时间量。
本发明是有鉴于上述问题而实现的，并且消除了针对被摄体的无意义搜索，且增加了可以获得用户喜欢的图像的概率。
用于解决问题的方案
根据本发明的一种摄像设备，其特征在于，包括：摄像部件，用于拍摄被摄体图像；被摄体检测部件，用于从所述摄像部件所拍摄到的图像数据中检测被摄体；状态检测部件，用于检测与所述摄像设备本身的移动的状态有关的信息；以及控制部件，用于基于所述状态检测部件所检测到的所述摄像设备的状态信息，来对所述被摄体检测部件搜索被摄体的范围进行控制。
发明的效果
根据本发明，可以消除针对被摄体的无意义搜索，并且可以增加能够获得用户喜欢的图像的概率。
通过以下结合附图所进行的说明，本发明的其它特征和优点将显而易见。注意，在整个附图中，相同的附图标记表示相同或相似的组件。
附图说明
包括在说明书中并构成说明书一部分的附图示出了本发明的实施例，并连同这些描述一起用来说明本发明的原理。
图1A是示意性示出用作根据本发明的摄像设备的第一实施例的照相机的外观的图。
图1B是示意性示出用作根据本发明的摄像设备的第一实施例的照相机的外观的图。
图2是示出根据第一实施例的照相机的总体结构的框图。
图3是示出照相机和外部装置之间的无线通信系统的结构的示例的图。
图4是示出外部装置的结构的图。
图5是示出照相机和外部装置的结构的图。
图6是示出外部装置的结构的图。
图7A是示出第一控制单元所执行的操作的流程图。
图7B是示出第一控制单元所执行的操作的流程图。
图8是示出第二控制单元所执行的操作的流程图。
图9是示出在摄像模式处理中执行的操作的流程图。
图10A是示出拍摄图像内的区域分割的图。
图10B是示出拍摄图像内的区域分割的图。
图10C是示出拍摄图像内的区域分割的图。
图10D是示出拍摄图像内的区域分割的图。
图10E是示出拍摄图像内的区域分割的图。
图11是示出神经网络的图。
图12是示出外部装置中的图像的浏览的图。
图13是示出学习模式判断的流程图。
图14是示出学习处理的流程图。
图15A是示出附接附件的示例的图。
图15B是示出附接附件的示例的图。
图15C是示出附接附件的示例的图。
图15D是示出附接附件的示例的图。
图16A是示出在附接手持式附件时的被摄体搜索范围的图。
图16B是示出在附接手持式附件时的被摄体搜索范围的图。
图17A是示出在附接桌面式附件时的被摄体搜索范围的图。
图17B是示出在附接桌面式附件时的被摄体搜索范围的图。
图18是示出针对各个附件类型的控制的图。
具体实施方式
以下将参考附图来详细说明本发明的实施例。
(第一实施例)
<照相机结构>
图1A和图1B是示意性示出用作根据本发明的摄像设备的第一实施例的照相机的外观的图。图1A所示的照相机101设置有电源开关、以及能够进行照相机操作的操作构件等。镜筒102以能够移动的方式附接至照相机101的固定部103，该镜筒102以一体方式包括摄像透镜组和图像传感器等作为用于拍摄被摄体图像的光学摄像系统。具体地，镜筒102经由作为能够相对于固定部103进行转动地驱动的机构的俯仰转动单元104和平摇转动单元105而附接至固定部103。
俯仰转动单元104包括能够沿在图1B中示出的纵摇方向转动地驱动镜筒102的马达驱动机构。平摇转动单元105包括能够沿也在图1B中示出的横摆方向转动地驱动镜筒102的马达驱动机构。换句话说，照相机101具有沿两个轴方向转动地驱动镜筒102的机构。图1B所示的各轴是相对于固定部103的位置定义的。在照相机101的固定部103中布置有角速度计106和加速度计107。照相机101基于来自角速度计106和加速度计107等的输出信号来检测振荡，并且可以通过转动地驱动俯仰转动单元104和平摇转动单元105来校正镜筒102中的抖动和倾斜等。角速度计106和加速度计107等也基于按设置间隔获得的测量结果来检测照相机的移动。
图2是示出根据本实施例的照相机101的总体结构的框图。在图2中，第一控制单元223例如包括CPU(MPU)和存储器(DRAM、SRAM)等。第一控制单元223通过根据非易失性存储器(EEPROM)216中所存储的程序执行各种处理，来控制照相机101的各个块以及控制各块之间的数据传送等。非易失性存储器216是电可擦除/可记录的存储器，其如上所述存储第一控制单元223所用的操作常数和程序等。
在图2中，变焦单元201包括用于执行变倍(放大和缩小所形成的被摄体图像)的变焦透镜。变焦驱动控制单元202控制变焦单元201的驱动，并且检测此时的焦距。调焦单元203包括调整焦点的调焦透镜。调焦驱动控制单元204控制调焦单元203的驱动。摄像单元206包括图像传感器。摄像单元206经由各透镜组接收入射光，并将由该光量产生的电荷的信息作为模拟图像信号输出至图像处理单元207。注意，变焦单元201、调焦单元203和摄像单元206布置在镜筒102内。
图像处理单元207对通过对模拟图像信号进行A/D转换所获得的数字图像数据应用诸如失真校正、白平衡调整和颜色插值等的图像处理，并输出处理后的数字图像数据。从图像处理单元207输出的数字图像数据由图像记录单元208转换成诸如JPEG等的记录所用的格式，然后被存储在存储器215中、或者被发送至(后面所述的)图像输出单元217等。
镜筒转动驱动单元205通过驱动俯仰转动单元104和平摇转动单元105来使得镜筒102沿俯仰方向和平摇方向转动。装置振荡检测单元209包括用于检测照相机101在三个轴方向上的角速度的角速度计(陀螺仪传感器)106、以及用于检测照相机101在三个轴方向上的加速度的加速度计(加速计)107等。基于这些传感器所检测到的信号来计算装置的转动角度和偏移量等。
音频输入单元213经由照相机101中所设置的麦克风从照相机101的周边获得音频的信号，将该音频转换成数字音频信号，并将该信号发送至音频处理单元214。音频处理单元214对所输入的数字音频信号进行诸如优化等的与音频有关的处理。音频处理单元214处理后的音频信号由第一控制单元223发送至存储器215。存储器215临时存储从图像处理单元207和音频处理单元214获得的图像信号和音频信号。
图像处理单元207和音频处理单元214读出存储器215中临时存储的图像信号和音频信号等，并且对该图像信号和音频信号进行编码以生成压缩图像信号和压缩音频信号。第一控制单元223将该压缩图像信号和压缩音频信号发送至记录/重放单元220。
记录/重放单元220将图像处理单元207和音频处理单元214所生成的压缩图像信号和压缩音频信号、以及与摄像有关的其它控制数据等记录在记录介质221中。在不对音频信号进行压缩和编码的情况下，第一控制单元223将音频处理单元214所生成的音频信号和图像处理单元207所生成的压缩图像信号发送至记录/重放单元220，并且使得将这些信号记录到记录介质221中。
记录介质221可以是内置到照相机101中的记录介质、或者可移除的记录介质，并且能够记录照相机101所生成的诸如压缩图像信号、压缩音频信号和音频信号等的各种数据。通常将与非易失性存储器216相比具有更大容量的介质用于记录介质221。例如，记录介质221可以是任何类型的记录介质，诸如硬盘、光盘、磁光盘、CD-R、DVD-R、磁带、非易失性半导体存储器或闪速存储器等。
记录/重放单元220读出(或重放)记录介质221中所记录的压缩图像信号、压缩音频信号、音频信号、各种数据和程序等。然后，第一控制单元223将所读出的压缩图像信号和压缩音频信号发送至图像处理单元207和音频处理单元214。图像处理单元207和音频处理单元214将压缩图像信号和压缩音频信号临时存储在存储器215中，通过预定过程对这些信号进行解码，并将解码后的信号发送至图像输出单元217。
音频输入单元213设置有多个麦克风。音频处理单元214可以检测声音相对于多个麦克风所配置于的平面的方向，因而能够进行后面将说明的搜索到被摄体以及自动摄像等。此外，音频处理单元214检测特定语音命令。结构可以如下：除了预先登记的数个命令之外，用户还可以将特定语音作为语音命令登记在照相机中。音频处理单元214也识别声音场景。在声音场景识别中，使用基于大量音频数据通过机器学习所预先训练的网络来确定声音场景。例如，在音频处理单元214中设置用于检测诸如观众欢呼、掌声和说话等的特定场景的网络，并且该网络用于检测特定声音场景和特定语音命令等。在检测特定声音场景或特定语音命令时，音频处理单元214向第一控制单元223或第二控制单元211等输出检测触发信号。
除了控制照相机101整体的主系统的第一控制单元223之外，照相机101还设置有用于控制第一控制单元223的电力供给的第二控制单元211。第一电源单元210和第二电源单元212分别向第一控制单元223和第二控制单元211供给操作所用的电力。响应于按下照相机101中所设置的电源按钮，首先向第一控制单元223和第二控制单元211供给电力。然而，如后面将说明的，第一控制单元223本身可以执行用于断开向第一电源单元210的电力供给的控制。第二控制单元211即使在第一控制单元223未正在工作时也工作，并且采用来自装置振荡检测单元209和音频处理单元214等的信息作为输入。第二控制单元211基于各种输入信息来判断第一控制单元223是否正在工作，并在判断为第一控制单元223正在工作时指示第一电源单元210向第一控制单元223供给电力。
音频输出单元218例如在摄像期间等从内置到照相机101中的扬声器输出预先设置的音频模式。LED控制单元224例如在摄像期间等使得照相机101中所设置的LED基于预先设置的点亮模式或闪烁模式而点亮。图像输出单元217例如由图像输出端子构成，并输出图像信号以使得在所连接的外部显示器等中显示图像。音频输出单元218和图像输出单元217可以是单个集成端子，例如，高清晰度多媒体接口(HDMI；注册商标)端子。
通信单元222是用于在照相机101和外部装置之间进行通信的部分，并且例如发送和接收诸如音频信号、图像信号、压缩音频信号和压缩图像信号等的数据。通信单元222还接收用于开始和停止摄像的命令、以及诸如平摇、俯仰和变焦驱动等的与摄像有关的控制信号等，并且基于来自外部装置的指示来驱动照相机101。通信单元222还在照相机101和外部装置之间发送和接收诸如(后面所述的)学习处理单元219所处理的与学习有关的各种参数等的信息。例如，通信单元222可以包括红外通信模块、蓝牙(Bluetooth，注册商标)通信模块、诸如无线LAN模块等的无线LAN通信模块、无线USB(Wireless USB，注册商标)或GPS接收器等。
环境传感器226按每个预定周期检测照相机101的周边环境的状态。环境传感器226包括用于检测照相机101周围的温度的温度传感器、用于检测照相机101周围的气压的变化的气压传感器和用于检测照相机101周围的亮度的照度传感器。环境传感器226还包括用于检测照相机101周围的湿度的湿度传感器、以及用于检测照相机101周围的紫外光的量的UV传感器等。除了所检测到的温度信息、气压信息、亮度信息、湿度信息和UV信息之外，还使用通过计算所检测到的各种信息按预定时间间隔的变化率所获得的温度变化量、气压变化量、亮度变化量、湿度变化量和紫外光变化量等来判断自动摄像等。
<与外部装置的通信>
图3是示出照相机101和外部装置301之间的无线通信系统的结构的示例的图。照相机101是具有摄像功能的数字照相机，并且外部装置301是包括蓝牙通信模块和无线LAN通信模块的智能装置。
照相机101和外部装置301能够使用第一通信302和诸如蓝牙低功耗(以下称为“BLE”)等的第二通信303来进行通信，该第一通信302例如通过符合IEEE802.11标准系列的无线LAN来执行，该第二通信303例如具有包括控制站和从站的主/从关系。注意，无线LAN和BLE仅仅是通信方法的示例，并且例如，可以使用其它通信方法，只要通信装置具有两个或更多个通信功能、并且在根据控制站和从站之间的关系所执行的通信中这些通信功能中的一个通信功能能够控制其它通信功能即可。然而，假设：作为无线LAN等的第一通信302与作为BLE等的第二通信303相比能够以更高的速度进行通信，并且第二通信303与第一通信302相比，消耗更少的电力、具有更短的通信范围、或者这两者。
将参考图4来说明外部装置301的结构。除了无线LAN所用的无线LAN控制单元401和BLE所用的BLE控制单元402之外，外部装置301还包括公共无线通信所用的公共无线控制单元406。外部装置301还包括分组发送/接收单元403。无线LAN控制单元401执行无线LAN的RF控制和通信处理、用于实现通过符合IEEE 802.11标准系列的无线LAN的通信的各种控制的驱动器处理、以及与通过无线LAN的通信有关的协议处理等。BLE控制单元402执行BLE的RF控制和通信处理、用于实现通过BLE的通信的各种控制的驱动器处理、以及与通过BLE的通信有关的协议处理等。公共无线控制单元406执行公共无线通信的RF控制和通信处理、用于实现公共无线通信的各种控制的驱动器处理、以及与公共无线通信有关的协议处理等。公共无线通信例如符合IMT(国际多媒体电信)标准或LTE(长期演进)标准等。分组发送/接收单元403执行用于执行与无线LAN和BLE通信以及公共无线通信有关的分组的发送和接收至少之一的处理。尽管本实施例将外部装置301描述为在通信中执行分组的发送和接收至少之一，但应当注意，可以替代地使用诸如线路交换等的除分组交换以外的通信格式。
外部装置301还包括控制单元411、存储单元404、GPS接收单元405、显示单元407、操作单元408、音频输入/音频处理单元409和电源单元410。控制单元411例如通过执行存储单元404中所存储的控制程序来控制外部装置301整体。存储单元404例如存储控制单元411所执行的控制程序、以及诸如通信所需的参数等的各种信息等。通过控制单元411执行存储单元404中所存储的控制程序来实现(后面所述的)各种操作。
电源单元410向外部装置301供给电力。显示单元407具有使得其能够使用LCD或LED等输出从视觉上可识别的信息、以及使用扬声器等进行音频输出的功能，并且显示各种信息。操作单元408例如包括接受用户对外部装置301进行的操作的按钮等。注意，显示单元407和操作单元408例如可以由诸如触摸面板等的共同构件构成。
音频输入/音频处理单元409例如使用内置到外部装置301中的通用麦克风来获得用户所发出的语音，并且可被配置为使用语音识别处理来识别来自用户的操作命令。另外，使用外部装置301中的专用应用，可以获得用户所发出的语音命令，并且这些语音命令可被登记为由照相机101的音频处理单元214经由使用无线LAN的第一通信302所要识别的特定语音命令。
GPS(全球定位系统)接收单元405接收从卫星通信来的GPS信号，分析该GPS信号，并估计外部装置301的当前位置(经度/纬度信息)。可选地，可以通过使用WPS(Wi-Fi定位系统)等基于周边区域中存在的无线网络的信息来估计外部装置301的当前位置。在所获得的当前GPS位置信息在预先设置的位置范围内(在以检测位置为中心的具有预定半径的范围内)的情况下、以及在GPS位置信息改变了大于或等于预定量的情况下等，经由BLE控制单元402向照相机101通信移动信息。然后，将该信息用作后面将说明的自动摄像和自动编辑等中的参数。
如上所述，照相机101和外部装置301通过使用无线LAN控制单元401和BLE控制单元402的通信来交换数据。例如，发送和接收诸如音频信号、图像信号、压缩音频信号和压缩图像信号等的数据。另外，从外部装置301向照相机101发送摄像指示等、语音命令登记数据、基于GPS位置信息的预定位置检测通知、以及场所移动通知等。还发送和接收外部装置301内的专用应用中所使用的训练数据。
<配件的结构>
图5是示出能够与照相机101进行通信的外部装置501的结构的示例的图。照相机101是具有摄像功能的数字照相机，并且外部装置501例如是包括各种感测单元的可穿戴装置，其能够使用蓝牙通信模块等与照相机101进行通信。
外部装置501例如被配置为能够附接至用户的手臂等，并且配备有用于按预定周期检测诸如用户的脉搏、心跳和血流等的生物信息的传感器、以及能够检测用户的移动状态的加速计等。
生物信息检测单元602例如包括检测脉搏的脉搏传感器、检测心跳的心跳传感器、检测血流的血流传感器、以及使用导电聚合物来检测由皮肤接触引起的电位的变化的传感器。本实施例将心跳传感器描述为被用作生物信息检测单元602。心跳传感器通过使用LED等来用红外光照射用户的皮肤、使用受光传感器检测穿过了体组织的红外光、并且处理如此得到的信号，来检测用户的心跳。生物信息检测单元602将所检测到的生物信息作为信号输出至控制单元607(参见图6)。
用于检测用户的移动状态的抖动检测单元603例如包括加速计和陀螺仪传感器等，并且能够基于加速度信息来检测运动，诸如用户是否正在移动、或者正进行诸如挥动他或她的手臂等的动作等。还设置了用于接受用户对外部装置501的操作的操作单元605、以及诸如LCD或LED监视器等的用于输出从视觉上可识别的信息的显示单元604。
图6是示出外部装置501的结构的图。如上所述，外部装置501例如包括控制单元607、通信单元601、生物信息检测单元602、抖动检测单元603、显示单元604、操作单元605、电源单元606和存储单元608。
控制单元607例如通过执行存储单元608中所存储的控制程序来控制外部装置501整体。存储单元608例如存储控制单元607所执行的控制程序、以及诸如通信所需的参数等的各种信息等。例如，通过控制单元607执行存储单元608中所存储的控制程序来实现(后面所述的)各种操作。
电源单元606向外部装置501供给电力。显示单元604具有能够使用LCD或LED等输出从视觉上可识别的信息的输出单元、以及能够使用扬声器等输出音频的输出单元，并且显示各种信息。操作单元605例如包括接受用户对外部装置501进行的操作的按钮等。注意，显示单元604和操作单元605例如可以由诸如触摸面板等的共同构件构成。操作单元605例如使用内置到外部装置501中的通用麦克风来获得用户所发出的语音，并且可被配置为使用语音识别处理来识别来自用户的操作命令。
由生物信息检测单元602和抖动检测单元603获得且由控制单元607处理后的各种检测信息被通信单元601发送至照相机101。例如，可以在检测到用户的心跳的变化的定时将检测信息发送至照相机101；或者，可以在表示步行移动、跑步移动或站立不动的移动状态(状态信息)的变化的定时发送检测信息。另外，可以在检测到预先设置的手臂挥动动作的定时发送检测信息；并且可以在检测到相当于预先设置的距离的移动的定时发送检测信息。
<照相机操作序列>
图7A和7B是示出根据本实施例的照相机101的第一控制单元223所处理的操作的示例的流程图。
在用户操作照相机101上所设置的电源按钮时，从第一电源单元210向第一控制单元223和照相机101中的各块供给电力。同样，从第二电源单元212向第二控制单元211供给电力。后面将参考图8的流程图来详细说明第二控制单元211的操作。
在供给电力时，图7A和7B的处理开始。在步骤S701中，加载启动条件。在本实施例中，以下三个情形用作用于启动电源的条件。
(1)手动按下电源按钮、并且接通电源的情况；
(2)通过外部通信(例如，BLE通信)从外部装置(例如，外部装置301)发送启动指示、并且接通电源的情况；以及
(3)响应于来自第二控制单元211的指示而接通电源的情况。
这里，在(3)的情况下，即在响应于来自第二控制单元211的指示而接通电源的情况下，加载在第二控制单元211内计算得到的启动条件；这将在后面参考图8来详细说明。这里加载的启动条件用作被摄体搜索和自动摄像等期间的单个参数，并且这也将在后面进行说明。一旦加载了启动条件，序列进入步骤S702。
在步骤S702中，从各种传感器加载检测信号。这里加载的传感器信号其中之一是来自检测振荡的传感器(诸如装置振荡检测单元209中的陀螺仪传感器或加速计等)的信号。另一信号是表示俯仰转动单元104和平摇转动单元105等的转动位置的信号。此外，音频处理单元214所检测到的音频信号、针对特定语音识别的检测触发信号、声音方向检测信号、以及针对环境传感器226所检测到的环境信息的检测信号等是其它这样的信号。一旦在步骤S702中从各种传感器加载了检测信号，序列进入步骤S703。
在步骤S703中，检测是否从外部装置发送了通信指示，并且在发送了这样的通信指示的情况下，与外部装置进行通信。例如，加载了以下内容：通过无线LAN或BLE从外部装置301进行的远程操作；音频信号、图像信号、压缩音频信号和压缩图像信号等的发送和接收；来自外部装置301的诸如用于摄像等的操作指示；发送语音命令登记数据；以及基于GPS位置信息来发送和接收预定位置检测通知、场所移动通知和训练数据等；等等。另外，在存在对用户移动信息、手臂动作信息和诸如心跳等的生物信息的更新的情况下，通过BLE从外部装置501加载该信息。尽管上述环境传感器226可以内置到照相机101中，但也可以内置到外部装置301或外部装置501中。在这种情况下，在步骤S703中通过BLE加载环境信息。一旦在步骤S703中执行了与外部装置的通信和从外部装置的加载，序列进入步骤S704。
在步骤S704中，进行模式设置判断，之后序列进入步骤S705。在步骤S705中，判断在步骤S704中操作模式是否设置为低电力模式。在操作模式不是后面将说明的自动摄像模式、自动编辑模式、自动图像传送模式、学习模式和自动文件删除模式的情况下，判断为操作模式是低电力模式。在步骤S705中判断为操作模式是低电力模式的情况下，序列进入步骤S706。
在步骤S706中，将与在第二控制单元211内判断出的启动触发有关的各种参数(抖动检测判断参数、语音检测判断参数和经过时间检测参数)通信至第二控制单元211(子CPU)。作为在后面将说明的学习处理中执行的学习的结果，各种参数的值改变。一旦步骤S706的处理结束，序列进入步骤S707，在该步骤S707中，第一控制单元223(主CPU)关闭，并且处理结束。
在步骤S705中判断为操作模式不是低电力模式的情况下，判断在步骤S704中的模式设置是否是自动摄像模式。这里将说明步骤S704中的用于判断模式设置的处理。要经过判断的模式是从以下的模式中选择的。
(1)自动摄像模式
<模式判断条件>
在基于已学习并设置的各种检测信息(图像、音频、时间、振荡、场所、身体变化、环境变化)、自转变为自动摄像模式起所经过的时间量、以及过去的摄像信息/拍摄图像数量等而判断为要执行自动摄像的情况下，设置自动摄像模式。
<模式下的处理>
在自动摄像模式处理(步骤S710)中，通过基于各种检测信息(图像、声音、时间、振荡、场所、身体变化、环境变化)驱动平摇、俯仰和变焦操作，来自动搜索被摄体。然后，在判断为可以拍摄到与用户的偏好匹配的图像时，自动拍摄图像。
(2)自动编辑模式
<模式判断条件>
在基于自前次自动编辑起所经过的时间量和过去拍摄图像信息、判断为应执行自动编辑的情况下，设置自动编辑模式。
<模式下的处理>
在自动编辑模式处理(步骤S712)中，执行用于基于学习来选择静止图像和运动图像等的处理，然后基于学习来执行自动编辑处理，以根据图像效果和编辑后的运动图像的时间等来创建将这些图像聚集成单个运动图像的精彩视频。
(3)图像传送模式
<模式判断条件>
在响应于使用外部装置301中的专用应用的指示而设置自动图像传送模式、并且基于自前次图像传送起所经过的时间量和过去拍摄图像信息而判断为要自动传送图像的情况下，设置自动图像传送模式。
<模式下的处理>
在自动图像传送模式处理(步骤S714)中，照相机101自动提取假定与用户的偏好匹配的图像，并且将该假定与用户的偏好匹配的图像自动传送至外部装置301。与用户的偏好匹配的图像是基于如后面将说明的、添加至该图像的用于判断用户的偏好的得分来提取的。
(4)学习模式
<模式判断条件>
在基于自前次学习处理起所经过的时间量、以及在学习中可以使用的与图像集成的信息和训练数据的数量等而判断为应执行自动学习的情况下，设置自动学习模式。在经由来自外部装置301的通信进行了用于设置学习模式的指示的情况下，也设置该模式。
<模式下的处理>
在学习模式处理(步骤S716)中，基于外部装置301中的各种操作信息(来自照相机的图像获得信息、经由专用应用而手动编辑的信息、用户针对照相机内的图像所输入的判断值信息)以及来自外部装置301的训练信息的通知等，使用神经网络来执行基于用户偏好的学习。同时执行与检测有关的学习(诸如个人认证登记、语音登记、声音场景登记和普通物体识别登记等)、以及上述的低电力模式的条件的学习等。
(5)自动文件删除模式
<模式判断条件>
在基于自前次自动文件删除起所经过的时间量以及记录了图像的非易失性存储器216的剩余容量而判断为应自动删除文件的情况下，设置自动文件删除模式。
<模式下的处理>
在自动文件删除模式处理(步骤S718)中，基于图像的标签信息以及拍摄图像的日期/时间等，来从非易失性存储器216内的图像中指定要自动删除的文件，然后删除该文件。
后面将详细说明在上述模式下执行的处理。
返回到图7A和图7B的说明，如果在步骤S705中判断为操作模式不是低电力模式，则序列进入步骤S709，在该步骤S709中，判断模式设置是否是自动摄像模式。如果判断表示为操作模式是自动摄像模式，则序列进入步骤S710，在该步骤S710中执行自动摄像模式处理。一旦处理结束，序列返回到步骤S702，并且重复处理。如果在步骤S709中判断为操作模式不是自动摄像模式，则序列进入步骤S711。
在步骤S711中，判断模式设置是否是自动编辑模式；如果操作模式是自动编辑模式，则序列进入步骤S712，并且执行自动编辑模式处理。一旦处理结束，序列返回到步骤S702，并且重复处理。如果在步骤S711中判断为操作模式不是自动编辑模式，则序列进入步骤S713。注意，自动编辑模式与本发明的主要概念不直接相关，因此将不进行详细说明。
在步骤S713中，判断模式设置是否是自动图像传送模式；如果操作模式是自动图像传送模式，则序列进入步骤S714，并且执行自动图像传送模式处理。一旦处理结束，则序列返回到步骤S702，并且重复处理。如果在步骤S713中判断为操作模式不是自动图像传送模式，则序列进入步骤S715。注意，自动图像传送模式与本发明的主要概念不直接相关，因此将不进行详细说明。
在步骤S715中，判断模式设置是否是学习模式；如果操作模式是学习模式，则序列进入步骤S716，并且执行学习模式处理。一旦处理结束，则序列返回到步骤S702，并且重复处理。如果在步骤S715中判断为操作模式不是学习模式，则序列进入步骤S717。
在步骤S717中，判断模式设置是否是自动文件删除模式；如果操作模式是自动文件删除模式，则序列进入步骤S718，并且执行自动文件删除模式处理。一旦处理结束，则序列返回到步骤S702，并且重复处理。如果在步骤S717中判断为操作模式不是自动文件删除模式，则序列返回到步骤S702，并且重复处理。注意，自动文件删除模式与本发明的主要概念不直接相关，因此将不进行详细说明。
图8是示出根据本实施例的照相机101的第二控制单元211所处理的操作的示例的流程图。
在用户操作照相机101上所设置的电源按钮时，从第一电源单元210向第一控制单元223和照相机101中的各块供给电力。同样，从第二电源单元212向第二控制单元211供给电力。
在供给电力时，第二控制单元(子CPU)211启动，并且图8所示的处理开始。在步骤S801中，判断是否经过了预定采样周期。预定采样周期例如被设置为10ms，因而序列按每10ms的周期进入步骤S802。如果判断为没有经过预定采样周期，则第二控制单元211待机。
在步骤S802中，加载训练信息。训练信息是在图7A的步骤S706中向第二控制单元211通信信息时传送的信息，并且例如包括以下信息。
(1)特定振荡的检测的判断(在后面所述的步骤S804中使用)
(2)特定声音的检测的判断(在后面所述的步骤S805中使用)
(3)所经过的时间量的判断(在后面所述的步骤S807中使用)
一旦在步骤S802中加载了训练信息，序列进入步骤S803，在该步骤S803中，获得振荡检测值。振荡检测值是来自装置振荡检测单元209的陀螺仪传感器或加速计等的输出值。
一旦在步骤S803中获得了振荡检测值，序列进入步骤S804，在该步骤S804中，执行用于检测预先设置的特定振荡状态的处理。这里，根据步骤S802中所加载的训练信息来改变判断处理。将说明数个示例。
<轻击检测>
可以基于来自附接至照相机101的加速计107的输出值来检测用户用他或她的指尖等敲击照相机101的状态(轻击状态)。通过使三轴加速计107的输出按每个预定采样周期通过设置为特定频率范围的带通滤波器(BPF)，可以提取与由轻击引起的加速度变化相对应的信号范围。基于在带通滤波之后获得的加速度信号在预定时间TimeA内超过预定阈值TreshA的次数是否是预定次数CountA，来检测轻击。对于双击，将CountA设置为2，并且对于三击，将CountA设置为3。注意，TimeA和ThreshA也可以根据训练信息而改变。
<振荡状态检测>
可以基于来自附接至照相机101的陀螺仪传感器106和加速计107等的输出值来检测照相机101的振荡状态。使用高通滤波器(HPF)来切断来自陀螺仪传感器106和加速计107等的输出的高频分量，并且利用低通滤波器(LPF)切断低频分量，之后输出被转换成绝对值。基于所计算出的绝对值在预定时间TimeB中超过预定阈值ThreshB的次数是否大于或等于预定次数CountB来检测振荡。这使得可以判断低振荡的状态(其中，例如将照相机101放置在桌子等上)和高振荡的状态(其中，照相机101作为可穿戴照相机等已附着至用户的身体并且用户正在步行)。也可以通过设置多个判断阈值和判断所使用的计数数量的条件等来检测基于振荡水平的精细振荡状态。注意，TimeB、ThreshB和CountB也可以根据训练信息而改变。
以上说明了通过判断来自振荡检测传感器的检测值来检测特定振荡状态的方法。然而，也可以通过将振荡检测传感器在预定时间期间采样得到的数据输入到使用神经网络的振荡状态判断器中，来使用经训练的神经网络检测预先登记的特定振荡状态。在这种情况下，步骤S802中所加载的训练信息是神经网络的权重参数。
一旦在步骤S804中执行了用于检测特定振荡状态的处理，序列进入步骤S805，在该步骤S805中，执行用于检测预先设置的特定振荡状态的处理。这里，根据步骤S802中所加载的训练信息来改变检测判断处理。以下将说明数个示例。
<特定语音命令检测>
检测到特定语音命令。除了预先登记的数个命令之外，用户还可以将特定语音作为语音命令登记在照相机中。
<特定声音场景识别>
使用基于大量音频数据通过机器学习所预先训练的网络来判断声音场景。例如，检测到诸如观众欢呼、掌声和说话等的特定场景。通过学习来改变所检测到的场景。
<声级判断>
通过判断音频级别的音量是否超过预定音量并持续了预定时间量来检测声级。预定时间量和预定音量等通过学习而改变。
<声音方向判断>
使用平面中所配置的多个麦克风来针对预定音量的声音检测声音的方向。
在音频处理单元214内执行所述的判断处理，并且在步骤S805中使用预先学习的各种设置来判断是否检测到特定声音。
一旦在步骤S805中执行了用于检测特定声音的处理，序列进入步骤S806，在该步骤S806中判断第一控制单元223的电源是否断开。如果第一控制单元223(主CPU)关闭，则序列进入步骤S807，在该步骤S807中，执行用于检测预先设置的时间量的经过的处理。这里，根据步骤S802中所加载的训练信息来改变检测判断处理。训练信息是在图7A的步骤S706中向第二控制单元211通信信息时传送的信息。测量自第一控制单元223从开启转变为关闭起所经过的时间量；如果该时间量大于或等于预定时间TimeC，则判断为经过了该时间量，而如果该时间量小于TimeC，则判断为没有经过该时间量。TimeC是根据训练信息而改变的参数。
一旦在步骤S807中执行了用于检测所经过的时间量的处理，序列进入步骤S808，在该步骤S808中，判断是否满足用于取消低电力模式的条件。根据以下条件来判断是否取消低电力模式。
(1)是否检测到特定振荡
(2)是否检测到特定声音
(3)是否经过了预定时间量
关于(1)，通过在步骤S804中执行的特定振荡状态检测处理来判断是否检测到特定振荡。关于(2)，通过在步骤S805中执行的特定声音检测处理来判断是否检测到特定声音。关于(3)，通过在步骤S807中执行的用于检测时间量的经过的处理来判断是否经过了预定时间量。如果满足(1)～(3)至少之一，则判断为取消低电力模式。
一旦在步骤S808中判断为取消低电力模式，序列进入步骤S809，在该步骤S809中，接通第一控制单元223的电源；然后，在步骤S810中，将用于判断为取消低电力模式的条件(振荡、声音或时间)通信至第一控制单元223。然后，序列返回到步骤S801，并且处理循环。如果在步骤S808中不满足任何条件并且判断为不存在用于取消低电力模式的条件，则序列返回到步骤S801，并且处理循环。
另一方面，如果在步骤S806中判断为第一控制单元223开启，则序列进入步骤S811，在该步骤S811中，将在步骤S803～S805中获得的信息通信至第一控制单元223；然后，序列返回到步骤S801，并且处理循环。
在本实施例中，结构如下：即使在第一控制单元223开启时，第二控制单元211也执行振荡检测和特定声音检测等，并且将检测结果通信至第一控制单元223。然而，结构可以如下：在第一控制单元223开启时，不执行步骤S803～S805的处理，并且通过第一控制单元223内的处理来执行振荡检测和特定声音检测等(图7A的步骤S702)。
如上所述，通过执行图7A的步骤S704～S707的处理和图8的处理等，基于用户操作来学习用于转变为低电力模式的条件和用于取消低电力模式的条件等。这使得可以执行对于拥有照相机101的用户而言更具用户友好性的照相机操作。后面将说明学习所使用的方法。
尽管以上详细说明了用于响应于振荡检测、声音检测或时间经过而取消低电力模式的方法，但可以基于环境信息来取消低电力模式。可以基于温度、气压、亮度、湿度和紫外光量等的绝对量或变化量是否超过预定阈值来判断环境信息，并且也可以通过后面将说明的学习来改变阈值。
另外，与振荡检测、声音检测或时间经过有关的检测信息、以及各种环境信息的绝对值或变化量等可以基于神经网络来判断，并且用于判断是否取消低电力模式。可以通过后面将说明的学习来改变该判断处理所用的判断条件。
<自动摄像模式处理>
将参考图9来说明自动摄像模式处理。首先，在步骤S901中，图像处理单元207对从摄像单元206获得的信号执行图像处理，并且生成被摄体检测所用的图像。对所生成的图像进行用于检测人物或物体等的被摄体检测处理。
在要检测人物的情况下，检测被摄体的面部或人体等。在面部检测处理中，预先设置用于判断人物的面部的图案，并且可以将拍摄图像内的与该图案匹配的地方检测为人物的面部区域。另外，同时计算表示被摄体作为面部的确定度的可靠度级别。可靠度级别例如是基于图像内的面部区域的大小或者该区域与面部图案匹配的程度等来计算的。这同样适用于识别与预先登记的图案匹配的物体的物体识别。
还存在使用拍摄图像内的色相或饱和度等的直方图来提取特征被摄体的方法。对于在拍摄视角内出现的被摄体的图像，从色相或饱和度等的直方图导出分布，并将该分布划分成多个区间；然后执行用于针对这些区间中的各区间对拍摄图像进行分类的处理。例如，针对拍摄图像的多个颜色分量创建直方图，然后将这些直方图划分成与峰相对应的分布范围；然后，通过根据属于同一区间组合的区域对拍摄图像进行分类来识别被摄体图像区域。针对所识别的各被摄体图像区域计算评价值，并且可以将具有最高评价值的被摄体图像区域判断为主被摄体区域。可以使用上述方法来从摄像信息获得各种被摄体信息。
在步骤S902中，计算图像模糊校正量。具体地，首先，基于装置振荡检测单元209所获得的角速度和加速度信息来计算照相机的振荡的绝对角度。然后，求出用于通过使俯仰转动单元104和平摇转动单元105沿抵消所述绝对角度的角度方向移动来校正图像模糊的角度，并将该角度视为图像模糊校正量。注意，可以通过后面所述的学习处理来改变这里所述的图像模糊校正量计算处理中所使用的计算方法。
在步骤S903中，判断照相机的(保持)状态。基于根据角速度信息、加速度信息和GPS位置信息等检测到的照相机角度和照相机移动量等来判断照相机的当前振荡/移动状态。例如，在将照相机101安装到车辆上的状态下拍摄图像的情况下，诸如周边风景等的被摄体信息将根据所行驶的距离而大幅改变。因此，判断该状态是否是照相机安装到车辆等且正高速移动的“车辆移动状态”，并且用在后面将说明的自动被摄体搜索中。还判断照相机角度是否正大幅改变，以判断该状态是否是照相机101几乎未经历振荡的“静止拍摄状态”。在静止拍摄状态下，可以假定照相机101自身的位置将不改变，因而可以执行静止拍摄所用的被摄体搜索。在照相机角度经历相对较大的变化的情况下，该状态可被判断为“手持状态”，并且可以执行手持状态所用的被摄体搜索。
在步骤S904中，执行被摄体搜索处理。被摄体搜索由以下处理构成。
(1)区域分割
(2)计算各区域的重要度级别
(3)确定搜索对象区域
以下将顺次说明这些处理。
(1)区域分割
将参考图10A至图10E来说明区域分割。如图10A所示，使用照相机的位置(在照相机位置由原点O表示时)作为中心，将整个周边分割成区域。在图10A所示的示例中，在俯仰方向和平摇方向这两者上按每22.5度进行分割。在如图10A所示执行分割时，在俯仰方向上的角度远离0度时，水平方向上的圆变小，因此区域变小。因此，如图10B所示，在俯仰角度大于或等于45度时，水平方向上的区域的范围被设置为大于22.5度。
图10C和图10D示出通过在拍摄视角内的区域分割所获得的区域的示例。轴1301表示初始状态下的照相机101的朝向，并且使用该方向作为基准位置来进行区域分割。1302表示所拍摄到的图像的视角区域，并且图10D示出此时获得的图像的示例。基于图像分割，将拍摄视角内的图像分割成在图10D中由附图标记1303～1318表示的图像。
(2)计算各区域的重要度级别
针对通过上述分割所获得的各区域，根据该区域内存在的被摄体的状况和场景的状况等，来计算表示搜索的优先级排名的重要度级别。基于被摄体的状况的重要度级别例如是根据区域内存在的人物的数量、各人物的面部的大小、面部的朝向、面部检测的确定度、人物的表情、以及人物的个人认证结果等来计算的。另外，基于场景的状况的重要度级别例如是基于普通物体识别结果、场景判断结果(蓝天、背光或夜景等)、来自区域的方向的声音的级别、语音识别结果、以及来自区域内的移动检测信息等来计算的。
另外，在图9所示的照相机状态判断(步骤S903)中检测到照相机振荡的情况下，也可以使重要度级别根据振荡状态而改变。例如，在判断出“静止拍摄状态”的情况下，可以判断为执行关注于为了面部认证所登记的且具有高优先级别的被摄体(例如，照相机的所有者)的被摄体搜索。例如，也可以通过优先于照相机的所有者的面部来执行后面将说明的自动摄像。结果，即使在照相机的所有者经常在照相机附着至他或她的身上的状态下步行时拍摄图像的情况下，所有者也可以通过移除照相机并将照相机放置在桌子等上来获得他或她出现的许多图像。此时，可以通过平摇和俯仰执行面部搜索，因而可以在在无需特别关注照相机的放置角度等的情况下，仅仅通过按照期望放置照相机来获得所有者出现的图像以及示出许多面部的合照等。
注意，仅在上述条件下，只要在各区域中不存在变化，相同的区域就将具有最高重要度级别，因此搜索到的区域将无限期地保持相同。因此，根据过去摄像信息来改变重要度级别。具体地，可以降低在预定时间量期间被连续指定为搜索区域的区域的重要度级别，或者可以在预定时间量期间降低在后面将说明的步骤S910中拍摄到了图像的区域的重要度级别，等等。
此外，在照相机正在移动时(诸如在照相机的所有者将照相机穿戴在他或她的身上的情况下、或者在照相机附接至车辆的情况下等)，存在如下的情形：即使通过平摇和俯仰搜索到周边的被摄体，在拍摄图像时，该被摄体也已看不见。还存在如下的情形：被摄体已离开且过小，这使得被摄体搜索无意义。因此，根据在步骤S903中检测到的照相机的角速度信息、加速度信息和GPS位置信息、以及此外根据从拍摄图像针对各个坐标所计算出的运动矢量，来计算照相机的移动方向和移动速度等。基于这些，可以从一开始就假定离行进方向远的区域不具有被摄体，或者反之，可以根据移动速度改变搜索时间间隔(诸如通过在高速移动期间缩短被摄体搜索时间间隔等)，以确保重要被摄体不会丢失。
具体地，将参考图10E来说明照相机从颈部悬挂的状态。图10E是示出从人物的上方向下看的人物的示意图。1320表示人物(照相机的所有者)，1321表示照相机，并且1322和1323分别表示被摄体搜索范围。被摄体搜索范围例如被设置为相对于照相机的行进方向1324基本上左右对称的角度范围。被摄体搜索范围1322表示处于人物完全停止的状态的被摄体搜索范围。为了将视角限制到照相机的所有者的身体和服装等不会占据多于所设置的区域的视角，不执行360度搜索，以防止照相机所有者的身体出现在图像中。
被摄体搜索范围1323表示在人物沿该图所示的方向(行进方向1324)正在移动时的搜索范围。因而，通过根据移动速度改变被摄体搜索范围(例如，通过在移动速度高时缩小该范围并且在移动速度低时扩大该范围)，可以以自适应方式执行不浪费的被摄体搜索。尽管图10E仅将被摄体搜索范围示出为在水平方向上改变，但也可以在垂直方向上以相同方式执行该处理。另外，这里所述的“行进方向”是基于角速度计106和加速度计107等在所设置时间段期间获得的测量结果来计算的。这使得即使在移动不稳定时，也可以防止搜索范围频繁地改变。
此外，为了防止由于行进方向的突然变化而导致被摄体搜索范围变得不确定，可以通过考虑过去的行进方向来降低灵敏度。尽管图10E示出照相机从颈部悬挂的情形，但如果可以判断为照相机已放置在桌子上，则可以省略用于根据移动速度来改变被摄体搜索范围的处理。如此，可以根据照相机的状态的变化(诸如照相机是否处于手持状态、从颈部悬挂、处于可穿戴状态、放置在桌子上、或者附接至移动体等)来改变被摄体搜索处理。根据移动信息来改变被摄体搜索范围，这消除了被摄体搜索的浪费，并且还有助于减少电池电力消耗。
(3)确定搜索对象区域
一旦如上所述针对各区域计算出了重要度级别，将重要度级别高的区域设置为搜索对象区域。然后，计算在视角内拍摄搜索对象区域所需的平摇/俯仰搜索对象角度。
返回到图9的说明，在步骤S905中，执行平摇/俯仰驱动。具体地，通过将按控制采样频率的图像模糊校正量与基于平摇/俯仰搜索对象角度的驱动角度相加来计算平摇/俯仰驱动量。然后，利用镜筒转动驱动单元205控制俯仰转动单元104和平摇转动单元105的驱动。
在步骤S906中，通过控制变焦单元201来执行变焦驱动。具体地，根据在步骤S904中确定的搜索对象被摄体的状态来执行变焦驱动。例如，在搜索对象被摄体是人物的面部的情况下，如果在图像中面部过小，则面部可能低于检测所需的最小大小，这使得无法检测到面部；存在结果将错过面部的风险。在这种情况下，执行控制以通过向着远摄侧变焦来增大图像中的面部的大小。另一方面，如果在图像中面部过大，则由于被摄体和照相机本身等的移动而导致被摄体更有可能移动到视角外。在这种情况下，执行控制，以通过向着广角侧变焦来减小图像中的面部的大小。以这种方式控制变焦使得可以维持适合追踪被摄体的状态。
在步骤S907中，判断是否手动进行了摄像指示，并且如果进行了手动摄像指示，则序列进入步骤S910。此时，手动摄像指示可以是按下快门按钮、用指尖等轻敲(轻击)照相机壳体、输入语音指示、或者来自外部装置的指示等。通过在用户轻击照相机壳体时、使用装置振荡检测单元209检测持续短时间段的高频加速度，来判断使用轻击操作作为触发的摄像指示。语音命令输入是如下的摄像指示方法，该摄像指示方法在用户发出了指示拍摄图像的预定短语(例如，“拍摄照片”等)时，使用音频处理单元214来识别该语音并将该语音用作用于拍摄图像的触发。使用来自外部装置的指示是如下的摄像指示方法，该摄像指示方法采用从通过蓝牙(Bluetooth)连接至照相机的智能电话等例如使用专用应用发送来的快门指示信号作为触发。
如果在步骤S907中不存在手动摄像指示，则序列进入步骤S908，在该步骤S908中，执行自动摄像判断。在该自动摄像判断中，进行与是否执行自动摄像有关的判断、以及与拍摄方法(是否拍摄静止图像、拍摄运动图像、执行连拍、或执行全景拍摄等)有关的判断。
<判断是否执行自动摄像>
如下进行与是否执行自动摄像有关的判断。具体地，在以下两个情况下进行用以执行自动摄像的判断。在一个情况下，在基于步骤S904中针对各个区域所获得的重要度级别而得到重要度级别大于预定值的情况下，判断为执行自动摄像。在另一情况下，判断基于神经网络。
图11示出由多层感知器构成的网络的示例，作为神经网络的一个示例。神经网络用于根据输入值预测输出值，并且通过预先使用输入值和用作针对这些输入的模型的输出值对网络进行训练，可以针对新的输入值估计符合所学习的模型的输出值。注意，后面将说明学习方法。在图11中，1201及其下方垂直排列的圆表示输入层的神经元；1203及其下方垂直排列的圆表示中间层的神经元；并且1204表示输出层的神经元。诸如由1202表示的箭头等的箭头表示神经元之间的连接。在基于神经网络的判断中，将在当前视角中出现的被摄体、或者基于场景或照相机状态的特征量等作为输入供给至输入层的神经元，并且在基于多层感知器的前向传播而执行计算之后获得从输出层输出的值。如果输出值大于或等于阈值，则判断为执行自动摄像。注意，以下用作被摄体的特征：当前变焦倍率；当前视角处的普通物体识别结果；面部检测结果；在当前视角中出现的面部的数量；面部正微笑的程度；眼睛闭合的程度；面部角度；面部认证ID号；用作被摄体的人物的视线角度；场景判断结果；从前次摄像起所经过的时间量；当前时刻、GPS位置信息和从前次摄像位置起的变化量；当前音频级别；使用他或她的语音的人物；人们是否正鼓掌或欢呼；振荡信息(加速度信息、照相机状态)；环境信息(温度、气压、照度、湿度和紫外光量)；等等。此外，在从外部装置501通信了信息的情况下，所通信的信息(用户移动信息、手臂动作信息、以及诸如心跳等的生物信息等)也被用作特征。该特征被转换成预定范围内的数值，并被作为特征量供给至输入层的神经元。因此，输入层的神经元需要使用相等数量的特征量。
注意，在基于神经网络的判断中，可以通过使用后面将说明的学习处理以改变神经元之间连接的权重来改变输出值，然后可以将判断的结果应用于学习结果。
另外，可以根据在图7A的步骤S702中加载的第一控制单元223的启动条件来改变自动摄像的判断。例如，在响应于检测到轻击或特定语音命令而启动该单元的情况下，很有可能该操作表示用户当前希望拍摄图像。因此，进行设置以提高摄像的频度。
<判断摄像方法>
在判断摄像方法时，基于在步骤S901～S904中检测到的照相机状态和周边的被摄体的状态等来判断是否拍摄静止图像、拍摄运动图像、执行连拍或拍摄全景图像等。例如，在被摄体(人物)静止的情况下拍摄静止图像，而在被摄体正在移动的情况下拍摄运动图像或连续图像。另外，在照相机的周围存在多个被摄体、或者基于上述GPS信息判断为场所是景点的情况下，可以执行全景图像拍摄处理，该全景图像拍摄处理通过在执行平摇/俯仰操作的同时对顺次拍摄到的图像进行合成来生成全景图像。与在“判断是否执行自动摄像”中使用的判断方法一样，可以基于神经网络来判断在摄像之前检测到的各种信息，然后可以设置摄像方法。可以通过后面将说明的学习处理来改变该判断处理所用的判断条件。
返回到图9的说明，如果在步骤S909中、在步骤S908中执行的自动摄像判断得到判断为执行自动摄像，则序列进入步骤S910；然而，如果未判断为执行自动摄像，则自动摄像模式处理结束。
在步骤S910中，开始自动摄像。此时，使用在步骤S908中判断出的摄像方法来开始摄像。此时，利用调焦驱动控制单元204执行自动调焦控制。另外，使用光圈控制单元、传感器增益控制单元和快门控制单元等(未示出)执行曝光控制，使得以适当亮度拍摄被摄体。此外，在摄像之后，图像处理单元207执行诸如白平衡处理、降噪处理和伽马校正处理等的各种已知的图像处理，以生成图像。
注意，在该摄像期间，在满足预定条件的情况下，可以在拍摄图像之前向利用照相机要拍摄图像的人物通知该意思。例如，可以采用从音频输出单元218发出声音、以及使用LED控制单元224使LED点亮等作为用于进行这样的通知的方法。预定条件例如是：当前视角中的面部的数量；面部正微笑的程度；眼睛闭合的程度；用作被摄体的人物的视线角度或面部角度；面部认证ID号；针对个人认证所登记的人物的数量；摄像时的普通物体识别结果；场景判断结果；自前次摄像起所经过的时间量；摄像时刻；基于GPS信息的当前位置是否是景点；摄像时的音频级别；是否存在发出声音的人物；是否存在掌声或欢呼；振荡信息(加速度信息、照相机状态)；以及环境信息(温度、气压、照度、湿度、紫外光量)；等等。通过基于这些条件进行通知摄像，可以在重要度高的场景中获得人物正以有利的方式观看照相机的图像。
还关于这样的摄像前的通知，可以基于神经网络来判断拍摄图像的信息或者在摄像之前检测到的各种信息，然后可以设置通知方法和定时等。可以通过后面将说明的学习处理来改变该判断处理所用的判断条件。
在步骤S911中，执行用于对步骤S910中所生成的图像进行加工以及添加运动图像等的编辑处理。“加工图像”具体是指：基于人物的面部和聚焦位置等的裁切处理；图像旋转处理；HDR(高动态范围)效应处理；散景效果处理；以及颜色转换滤波器效果处理；等等。在图像加工中，可以基于步骤S910中所生成的图像来生成通过上述处理的组合所产生的多个加工图像，并将这些加工图像与步骤S910中所生成的图像分开存储。关于运动图像处理，可以执行如下的处理，该处理用于在将诸如幻灯片、缩放和淡入淡出等的特殊效果处理赋予所生成的编辑运动图像的同时，添加所拍摄到的运动图像或静止图像。通过步骤S911中的该编辑，可以基于神经网络来判断拍摄图像的信息或在摄像之前检测到的各种信息，然后可以设置图像处理方法。可以通过后面将说明的学习处理来改变该判断处理所用的判断条件。
在步骤S912中，执行拍摄图像训练信息生成处理。这里，生成并记录后面将说明的学习处理中所使用的信息。具体地，使用当前拍摄图像的以下信息：摄像时的变焦倍率；摄像时的普通物体识别结果；面部检测结果；在拍摄图像中出现的面部的数量；面部正微笑的程度；眼睛闭合的程度；面部角度；面部认证ID号；作为被摄体的人物的视线的角度；场景判断结果；自前次摄像起所经过的时间量；摄像时刻；GPS位置信息和从前次摄像位置起的变化量；摄像时的音频级别；使用他或她的语音的人物；人们是否正鼓掌或欢呼；振荡信息(加速度信息、照相机状态)；环境信息(温度、气压、照度、湿度、紫外光量)；运动图像拍摄时间；以及是否手动进行了摄像指示；等等。此外，还可以计算得分，该得分是将用户的图像偏好表示为数值的神经网络输出。生成该信息，并将该信息作为标签信息记录在拍摄图像文件中。可选地，可以将该信息写入非易失性存储器216，或者可以将各拍摄图像的信息以已知为“目录数据”的列表格式存储在记录介质221中。
在步骤S913中，更新过去摄像信息。具体地，关于如步骤S908中所述的针对各区域所拍摄到的图像的数量、针对经过了个人认证登记的各人物所拍摄到的图像的数量、针对在普通物体识别中识别的各被摄体所拍摄到的图像的数量、以及场景判断中的针对各场景所拍摄到的图像的数量，使此时所拍摄到的图像的数量的计数增加1。
<学习处理>
接着，将说明根据本实施例的基于用户的偏好的学习。在本实施例中，利用学习处理单元219使用诸如图11所示的神经网络等的神经网络以及机器学习算法来执行基于用户的偏好的学习。神经网络用于根据输入值预测输出值，并且通过预先使用输入值的实际值和输出值的实际值对网络进行训练，可以针对新的输入值估计输出值。通过使用神经网络，针对上述的自动摄像、自动编辑和被摄体搜索等执行基于用户的偏好的学习。另外，还执行以下操作：使用学习来改变用作供输入到神经网络中用的特征数据的被摄体信息(面部认证的结果、以及普通物体识别等)的登记、控制摄像通知、控制低电力模式、以及自动删除文件等。
在本实施例中，应用了学习处理的操作是以下操作。
(1)自动摄像
(2)自动编辑
(3)被摄体搜索
(4)被摄体登记
(5)摄像通知控制
(6)低电力模式控制
(7)自动文件删除
(8)图像模糊校正
(9)自动图像传送
在应用了学习处理的上述操作中，自动编辑、自动文件删除和自动图像传送与本发明的主要概念没有直接关系，因此将不进行说明。
<自动摄像>
这里将说明针对自动摄像的学习。在自动摄像中，执行用于自动拍摄与用户的偏好匹配的图像的学习。如参考图9的流程图所述，在拍摄到图像之后(在步骤S910之后)执行训练信息生成处理(步骤S912)。通过后面将说明的方法来选择要学习的图像，并且基于该图像中所包括的训练信息，通过改变神经网络的权重来训练神经网络。
通过改变用于判断自动摄像的定时的神经网络、并且改变用于判断摄像方法(拍摄静止图像、拍摄运动图像、连拍和全景图像拍摄等)的神经网络来执行训练。
<被摄体搜索>
这里将说明针对被摄体搜索的学习。在被摄体搜索中，执行用于自动搜索与用户的偏好匹配的被摄体的学习。如参考图9的流程图所述，在被摄体搜索处理(步骤S904)中，通过计算各区域的重要度级别、然后执行平摇、俯仰和变焦驱动，来执行被摄体搜索。基于拍摄图像和在搜索期间获得的检测信息等来执行学习，并且通过改变神经网络的权重来获得结果作为学习结果。在搜索操作期间将各种检测信息输入到神经网络中，并且通过判断重要度级别来执行反映学习的被摄体搜索。除了计算重要度级别之外，例如，还控制平摇/俯仰搜索方法(速度和移动的频度)，以及根据照相机的移动速度控制被摄体搜索区域，等等。此外，通过针对上述各个照相机状态设置不同的神经网络、并应用适合于当前照相机状态的神经网络，来执行最佳被摄体搜索。
<被摄体登记>
这里将说明针对被摄体登记的学习。在被摄体登记中，执行用于根据用户的偏好来自动登记被摄体并对被摄体进行排名的学习。例如，作为学习，执行面部认证登记、普通物体识别的登记、手势和语音识别的登记、以及基于声音的场景识别等。对人和物体执行认证登记，然后基于获得图像的次数和频度、手动拍摄图像的次数和频度、以及在搜索中被摄体出现的频度来对这些人和物体进行排名。所登记的信息被登记为使用相应神经网络进行的判断所用的输入。
<摄像通知控制>
这里将说明针对摄像通知的学习。如参考图9的步骤S910所述，紧挨在拍摄图像之前，如果满足预定条件，则向照相机将拍摄的人物提供表示将拍摄图像的通知，然后拍摄图像。例如，可以通过平摇/俯仰驱动操作从视觉上引导被摄体的视线，或者可以通过使用音频输出单元218所发出的扬声器声音、或者利用LED控制单元224从LED发光等来吸引被摄体的注意。基于紧接在上述通知之后是否获得了检测信息(例如，微笑的程度、人物是否正在观看照相机、或者手势)来判断在学习中是否使用被摄体的检测信息，并且通过改变神经网络中的权重来执行训练。
将紧挨在拍摄图像之前的各种检测信息输入到神经网络，之后进行与是否进行通知有关的判断、以及与各种操作(声音(声级/声音类型/定时)、光(发光时间、速度)、照相机朝向(平摇/俯仰运动)有关的判断等。
<低电力模式控制>
如参考图7A、图7B和图8所述，执行用于接通和断开向主CPU(第一控制单元223)的电力供给的控制；然而，还学习用于取消低电力模式的条件和用于转变为低电力状态的条件等。这里将说明用于取消低电力模式的条件。
<轻击检测>
如上所述，通过学习来改变预定时间TimeA和预定阈值ThreshA等。在上述的轻击检测的阈值已下降的状态下还执行初步轻击检测，并且根据是否在检测到轻击之前判断为初步轻击检测，来设置TimeA和ThreshA等的参数以使检测更容易。另外，在检测到轻击之后、根据照相机检测信息而判断为轻击不是启动触发的情况下，设置TimeA和ThreshA等的参数以使得轻击检测更加困难。
<振荡状态检测>
如上所述，通过学习来改变预定时间TimeB、预定阈值ThreshB和预定次数CountB等。在振荡状态判断结果对应于启动条件的情况下，执行启动；然而，在启动之后的预定时间量中、根据照相机检测信息判断为结果不是启动触发的情况下，执行学习以使得启动更难响应于振荡状态判断而发生。另外，在判断为在高振荡的状态下摄像频度高的情况下，启动被设置成更难以响应于振荡状态判断而发生。
<声音检测>
例如，可以通过用户经由使用外部装置301中的专用应用的通信而手动设置特定语音、要检测的特定声音场景或特定声级等来执行学习。另外，也可以通过预先在音频处理单元中设置多个检测方法、使得通过后面所述的方法选择要学习的图像、学习图像中所包括的前后的音频信息、并且设置要判断为启动触发的声音(特定语音命令、以及诸如欢呼或掌声等的声音场景等)，来执行学习。
<环境信息检测>
例如，可以通过用户经由使用外部装置301中的专用应用的通信而手动设置要用作启动条件的环境信息的变化来执行学习。例如，可以在诸如温度、气压、亮度、湿度或紫外光量的绝对量或变化量等的特定条件下执行启动。也可以学习基于各种环境信息的判断阈值。如果在响应于环境信息所执行的启动之后、基于照相机检测信息判断为环境信息不是启动触发，则设置各种判断阈值的参数以使环境变化的检测更加困难。
另外，上述参数根据剩余电池电量而改变。例如，在剩余电池电量较少时，变得更难进行各种判断，并且在剩余电池电量较多时，变得更容易进行各种判断。具体地，存在如下的情况：即使在不一定是用户希望照相机启动的触发的振荡状态检测结果和声音场景检测结果等的情况下，在剩余电池电量多时，也判断为启动照相机。
另外，可以基于神经网络根据振荡检测、声音检测、经过时间检测、各种环境信息和剩余电池电量等的信息来判断用于取消低电力模式的条件。在这种情况下，经由后面将说明的方法来选择要学习的图像，并且通过基于图像中所包括的训练信息改变神经网络的权重来训练神经网络。
接着，将说明对用于转变为低电力状态的条件的学习。如图7A所示，如果在步骤S704中执行的模式设置判断表示操作模式不是自动摄像模式、自动编辑模式、自动图像传送模式、学习模式和自动文件删除模式，则照相机进入低电力模式。用于判断各模式的条件如上所述，并且判断各模式所依据的条件也响应于学习而改变。
<自动摄像模式>
如上所述，针对各区域判断重要度级别，并且在使用平摇/俯仰以搜索被摄体的同时执行自动摄像；然而，如果判断为不存在要拍摄的被摄体，则取消自动摄像模式。例如，在所有区域的重要度级别或通过将这些区域的重要度级别相加到一起所获得的值等变得小于或等于预定阈值的情况下，取消自动摄像模式。此时，随着在转变为自动摄像模式之后时间经过，预定阈值也减小。随着在转变为自动摄像模式之后更多时间经过，更容易转变为低电力模式。
可以通过根据剩余电池电量改变预定阈值来执行考虑到电池寿命的低电力模式控制。例如，在剩余电量较少时，增大阈值，使得更容易转变为低电力模式，而在剩余电量较多时，减小阈值，使得更难转变为低电力模式。这里，根据自前次转变为自动摄像模式起所经过的时间量和所拍摄到的图像数量来针对第二控制单元211(子CPU)设置下次取消低电力模式的条件的参数(经过时间阈值TimeC)。上述阈值作为学习的结果而改变。例如，通过经由使用外部装置301的专用应用的通信而手动设置摄像频度和启动频度等来执行学习。
可以采用如下的结构：通过累积针对从接通照相机101的电源按钮起直到断开电源按钮为止所经过的时间的平均值及其时间段各自的分布数据来学习各参数。在这种情况下，执行学习，使得针对从接通电源起直到断开电源为止的时间较短的用户，按较短的时间间隔发生从低电力模式的返回和至低电力状态的转变等，并且针对从接通电源起直到断开电源为止的时间较长的用户，所述时间间隔较长。
还根据搜索期间的检测信息来执行学习。执行学习，使得在判断为存在许多通过学习已被设置为重要的被摄体时，按较短的时间间隔发生从低电力模式的返回和至低电力状态的转变等，并且在重要被摄体较少时，所述时间间隔较长。
<图像模糊校正>
这里将说明针对图像模糊校正的学习。通过在图9的步骤S902中计算校正量、然后基于该校正量在步骤S905中执行平摇/俯仰驱动操作来执行图像模糊校正。在图像模糊校正中，执行用于根据用户振荡的特性来进行校正的学习。可以通过对拍摄图像使用例如PSF(点扩展函数)来估计模糊的方向和大小等。在图9的步骤S912中执行的学习信息生成中，将所估计的模糊方向和大小作为信息添加到图像。
在图7B的步骤S716中执行的学习模式处理中，使用所估计的模糊的方向和大小作为输出，并且使用拍摄图像时的各种检测信息(拍摄图像之前的预定时间量的图像的运动矢量信息、所检测到的被摄体(人物或物体等)的移动信息、振荡信息(陀螺仪传感器输出、加速度输出、照相机状态))作为输入，来训练图像模糊校正所用的神经网络的权重。还可以通过向输入添加其它信息来进行判断，这些其它信息是环境信息(温度、气压、照度和湿度)、声音信息(声音场景判断、特定音频检测、声级变化)、时间信息(自启动起所经过的时间、自前次摄像起所经过的时间)、以及场所信息(GPS位置信息、位置移动变化量)等。
在步骤S902中计算图像模糊校正量时，可以通过将上述各种检测信息输入到神经网络中来估计在该瞬间拍摄图像时的模糊的大小。在模糊的大小被估计为高时，可以执行用于增大快门速度等的控制。另外，还可以使用如下的方法：在模糊的大小被估计为高时，图像将变模糊，并且禁止该摄像。
由于对平摇/俯仰驱动角度存在限制，因此一旦到达驱动范围的端部，不能执行附加校正；然而，可以通过估计拍摄图像时的模糊的大小和方向来估计用于校正正被曝光的图像中的模糊的平摇/俯仰驱动所需的范围。在曝光期间的运动范围中不存在余量的情况下，可以通过增大用于计算图像模糊校正量的滤波器的截止频率使得不超过运动范围来抑制较大量的模糊。在似乎要超过运动范围的情况下，在首先沿与要超过运动范围的方向相反的方向转动平摇/俯仰角度之后开始曝光，这使得可以确保运动范围并拍摄无模糊的图像。因此，可以学习符合用户在拍摄图像时的特征的图像模糊校正、以及用户如何使用照相机等，从而使得可以防止拍摄图像变模糊。
另外，在上述的“摄像方法判断”中，可以判断是否执行摇摄，其中在该摇摄中，移动被摄体不是模糊的，但静止的背景由于运动而出现模糊。在这种情况下，可以通过根据直到拍摄图像为止所获得的检测信息而估计用于拍摄无模糊的被摄体的平摇/俯仰驱动速度来执行被摄体模糊校正。此时，可以通过将上述各种检测信息输入到已训练的神经网络中来估计驱动速度。通过将图像分割成块、估计各块的PSF、估计主被摄体所位于的块中的模糊的方向和大小、然后基于该信息执行学习，来执行学习。
也可以从用户所选择的图像的信息学习背景中的模糊量。在这种情况下，在主被摄体不位于的块中估计模糊的大小，并且可以基于该信息来学习用户的偏好。通过基于所学习的背景中的偏好模糊量而设置摄像期间的快门速度，可以自动执行提供用户的期望摇摄效果的摄像。
接着,将说明学习方法。可以给出“照相机内的学习”和“通过与通信装置联合的学习”作为学习方法。
以下将说明用于照相机内的学习的方法。在本实施例中，给出了以下的用于照相机内的学习的方法。
(1)根据手动摄像期间的检测信息的学习
(2)根据搜索被摄体时的检测信息的学习
<根据手动摄像期间的检测信息的学习>
如参考图9的步骤S907至步骤S913所述，在本实施例中，照相机101可以采用两个方式(即，通过手动摄像和自动摄像)拍摄图像。在步骤S907中进行了手动摄像指示时，在步骤S912中将表示手动拍摄到图像的信息添加到拍摄图像。如果在步骤S909中自动摄像被判断为开启的状态下拍摄了图像，则在步骤S912中将表示自动拍摄到图像的信息添加到拍摄图像。
这里，在手动拍摄图像时，很可能基于用户的偏好被摄体、偏好场景、偏好场所和时间间隔来拍摄图像。因此，基于在手动摄像期间获得的各种特征数据以及拍摄图像的训练信息等来执行学习。还基于在手动摄像期间获得的检测信息，针对拍摄图像中的特征量的提取、个人认证登记、各个人的表情的登记、以及人的组合的登记等来执行学习。另外，执行学习，使得基于在被摄体搜索期间获得的检测信息(例如，基于被登记为个人的被摄体的表情)来改变附近的人和物体等的重要度。此外，可以针对上述的各个照相机状态设置不同的训练数据和神经网络，并且可以添加到与拍摄图像时的照相机的状态一致的训练数据。
<根据搜索被摄体时的检测信息的学习>
在被摄体搜索操作期间，针对为了个人认证所登记的被摄体判断该被摄体与哪个人、物体和场景同时出现，并且计算被摄体同时出现在视角内的时间比率。例如，计算作为执行了个人认证登记的被摄体的人物A和同样作为执行了个人认证登记的被摄体的人物B同时出现的时间比率。将各种检测信息保存为学习数据，使得在人物A和人物B在相同视角内时，对于判断为自动摄像的得分增大，然后通过学习模式处理(步骤S716)来执行学习。
作为另一示例，计算作为执行了个人认证登记的人物A与通过普通物体识别所判断出的被摄体“猫”同时出现的时间比率。将各种检测信息保存为学习数据，使得在人物A和猫在相同视角内时，对于判断为自动摄像的得分增大，然后通过学习模式处理(步骤S716)来执行学习。
另外，在针对作为执行了个人认证登记的被摄体的人物A检测到了高的微笑程度或者表示“喜悦”或“惊喜”的表情等的情况下，同时出现的被摄体被学习为重要。可选地，在检测到表示“愤怒”或“严肃”等的表情的情况下，同时出现的被摄体不太可能重要，因而可以执行该处理，使得不进行学习。
接着，将说明根据本实施例的通过与外部装置联合的学习。根据本实施例，可以给出以下方法作为用于通过与外部装置联合的学习的方法。
(1)通过外部装置获得图像的学习
(2)通过经由外部装置针对图像输入判断值的学习
(3)通过分析外部装置中所保存的图像的学习
(4)根据由外部装置上传到SNS服务器的信息的学习
(5)通过使用外部装置改变照相机参数的学习
(6)根据通过在外部装置中手动编辑图像所获得的信息的学习
<通过外部装置获得图像的学习>
如参考图3所述，照相机101和外部装置301具有执行第一通信302和第二通信303的通信部件。主要使用第一通信302来发送和接收图像，并且可以将照相机101内的图像经由外部装置301中的专用应用发送至外部装置301。另外，可以使用外部装置301内的专用应用浏览照相机101中所保存的图像数据的缩略图图像。用户可以从缩略图图像中选择他或她喜欢的图像，确认该图像，并且发出用以获得该图像的指示，从而使得将该图像发送至外部装置301。
此时，用户选择并获得图像，因此很有可能所获得的图像是与用户的偏好匹配的图像。因此，所获得的图像可被判断为应学习的图像，并且可以通过基于所获得的图像的训练信息执行训练来学习各种用户偏好。
这里将说明操作的示例。图12示出使用外部装置301的专用应用正浏览照相机101内的图像的示例。将照相机内所存储的图像数据的缩略图图像(1604～1609)显示在显示单元407中，并且用户可以选择并获得他或她喜欢的图像。此时设置了构成用于改变显示方法的显示方法改变单元的按钮1601、1602和1603。
在按下按钮1601时，显示方法改变为日期/时间优先显示模式，其中在该日期/时间优先显示模式中，将照相机101内的图像按拍摄到这些图像的日期/时间的顺序显示在显示单元407中。例如，将具有较新的日期/时间的图像显示在由1604表示的位置，并且将具有较旧的日期/时间的图像显示在由1609表示的位置。
在按下按钮1602时，模式改变为推荐图像优先显示模式。基于在图9的步骤S912中为了判断用户针对各图像的偏好所计算出的得分，将照相机101中的图像按从具有最高得分的图像起的顺序显示在显示单元407中。例如，将具有更高得分的图像显示在由1604表示的位置，并且将具有更低得分的图像显示在由1609表示的位置。
在按下按钮1603时，可以指定诸如人物或物体等的被摄体，并且在然后指定特定人物或物体时，可以仅显示该特定被摄体。也可以同时开启按钮1601～1603。例如，在所有的按钮都开启的情况下，仅显示所指定的被摄体，其中优先显示在较新的日期/时间拍摄到的图像，并且优先显示具有更高得分的图像。以这种方式，还针对拍摄图像学习用户的偏好，因而可以通过执行简单的确认任务来从大量拍摄图像中仅提取与用户的偏好匹配的图像。
<通过经由外部装置针对图像输入判断值的学习>
如上所述，照相机101和外部装置301包括通信部件，并且可以使用外部装置301内的专用应用浏览照相机101中所存储的图像。这里，结构可以如下：用户向各个图像添加得分。用户可以将高得分(例如，5分)添加到与他或她的偏好匹配的图像，并且将低得分(例如，1分)添加到与他或她的偏好不匹配的图像，因而结构如下：照相机响应于用户操作来进行学习。将各图像的得分连同训练信息一起用于在照相机内进行重新训练。执行学习，使得将来自所指定的图像信息的特征数据作为输入的神经网络的输出接近用户所指定的得分。
尽管本实施例说明了用户经由外部装置301针对拍摄图像输入判断值的结构，但结构可以如下：通过操作照相机101来直接针对图像输入判断值。在这种情况下，例如，照相机101设置有触摸面板显示器，并且模式被设置为在用户按下触摸面板显示器的画面显示部中所显示的GUI按钮时显示拍摄图像的模式。可以通过用户在确认图像的同时针对各拍摄图像输入判断值的方法来执行相同类型的学习。
<通过分析外部装置中所保存的图像的学习>
外部装置301包括存储单元404，并且结构如下：将除照相机101所拍摄到的图像以外的图像记录在存储单元404中。此时，用户容易浏览外部装置301中所存储的图像，并且也容易将这些图像经由公共无线控制单元406上传到共享服务器，因此很有可能包括与用户的偏好匹配的许多图像。
外部装置301的控制单元411被配置为能够使用专用应用以与照相机101中的学习处理单元219的性能同等的性能处理存储单元404中所存储的图像。通过将处理后的训练数据通信至照相机101来执行学习。可选地，结构可以如下：将要学习的图像和数据等发送至照相机101，并且在照相机101内执行学习。如下的结构也是可以的：用户使用专用应用从存储单元404内所存储的图像中选择要学习的图像，然后执行学习。
<根据由外部装置上传到SNS服务器的信息的学习>
接着，将说明如下的方法：在学习中使用来自作为可以构建关注于人之间的连接的社交网络的服务或网站的社交网络服务(SNS)的信息。存在如下的技术：在将图像上传到SNS时，该图像是连同针对该图像输入的标签信息一起从外部装置301发送来的。还存在如下的技术：针对其它用户所上传的图像输入喜欢或不喜欢，因此可以判断其它用户所上传的图像是否是与拥有外部装置301的用户的偏好匹配的图像。
可以经由下载到外部装置301的专用SNS应用获得用户他或她自己上传的图像以及与如上所述的图像有关的信息。此外，还可以根据用户输入他或她是否喜欢其它用户所上传的图像来获得与用户的偏好匹配的图像以及标签信息等。通过分析这些图像和标签信息等，可以在照相机101内执行学习。
外部装置301的控制单元411被配置为能够如上所述获得用户所上传的图像、以及被判断为与用户的偏好匹配的图像等，并且以与照相机101内的学习处理单元219的性能同等的性能处理这些图像。通过将处理后的训练数据通信至照相机101来执行学习。可选地，结构可以如下：将要学习的图像发送至照相机101，并且在照相机101内执行学习。
另外，基于标签信息中所设置的被摄体信息(例如，表示诸如狗或猫等的被摄体的被摄体信息、表示海滩等的场景信息、以及表示微笑等的表情信息等)来估计假定与用户的偏好匹配的被摄体信息。然后，通过将该信息登记为要通过输入到神经网络中来检测的被摄体来执行学习。
另外，可以采用如下的结构：根据上述SNS中的标签信息(图像滤波器信息和被摄体信息等)的统计值来估计当前在世界上流行的图像信息，然后可以在照相机101中执行学习。
<通过使用外部装置改变照相机参数的学习>
如上所述，照相机101和外部装置301具有通信部件。照相机101中当前设置的学习参数(神经网络权重、以及要输入到神经网络的被摄体的选择等)可被通信至外部装置301并存储在外部装置301的存储单元404中。另外，可以使用外部装置301中的专用应用经由公共无线控制单元406获得在专用服务器中设置的学习参数，然后可以将这些学习参数设置为照相机101内的学习参数。因此，通过将给定时间点的参数存储在外部装置301中、然后将这些参数设置在照相机101中，也可以恢复学习参数。此外，也可以经由专用服务器获得其它用户所保持的学习参数，并将这些学习参数设置在用户区照相机101中。
此外，结构可以如下：外部装置301的专用应用可用于用户所登记的语音命令、认证登记和手势登记等，或者可用于登记重要场所。将该信息作为如在自动摄像模式处理(图9)中所述的摄像触发和用于判断自动摄像的输入数据等来处理。此外，结构可以如下：可以设置摄像频度、启动间隔、静止图像与运动图像的比率和偏好图像等，然后设置如在“低电力模式控制”中所述的诸如针对启动间隔等的设置。
<根据通过在外部装置中手动编辑图像所获得的信息的学习>
外部装置301中的专用应用可以设置有能够经由用户操作进行手动编辑的功能，然后将编辑任务的详情反馈到学习。例如，可以执行用于添加图像效果的编辑(例如，裁切、旋转、幻灯片、缩放、淡入淡出、颜色转换滤波器效果、时间、静止图像与运动图像比率、BGM)。然后，训练自动编辑的神经网络，由此针对图像的训练信息判断通过手动编辑所添加的图像效果。
接着，将说明学习处理的序列。在图7A的步骤S704中进行的模式设置判断中，判断是否应执行学习处理，并且如果判断为应执行学习处理，则执行步骤S716的学习模式处理。
这里将说明用于判断学习模式的条件。基于自执行前次学习处理起的时间量、在学习中可以使用的信息的数量、以及经由通信装置是否进行了用以执行学习处理的指示等来判断是否转变为学习模式。图13示出用于判断是否转变为学习模式的处理的流程，该判断是在步骤S704的模式设置判断处理内进行的。
在步骤S704的模式设置判断处理内进行了用以开始学习模式判断的指示的情况下，图13所示的序列开始。在步骤S1401中，判断是否从外部装置301进行了登记指示。这里的判断是与是否针对上述学习(例如，“通过外部装置获得图像的学习”、“通过经由外部装置针对图像输入判断值的学习”或“通过分析外部装置中所保存的图像的学习”等)进行了登记指示有关的判断。
如果在步骤S1401中从外部装置301进行了登记指示，则序列进入步骤S1408，在该步骤S1408中，学习模式判断被设置为“真”，步骤S716的处理被设置成执行，并且学习模式判断处理结束。如果在步骤S1401中不存在来自外部装置的登记指示，则序列进入步骤S1402。
在步骤S1402中，判断是否从外部装置进行了学习指示。这里的判断是基于是否进行了用于如“通过使用外部装置改变照相机参数的学习”那样设置学习参数的指示来进行的。如果在步骤S1402中从外部装置进行了学习指示，则序列进入步骤S1408，在该步骤S1408中，学习模式判断被设置为“真”，步骤S716的处理被设置成执行，并且学习模式判断处理结束。如果在步骤S1402中不存在来自外部装置的学习指示，则序列进入步骤S1403。
在步骤S1403中，获得自执行前次学习处理(神经网络的权重的重新计算)起所经过的经过时间TimeN，之后序列进入步骤S1404。在步骤S1404中，获得学习所用的新数据数量DN(在自执行前次学习处理起所经过的经过时间TimeN期间为了学习所指定的图像的数量)，之后序列进入步骤S1405。在步骤S1405中，计算用于判断在经过时间TimeN之后是否进入学习模式的阈值DT。结构如下：随着阈值DT的值减小，更容易进入学习模式。例如，作为在TimeN小于预定值时的阈值DT的值的DTa被设置为大于作为在TimeN大于预定值时的阈值DT的值的DTb，并且阈值被设置成随着时间的经过而减小。因此，即使训练数据很少，在经过了较大时间量时也更容易进入学习模式；通过再次执行学习，照相机更容易根据使用时间通过学习进行改变。
一旦在步骤S1405中计算出阈值DT，序列进入步骤S1406，在该步骤S1406中，判断学习所用的数据数量DN是否大于阈值DT。如果数据数量DN大于阈值DT，则序列进入步骤S1407，其中DN被设置为0。然后，序列进入步骤S1408，在该步骤S1408中，学习模式判断被设置为“真”，步骤S716(图7B)的处理被设置成执行，并且学习模式判断处理结束。
如果在步骤S1406中DN小于或等于阈值DT，则序列进入步骤S1409。不存在来自外部装置的登记指示或限制指示，并且学习所用的数据数量小于或等于预定值；如此，学习模式判断被设置为“假”，步骤S716的处理被设置成不执行，并且学习模式判断处理结束。
接着，将说明在学习模式处理(步骤S716)中执行的处理。图14是详细示出在学习模式处理中执行的操作的流程图。
在图7B的步骤S715中判断为学习模式并且序列进入步骤S716时，图14的序列开始。在步骤S1501中，判断是否从外部装置301进行了登记指示。如果在步骤S1501中不存在来自外部装置301的登记指示，则序列进入步骤S1502。在步骤S1502中执行各种登记处理。
各种登记是要输入到神经网络的特征的登记，例如，面部认证登记、普通物体识别登记、声音信息登记和场所信息登记等。一旦登记处理结束，序列进入步骤S1503，并且基于步骤S1502中所登记的信息来改变要输入到神经网络的元素。一旦步骤S1503的处理结束，序列进入步骤S1507。
如果在步骤S1501中不存在来自外部装置301的登记指示，则序列进入步骤S1504，在该步骤S1504中，判断是否从外部装置301进行了学习指示。如果存在来自外部装置301的学习指示，则序列进入步骤S1505，在该步骤S1505中，将从外部装置301通信来的学习参数设置在各种判断器(神经网络权重等)中，之后序列进入步骤S1507。
如果在步骤S1504中不存在来自外部装置301的学习指示，则在步骤S1506中执行学习(重新计算神经网络权重)。在如参考图13所述、学习所用的数据数量DN超过阈值DT并且要重新训练各个判断器时，执行步骤S1506的处理。通过诸如误差反向传播或梯度下降等的方法执行重新训练，重新计算神经网络的权重，并且改变各个判断器的参数。一旦设置了学习参数，序列进入步骤S1507。
在步骤S1507中，对文件内的图像重新评分。在本实施例中，结构如下：基于学习结果来向文件(记录介质221)中所存储的所有拍摄图像赋予得分，并且根据所赋予的得分来执行自动编辑和自动文件删除等。因此，如果执行了重新训练、或者设置了来自外部装置的学习参数，则也需要更新拍摄图像的得分。因而，在步骤S1507中，执行重新计算以向文件中所存储的拍摄图像赋予新得分，并且一旦处理结束，学习模式处理也结束。
本实施例说明了在照相机101内执行学习的结构。然而，即使利用在外部装置301中设置学习功能、并且通过将学习所需的数据通信至外部装置301来仅在外部装置侧执行学习的结构也可以实现相同的学习效果。在这种情况下，如以上在“通过使用外部装置改变照相机参数的学习”中所述，结构可以如下：通过经由通信在照相机101中设置在外部装置侧学习的诸如神经网络权重等的参数，来执行学习。
另外，结构可以如下：照相机101和外部装置301这两者都设置有学习功能；例如，结构可以如下：在照相机101内执行学习模式处理(步骤S716)的定时将外部装置301所保持的训练信息通信至照相机101，并且通过合并学习参数来执行学习。
(第二实施例)
根据第二实施例的照相机的结构与第一实施例中相同；如此，以下将仅说明与第一实施例中的部分有所不同的部分，并且将不说明相同的处理的结构。
在本实施例中，可以利用附件检测单元(未示出)检测附接至照相机101的附件的类型。例如，使用如下的方法：使用非接触通信部件等将所附接的附件的类型的信息从图15A至图15D所示的附件1501～1504发送至照相机101。还可以使用照相机101以及附件1501～1504中所设置的连接器来发送和接收信息并执行检测。然而，在照相机101包括电池的情况下，存在无需在附件中设置电池连接器的情况。在这种情况下，有目的地设置连接器将会使得需要还包括诸如用于向连接部分添加防水功能等的组件，这增大了装置的大小和成本等。因此，使用非接触通信部件等是优选的。可以使用蓝牙低功耗(BLE)或近场通信(NFC)BLE等作为非接触通信部件，或者作为代替可以使用其它方法。
另外，附件1501～1504中的无线电波发射源可以是紧凑的、具有低容量的电源；例如，可以使用纽扣电池、或者从用于按压操作构件(未示出)的力产生非常小的电力的部件等。
通过检测附件的类型，可以根据附件的类型以受限的方式判断照相机的状态(例如，照相机是否处于手持状态、从颈部悬挂、处于可穿戴状态、放置在桌子上、或者附接至移动体上等，即状态信息)。可以使用诸如检测电压的变化或检测ID等的现有方法来检测附件的附接。
图15A至图15D是示出附接附件时的使用示例的图。图15A示出手持状态，图15B示出从颈部悬挂的照相机，图15C示出可穿戴状态，并且图15D示出固定放置状态；这里，各个附件附接至照相机101。1501表示手持式附件；1502表示颈部悬挂用附件；1503表示可穿戴式附件；并且1504表示固定放置用附件。代替头戴形式，也可想到可穿戴式附件1503附接至某人的肩部或腰带等。
在以这种方式附接附件时，存在照相机的状态受到限制的情况，这提高了对照相机状态的判断的精度；这继而使得可以更适当地控制自动摄像的定时、被摄体搜索范围、以及低电力模式开启和关闭的定时等。
此外，可以通过将使用附件的类型所进行的照相机状态判断与被摄体信息、照相机移动信息和振荡状态等组合来进一步限制照相机的状态。例如，在检测到手持式附件时，根据用户是以手持状态正在步行还是静止来改变被摄体搜索范围控制、自动摄像控制和低电力模式控制。同样，在检测到固定放置附件的情况下，根据移动信息和振荡状态等来判断照相机是静止在桌子上还是附接至车辆或无人机等且正在移动，并且改变各种控制。
具体地，图18示出针对附件的各类型的被摄体搜索范围、自动摄像控制和低电力模式控制的示例的总结。
首先，在如图15A所示附接手持式附件1501的情况下，如图16A所示，这被视为用户很有可能正将照相机指向给定被摄体。因此，即使被摄体搜索范围1601被设置为窄范围，也可以找到被摄体1602。图16B是仅示出附接至手持附件1501的照相机101的图。被摄体搜索范围可被设置为相对于可拍摄范围1603窄的诸如被摄体搜索范围1604等的区域。在这种情况下执行的自动摄像中，用户有意地将照相机指向被摄体，因而可以提高摄像的频度(摄像频度确定)，并且摄像方向可被限制为照相机正在面向的方向。另外，由于在照相机正指向被摄体时要拍摄图像，因此无需将照相机设置为低电力模式。该示例是在照相机正在面向的方向上存在被摄体的示例，因而在情况并非如此的情况下，无需缩小被摄体搜索范围或者提高摄像频度等。
接着，在如图15B所示附接颈部悬挂用附件1502的情况下，如由图10A至图10E中的1322所示，被摄体搜索范围可被限制到尽可能最大限度地避免示出用户的身体的范围。在照相机从颈部悬挂时，可想到照相机正被用作生活记录照相机，因而摄像频度可被设置为恒定间隔，并且向前方向可被优先作为摄像方向。然而，结构可以如下：响应于用户的移动或语音等而检测到周边环境的变化等，提高摄像频度，并且消除对摄像方向的限制，由此在事件发生时可以记录更多的图像。另外，一旦拍摄到了同一场景的预定数量的图像，照相机可以转变为低电力模式，直到检测到诸如用户进行大的移动等的触发为止，从而避免拍摄许多类似的照片。
在如图15C所示附接可穿戴附件1503的情况下，可以根据使用用途来大幅改变控制。利用诸如图15C所示的附件等的头戴式附件，可以在用户正远足或登山等的情形中执行与在使用颈部悬挂用附件时应用的控制同样的控制。可选地，在技术人员正使用照相机记录他或她的作业时，可以执行被摄体搜索，使得尽可能最大限度地示出技术人员的手，并且可以执行控制以按提高的摄像频度进行记录。
将使用图17A和图17B来说明如图15D所示附接固定放置用附件1504的情形。图17A示出从正侧面观看的如下的情形：使用固定放置用附件1504将照相机101放置在桌子上。如由1702所示，被摄体搜索范围相对于可拍摄范围1701可以略微缩小，使得桌子(地面、地板)不占据图像的极大部分。同样，图17B是示出从上方观看照相机的状态的图。在这种状态下，在周边不存在特定障碍物，因而被摄体搜索范围1703适用于所有方向。由于此时照相机不会移动，因此在自动摄像控制中，可以在每次拍摄图像时降低摄像频度以避免拍摄类似的照片，然后一旦检测到新的人物或环境的变化等，提高摄像频度。摄像方向也被设置为覆盖所有方向，以避免拍摄类似的照片。此外，一旦拍摄到了预定数量的图像，照相机可以转变为低电力模式。
此外，在使用固定放置用附件将照相机附接至移动体时，假设照相机将正朝向所拍摄到的被摄体移动；因而，可以优先在向前方向上进行被摄体搜索，并且摄像方向也可被优先设置为向前方向。在这种情况下，根据移动体的移动来改变摄像频度。例如，如果行进方向频繁地改变，则摄像频度增加。然而，如果行进方向没有改变并且速度也没有大幅改变，则可以执行控制以按设置间隔转变为低电力模式。
以这种方式，使用附件信息使得可以限制照相机状态判断，这继而使得可以更准确地判断状态。因此，可以更准确地执行被摄体搜索控制、自动摄像控制和低电力模式控制，从而增加了用户可以根据他或她的预期来拍摄图像的可能性。
(其它实施例)
本发明也可被实现为通过以下方式执行的处理：将实现上述实施例的一个或多个功能的程序经由网络或通过存储介质供给至系统或设备，然后使得该系统或设备的计算机的一个或多个处理器读出并执行该程序。本发明也可以由实现一个或多个功能的电路(例如，ASIC)来实现。
以下将说明本发明的实施例的示例。
(实施例1)
一种摄像设备，其特征在于，包括：摄像部件，用于拍摄被摄体图像；被摄体检测部件，用于从所述摄像部件所拍摄到的图像数据中检测被摄体；状态检测部件，用于检测与所述摄像设备本身的移动的状态有关的信息；以及控制部件，用于基于所述状态检测部件所检测到的所述摄像设备的状态信息，来对所述被摄体检测部件搜索被摄体的范围进行控制。
(实施例2)
根据实施例1的摄像设备，其特征在于，所述状态检测部件检测所述摄像设备的行进方向和移动速度。
(实施例3)
根据实施例1或2的摄像设备，其特征在于，所述状态检测部件基于所述摄像设备的角速度信息、加速度信息、GPS位置信息和从所拍摄的图像针对各个坐标所计算出的运动矢量至少之一，来检测所述摄像设备的行进方向和移动速度。
(实施例4)
根据实施例3的摄像设备，其特征在于，所述状态检测部件基于所设置的时间段中的测量结果来检测所述摄像设备的行进方向和移动速度。
(实施例5)
根据实施例1至4中的任一个的摄像设备，其特征在于，所述被摄体检测部件基于来自所述状态检测部件的检测结果来改变搜索被摄体的时间间隔。
(实施例6)
根据实施例1至5中的任一个的摄像设备，其特征在于，在所述状态检测部件所检测到的所述摄像设备的移动速度增加时，所述控制部件使得搜索被摄体的范围变窄。
(实施例7)
根据实施例1至6中的任一个的摄像设备，其特征在于，在通过所述状态检测部件所执行的检测而判断为所述摄像设备为静止的情况下，与在所述摄像设备正在移动的情况下相比，所述控制部件使得搜索被摄体的范围变宽。
(实施例8)
一种摄像设备，其特征在于，包括：摄像部件，用于拍摄被摄体图像；被摄体检测部件，用于从所述摄像部件所拍摄到的图像数据中检测被摄体；状态检测部件，用于检测与所述摄像设备正在被保持的状态有关的信息；以及控制部件，用于基于所述状态检测部件所检测到的所述摄像设备的状态信息，来对所述被摄体检测部件搜索被摄体的范围进行控制。
(实施例9)
根据实施例8的摄像设备，其特征在于，所述摄像设备正在被保持的状态包括手持状态、从颈部悬挂的状态、可穿戴状态、放置在桌子上的状态和放置在移动体上的状态至少之一。
(实施例10)
根据实施例1至9中的任一个的摄像设备，其特征在于，所述控制部件将用于搜索被摄体的范围设置为相对于所述摄像设备的行进方向左右对称的角度范围。
(实施例11)
根据实施例1或8的摄像设备，其特征在于，所述状态检测部件检测附接至所述摄像设备的附件的信息，并且所述控制部件根据所附接的附件的信息来对所述被摄体检测部件搜索被摄体的范围进行控制。
(实施例12)
根据实施例8的摄像设备，其特征在于，在所述摄像设备正在被保持的状态是从颈部悬挂的状态的情况下，所述控制部件对所述被摄体检测部件搜索被摄体的范围进行限制，使得用户的身体不可见。
(实施例13)
根据实施例1至12中的任一个的摄像设备，其特征在于，还包括：改变部件，用于改变所述摄像部件的朝向，使得所述摄像部件面向被摄体的方向。
(实施例14)
根据实施例13的摄像设备，其特征在于，所述改变部件使得所述摄像部件沿平摇方向或俯仰方向转动。
(实施例15)
根据实施例13或14的摄像设备，其特征在于，用于搜索被摄体的范围是利用所述改变部件对所述摄像设备的朝向的改变范围。
(实施例16)
根据实施例1至15中的任一个的摄像设备，其特征在于，针对所述摄像设备的各状态设置不同的神经网络，并且应用适合于所述摄像设备的状态的神经网络。
(实施例17)
根据实施例1至16中的任一个的摄像设备，其特征在于，还包括：摄像频度确定部件，用于确定所述自动摄像部件的摄像频度，其中，所述摄像频度是基于所述摄像设备的状态信息而确定的。
(实施例18)
根据实施例1至17中的任一个的摄像设备，其特征在于，还包括：低电力模式控制部件，其中，基于所述摄像设备的状态信息来执行低电力模式控制。
(实施例19)
根据实施例1至18中的任一个的摄像设备，其特征在于，还包括：自动摄像部件，用于基于所述被摄体检测部件所检测到的被摄体的信息来使得所述摄像部件拍摄图像，并且记录所拍摄到的图像数据。
(实施例20)
一种摄像设备的控制方法，所述摄像设备包括用于拍摄被摄体图像的摄像部件，并且所述控制方法的特征在于包括：被摄体检测步骤，用于从所述摄像部件所拍摄到的图像数据中检测被摄体；状态检测步骤，用于检测与所述摄像设备本身的移动的状态有关的信息；以及控制步骤，用于基于在所述状态检测步骤中检测到的所述摄像设备的状态信息，来对在所述被摄体检测步骤中搜索被摄体的范围进行控制。
(实施例21)
一种摄像设备的控制方法，所述摄像设备包括用于拍摄被摄体图像的摄像部件，并且所述控制方法的特征在于包括：被摄体检测步骤，用于从所述摄像部件所拍摄到的图像数据中检测被摄体；状态检测步骤，用于检测与所述摄像设备正在被保持的状态有关的信息；以及控制步骤，用于基于在所述状态检测步骤中检测到的所述摄像设备的状态信息，来对在所述被摄体检测步骤中搜索被摄体的范围进行控制。
(实施例22)
一种程序，用于使得计算机执行根据实施例20或21的控制方法的步骤。
(实施例23)
一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行根据实施例20或21的控制方法的步骤。
本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，添加了所附权利要求书。
本申请要求2017年12月18日提交的日本专利申请2017-242228和2017年12月28日提交的日本专利申请2017-254402的优先权，这两个申请的全部内容通过引用而被包含于此。
