一种光电吊舱内置光学传感器波段自主切换方法
技术领域
本发明属于光电吊舱技术领域，具体涉及一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法。
背景技术
光电吊舱可安装在无人机、无人车、无人艇等多种无人平台以及有人平台上，组成各种无人/有人侦察系统，对区域实施光学侦察。智能化、自主化、集群化是无人系统的发展趋势与方向，因此对于无人侦察系统来说，提高光电吊舱在执行侦察任务时的自主化程度，降低人工监视与操控负担，是光电吊舱的重要发展趋势。高端光电吊舱通过内置多个光学传感器，可集成可见光波段、长波红外波段、中波红外、短波红外等多个光学探测波段，对于不同的监视背景和不同的目标特性，不同的光学探测波段可以发挥其各自优势，提高目标探测概率。因此，在此类光电吊舱使用过程中，需要操控人员根据监控场景和潜在目标特性，对传感器波段进行人工切换，利用不同光学波段对区域和目标进行高效探测。
当前，具备多波段探测能力的光电吊舱在执行侦察任务时，光电吊舱每个时刻通常仅能将一个波段的实时视频传输至地面站供操控人员监测，操控人员根据地面站显示的实时图像进行可见光波段、长波红外波段、中波红外波段等不同波段的切换操作。由人工操控实现光学传感器波段切换的传统模式存在以下不足：(1)该模式下，操控人员每个时刻仅能检测某一个波段的视频信息，需要使用切换的方式来利用多个波段的视频信息，难以对多个波段的视频进行同时监测，存在信息利用率较低的问题。(2)该模式对依赖于操控人员的经验，由于光电吊舱在平台运动状态下采集得到的视频场景变化较大，究竟哪个波段更易于探测到目标是在实时变化的，操控人员难以保证波段选择是否实时最优。同时，操控人员在长时间进行监测工作时易出现疲劳、目标探测概率降低等问题，检测效果不稳定。(3)基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法，集成在光电吊舱内部，当无人系统以及光电吊舱与地面站之间的实时视频回传链路中断或缺失时，可保证光电吊舱实施侦察时仍可自主切换内置光学传感器波段，待无人系统及光电吊舱返航后，操作人员可通过光电吊舱内部存储的视频进行回放查看，提高侦察效果。因此，结合光电吊舱使用要求和无人侦察系统发展趋势，提出一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法具有重要的意义。
发明内容
(一)发明目的
为了提高具有多波段传感器的光电吊舱采集信息的利用率，提高无人系统执行侦察任务的自主性，降低人工操控负担，提供一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法。
(二)技术方案
为了解决上述技术问题，本发明提供一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法，包括如下步骤：
S1：安装在无人平台上的光电吊舱进入工作状态，按任务规划对侦查区域进行实时监控，并将采集到的视频实时回传至无人系统的地面控制站，默认传输回地面控制站的视频波段由初始设置确定，一般为最符合人眼观测习惯的可见光波段；
S2：人工在地面控制站选择开启智能目标检测功能，集成在光电吊舱内部的嵌入式智能图像处理模块开始运行基于深度学习的智能目标检测算法。智能目标检测算法以及传感器波段自主切换算法均可选择由该嵌入式智能图像处理模块进行运算。嵌入式智能图像处理模块的核心处理芯片可选海思3519/3559AV100或者NVIDIA Jetson TX2等支持深度学习算法运行的各种芯片，可选择的深度学习算法包括R-CNN、Fast R-CNN、Faster R-CNN、Yolo、SSD等多种深度学习算法，该类算法可对实时监控视频中出现的车辆、人员等典型目标进行实时监测并在视频中用方框等形式进行标识。
令x表示光电吊舱中集成的波段序号，1≤x≤S，S表示光电吊舱中集成的传感器波段的数量，智能目标检测算法会对当前波段x视频中检测到的目标数量Mx以及每个目标的置信度Cxi进行统计并得到fx函数值，其中，置信度Cxi表征智能目标检测算法检测到的目标为真实目标的概率大小，0≤Cxi≤1。fx可表征x波段视频的有效信息量大小或者说重要程度，其计算公式可选但不限于如下公式：
其中，i表示波段x视频检测到的目标的序号，0≤i≤Mx；
S3：人工在地面控制站操控软件上选择开启传感器自主波段切换功能，此时，地面操控站上的主画面仍然保持为默认波段的视频，但是智能目标检测算法开始依次对不同波段的视频进行检测，对每个波段视频检测1帧图像，得到当前检测波段的fx值，然后依次检测下一个波段。当全部波段完成一轮检测后，则可得到此轮检测中各个波段的fx值，将最大的fx值对应的波段设置为光电吊舱输出视频的波段以供操控人员观测，直至得到下一轮检测得到的波段设置结果。为了防止传感器波段自主切换的频率太快，影响人工检测，可额外设置间隔时间T，即每间隔T秒时间，开始一轮全波段检测并切换为fx值最大值对应的波段；
S4：当传感器波段自主切换功能处于开启状态时，人工随时可对光电吊舱进行操作，并且光电吊舱优先执行人工操作指令，当光电吊舱接收到人工操作信号如传感器变焦、目标锁定、目标定位等操作时，则自主波段切换功能自动关闭；
S5：根据任务需要，人工可选择关闭自主波段切换功能；
S6：任务完成后，无人平台返航，实施例结束。
(三)有益效果
上述技术方案所提供的基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法，具有如下有益效果：
(1)该基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法可减少侦察任务实施过程中操控人员的操作行为，降低对操控人员的依赖程度，提高无人系统侦察任务实施的自主性，为无人系统集群侦察积累技术基础；
(2)该基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法可实现对光电吊舱内置多个传感器采集的多波段视频信息的近实时同步检测，提高信息利用率，提高侦察效能。
附图说明
图1为基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法流程图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本实施例基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法采用的装置包括无人机、光电吊舱、地面控制站。其中，光电吊舱安装在无人机上，嵌入式智能图像处理模块集成在光电吊舱内部，智能目标检测和传感器波段自主切换均由该模块完成，其核心处理芯片为海思3519AV100。光电吊舱内部集成的传感器包括可见光传感器和红外传感器。
参照图1所示，本实施例自主切换方法的步骤如下：
S1：无人机起飞，安装在无人机上的光电吊舱进入工作状态，按任务规划对侦察区域进行实时监控，并将传感器采集到的视频实时回传至地面控制站，地面控制站默认回传视频为可见光波段；
S2：人工在地面控制站选择开启智能目标检测功能，集成在光电吊舱内部的嵌入式智能图像处理板开始运行基于深度学习的智能目标检测算法，本实施例中，嵌入式智能图像处理板的核心处理芯片为海思3519AV100，并采用Yolo算法对实时监控视频中出现的车辆、人员等典型目标进行实时监测并在视频中用方框等形式进行标识；
S3：人工在地面控制站选择开启传感器自主波段切换功能，此时，地面操控站上的主画面仍然保持为默认波段的视频，但是智能目标检测算法开始依次对不同波段的视频进行检测，对每个波段视频检测1帧图像，令可见光波段序号为1，红外波段序号为2，智能目标检测算法会对当前波段视频中检测到的目标数量以及每个目标的准确率进行统计，当波段1和波段2完成一轮检测后，根据公式(1)计算得到f1和f2大小，然后将f1和f2中最大值对应的波段设置为光电吊舱输出视频以供操控人员观测，直至得到下一轮检测得到的波段设置结果。为了防止传感器波段自主切换的频率太快，影响人工检测，可额外设置间隔时间T＝10s，即每间隔10秒时间，开始一轮全波段检测并切换为fx值最大值对应的波段；
S4：当传感器波段自主切换功能处于开启状态时，人工随时可对光电吊舱进行操作，并且光电吊舱优先执行人工操作指令，当光电吊舱接受到人工操作信号如传感器变焦、目标锁定、目标定位等操作时，则自主波段切换功能自动关闭；
S5：根据任务需要，人工可选择关闭自主波段切换功能。
S6：任务完成后，无人机返航，实施例结束。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
