一种虚拟云台及控制方法
技术领域
本发明涉及视频图像合成技术领域，具体涉及一种虚拟云台及控制方法。
背景技术
云台是安装、固定摄像机的支撑设备，电动云台适用于对大范围进行扫描监视，它可以扩大摄像机的监视范围。电动云台高速姿态是由两台执行电动机来实现，电动机接受来自控制器的信号精确地运行定位。在控制信号的作用下，云台上的摄像机既可自动扫描监视区域，也可在监控中心值班人员的操纵下跟踪监视对象。
随着科学技术的发展和更新迭代，传统的机械云台结构+大畸变的鱼眼全景相机已经无法满足全景监视的需要。在实际的科研和生产中，尤其是航天应用场景，在真空环境下要利用一台云台相机监视舱外活动，如宇航员维修、周边环境监视等，这是非常困难的事，机械转动的云台机构需要进行加固、防真空环境下损坏等设计，并通过各种环境试验(力、热等)才能应用于航天领域。而此类设计复杂、成本较高，无法满足普通生产和科研需要，也无法做到360°无死角的全景监测。
发明内容
针对现有技术中的缺陷，本申请实施例提供了一种虚拟云台及控制方法，所述虚拟云台包括上壳体和下壳体，所述上壳体和/或所述下壳体的外周设置有多个相机，所述相机成像范围不小于360°；所述方法包括以下步骤：
S101，对每个所述相机所呈现的图像进行预处理，优化每个所述相机所呈现的图像质量；
S102，将至少两个相机呈现的图像进行拼接，得到一全景图像；
S103，输出基于FPGA查找表的全景实时全景图像；
S104，根据调整所述虚拟云台的旋转角度，调整每个所述相机的成像角度，以达到虚拟云台的旋转成像的效果。
在一个可能的实现方式中，所述对每个所述相机所呈现的图像进行预处理，优化每个所述相机所呈现的图像质量，包括：黑电平校正、坏点校正、图像差值、白平衡、gamma校正以及自动曝光中的至少一种。
在一个可能的实现方式中，所述将至少两个相机呈现的图像进行拼接，得到一全景图像，包括：
S1021、分别对相机进行单路和双目标定，提取单目和双目的棋盘格角点坐标；
S1022、单目标定获取每个相机的内参数；
S 1023、双目标定获取相邻相机之间的外参数；
S1024、球面逆投影成360°x180°视场的全景平面图像，选择其中一路相机作为基础参考坐标系，完成其他几路的图像坐标转换，实现同坐标系下图像像素点的索引；
S1025、将全景图像对应四幅图像的像素点索引和缝合区的融合系数制成供FPGA使用的LUT表。
另一方面，本申请提供了一种虚拟云台，所述虚拟云台包括上壳体和下壳体，所述上壳体和/或所述下壳体的外周设置有多个相机，所述多个相机的成像范围不小于360°；
每个所述相机与一图像采集模块连接，所述图像采集模块与一块预处理编码模块连接。
在一个可能的实现方式中，所述上壳体和/或所述下壳体的外周设置有4个相机，每两相邻相机夹角为90°，每个所述相机成像角度不小于90°。
在一个可能的实现方式中，所述虚拟云台还包括：
预处理模块，对每个所述相机所呈现的图像进行预处理，优化每个所述相机所呈现的图像质量；
拼接模块，将至少两个相机呈现的图像进行拼接，得到一全景图像；
输出模块，输出基于FPGA查找表的全景实时全景图像；
调节模块，根据调整所述虚拟云台的旋转角度，调整每个所述相机的成像角度，以达到虚拟云台的旋转成像的效果。
本申请实施例提供的技术方案带来的有益效果至少包括：
1、本发明通过四路镜头及DSP+FPGA的一体化设计架构，整体结构合理，工程成本较底，算法简单，可移植性强，实现了空间用的虚拟云台技术，而无需物理机械云台机构。
2、本发明成功实现了将虚拟云台技术应用于基于四路镜头的一体化全景摄像机，并通过外部网络指令可实时控制全景摄像机水平180°视场在0°～360°范围内的随意转动。该发明无需复杂的机械云台结构及控制系统，节省了大量硬件成本及后期维护成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一示例性实施例提供的控制流程图；
图2为本申请一示例性实施例提供的图像预处理流程图；
图3为本申请一示例性实施例提供的图像拼接融合流程图；
图4为本申请一示例性实施例提供的全景摄像机四条拼缝定义示意图；
图5为本申请一示例性实施例提供的虚拟云台工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供了一种虚拟云台及控制方法，虚拟云台包括全景摄像机，是由上下壳体组合而成，上壳体由四路广角镜头360°环绕组成，包含四块图像采集模块和一块预处理编码模块，下壳体则由二次电源模块和100V电源模块组成。X1接口为产品供电接口，X2H接口为网络传输控制接口，通过该接口可控制虚拟云台的转动。
结合图1，该虚拟云台的控制方法至少包括以下步骤：S101，对每个所述相机所呈现的图像进行预处理，优化每个所述相机所呈现的图像质量；S102，将至少两个相机呈现的图像进行拼接，得到一全景图像；S103，输出基于FPGA查找表的全景实时全景图像；S104，根据调整所述虚拟云台的旋转角度，调整每个所述相机的成像角度，以达到虚拟云台的旋转成像的效果。
结合图2，在步骤S101中，对各路图像进行预处理包括以下操作：
①黑电平校正：黑水平校正是用于消除图像传感器的FPN(fixed patternnoise)，由于本申请中使用的图像传感器为CMV4000，其靶面的前16列是叠加了噪声的真实全黑亮度像素值，故黑电平校准方法为将从17列开始的所有列亮度像素值减去前16列求出的平均亮度像素值即可。
②坏点校正：图像传感器不可避免存在坏点，坏点校正则是根据当前点与周围点的差值判断此点是否为坏点，再使用插值算法插出此点的值。
③图像差值：通过插值将Bayer格式图像转为YUV格式图像。
④白平衡：主要解决图像偏色的问题，先找出图像白色参考点，根据自身的白色参考点来算出增益，通过标定R和B分量来校准白平衡。
⑤gamma校正：通过查表方式校正显示设备和实际输出存在的颜色显示差异，从而使图像在显示器上呈现出本来的效果。
⑥自动曝光：先统计图像的亮度信息，在根据亮度信息来计算增益，通过增益来调节曝光时间。
示例性的，为获取大视场、大景深的高分辨率图像，利用多路鱼眼相机进行360°x180°视场的全景图像快速拼接。单个鱼眼相机的水平垂直视场角一致，均大于120°，成像特点是呈球面。由于太空环境中拍摄背景单一，用特征匹配来进行图像拼接误差较大且不稳定，故本实施例采用基于多路鱼眼相机360°环绕结构的视场拼接方法，基于FPGA硬件以实现实时全景拼接。结合图3，整个拼接实现过程包括以下步骤：
S1021，分别对相机进行单路和双目标定，提取单目和双目的棋盘格角点坐标；
S1022，单目标定获取每个相机的内参数；采用模板匹配的方法提取黑白棋盘标定板上的角点坐标，要求亚像素级精度，根据张正友标定法便可计算得鱼眼相机的内参数和畸变系数。
S1023，双目标定获取相邻相机之间的外参数；利用相邻的两个鱼眼相机进行双目标定，可求得相机外参数，即旋转矩阵和平移矩阵。对于水平均匀分布的相机，平移可以忽略计算，如此，可以求解得到两两相邻的相机之间的旋转矩阵。
S1024，球面逆投影成360°x180°视场的全景平面图像，选择其中一路相机作为基础参考坐标系，完成其他几路的图像坐标转换，实现同坐标系下图像像素点的索引。
S1025，将全景图像对应四幅图像的像素点索引(即像素点的位置坐标)和缝合区的融合系数制成供FPGA使用的LUT表。
下面结合附图4对本发明的生成的两类拼接查找表进行说明。从附图可以看出，全景摄像机有一共有四条拼缝(拼缝0～拼缝3)需要拼接，限于FPGA资源有限及整体硬件架构，无法同将这四条拼缝同时进行拼接，故采用同时拼三条缝的策略，即同时拼接拼缝0、拼缝1和拼缝2(简称0123表)或同时拼接拼缝2、拼缝3和拼缝0(简称2301表)。
示例性的，结合图5，对虚拟云台的工作流程进行进一步阐述，通过外部网口设置虚拟云台需要转动的角度，若转动范围为0°～179°，则调用0123拼接表，若转动范围为180°～360°，则调用2301表，调用完毕后，无论转动任意角度，均可无缝显示所需的180°拼接视场。
LUT表是由全景图像像素索引(即像素点的位置坐标)加上拼接缝的融合系数两部分构成。全景图像的像素索引即是球面等距逆投影得到拍摄图像的对应像素点坐标。融合系数即是渐入渐出融合算法计算得到的。
本申请中提供的全景摄像机是由四路鱼眼相机360°环绕组成，各相机的光心夹角为90°，水平有效视场角度为120°，保证了相邻相机之间的重叠区满足图像拼接条件。四路相机分别进行了单目标定和相邻相机之间的双目标定，获取了相机的内外参数。在球面等距逆投影时，对待拼接的四路相机图像以光心为对称中心，截取得到四幅90°视场图，选择其中一路相机作为基础参考坐标系，再将另外三幅图像换算到该坐标系下，实现了360°全景拼接，最后对拼接缝进行渐入渐出融合，消除拼接缝后得到最终的全景图像。本发明通过四路镜头及DSP+FPGA的一体化设计架构，整体结构合理，工程成本较底，算法简单，可移植性强，实现了空间用的虚拟云台技术，而无需物理机械云台机构。本发明成功实现了将虚拟云台技术应用于基于四路镜头的一体化全景摄像机，并通过外部网络指令可实时控制全景摄像机水平180°视场在0°～360°范围内的随意转动。该发明无需复杂的机械云台结构及控制系统，节省了大量硬件成本及后期维护成本。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性地，本申请的真正范围和精神由上述的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
