用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统
技术领域
本发明涉及隧道智能巡检技术领域，具体涉及一种用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统。
背景技术
目前城市建设均会规划地下管廊设计，管廊中有大量的电缆光缆等设施，采用机器人巡检势在必行。吊轨机器人通过所搭载的可见光、红外摄像头，以及各种气体、湿度、温度传感器，可及时识别管廊内发生的相应故障。隧道内轨道很长，因此不可避免的会有接缝、杂物等引起机器人在运行过程中生抖动的因素，机器人的巡检效果与拍摄图片质量息息相关。通常的数字防抖采用帧间运动估计加补偿的方式实现防抖，这需要比较大的运算量，一般要用GPU或专门的DSP实现。需引入防抖算法与机制。而不间断防抖处理会消耗运算时间，影响实时性，也不能使故障识别的效果有明显提高，因此针对管廊吊轨机器人需要采用新的防抖措施。
发明内容
本发明的目的是提供一种用于综合管廊吊轨机器人巡检视频数字防抖的方法，针对管廊巡检轨道的特点，在正式巡检之前，采集管廊设施的完整图像，获取因抖动造成的帧间和帧内的运动角度、方向与位置信息结合并组成的防抖预测表，针对预测表进行对巡检图像的防抖矫正，同时具备发现并处理突发抖动的能力，能有效解决上述现有技术的不足。
为解决上述问题，本发明的第一方面提供了一种用于综合管廊吊轨机器人巡检视频数字防抖的方法，包括：S101：实时获取隧道内轨道运动数据与位置信息。S102：分别对运动数据和位置信息进行梯度计算，获得抖动位置和抖动轨迹，储存所述抖动位置和抖动轨迹，得到与抖动位置对应的抖动偏移像素数据。S103：根据抖动偏移像素数据，计算每个轨道接缝处抖动状态，分类存储所述抖动状态的抖动数据。S104：根据机器人定位信息，在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式。
根据本发明的一个实施例，所述抖动状态包括：轻微抖动、少帧抖动与多帧抖动。
根据本发明的一个实施例，所述S104中根据机器人定位信息，在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式，包括：
轻微抖动处不进行防抖处理，对少帧抖动处采用建模仿射变换处理并实时根据此处的新抖动数据更新历史抖动数据，对多帧抖动进行跳跃插帧处理。
根据本发明的一个实施例，所述S104中根据机器人定位信息，在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式，还包括：
不存在历史抖动数据的区域，使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
根据本发明的一个实施例，所述S101中获取隧道内轨道运动数据与位置信息，包括：
用3轴角速度传感器采集首次巡检时的角速度数据，用来辅助定位模块记录发生抖动位置，摄像头获取此时的视频。
根据本发明的一个实施例，所述S102中分别对运动数据和位置信息进行梯度计算，获得抖动位置和抖动轨迹，储存所述抖动位置和抖动轨迹，包括：用数字信号处理DSP帧间运动计算模块计算抖动轨迹梯度值，超过设定梯度阈值的点判定为抖动并与其位置一并存储。
本发明第二方面公开了一种用于综合管廊吊轨机器人巡检视频数字防抖的系统，包括：辅助定位模块，用于实时获取隧道内轨道位置信息。角速度采集模块，用于采集首次巡检时的角速度数据。
历史抖动数据模块，用于分别对角速度数据和位置信息进行梯度计算，获得精确的抖动位置和抖动轨迹，储存所述抖动位置和抖动轨迹，得到与抖动位置对应的抖动偏移像素数据。
DSP帧间运动计算模块，用于根据抖动偏移像素数据，计算每个轨道接缝处抖动状态，分类存储所述抖动状态的抖动数据。
防抖模块，用于根据机器人定位信息，在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式。
根据本发明的一个实施例，所述防抖模块包括：第一防抖单元，用于少帧抖动处采用建模仿射变换处理。第二防抖单元，用于多帧抖动进行跳跃插帧处理。
根据本发明的一个实施例，所述防抖模块在不存在历史抖动数据的区域，使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
根据本发明的一个实施例，所述DSP帧间运动计算模块计算抖动轨迹梯度值，超过设定梯度阈值的点判定为抖动并与其位置一并存储。
本发明的上述技术方案具有如下有益的技术效果：本发明利用定位信息可以将首次巡检抖动信息与之后的巡检过程相结合，作为预测数据，仅在历史抖动区域附近进行防抖处理，大幅减少DSP在防抖处理上的运算负担；节约大量宝贵的DSP计算资源；根据运动数据计算其梯度，能够准确的判断发生抖动位置及抖动轨迹；根据历史抖动数据模块选择防抖方式，实现在轻微抖动时不进行防抖处理，少帧抖动时防抖稳定，多帧抖动时防抖运算快；同时根据每次的抖动数据实时更新预测数据，本方法根据轨道情况不断更新存储数据，适应轨道发生的变化。
附图说明
图1是本发明实施例公开的用于综合管廊吊轨机器人巡检视频数字防抖的方法流程图；
图2是是本发明实施例公开的用于综合管廊吊轨机器人巡检视频数字防抖的系统方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明所述综合管廊吊轨机器人巡检数字防抖的方法，如图1所示，具体包括以下步骤：
步骤101、利用机器人摄像头、角速度采集模块、与辅助定位模块采集隧道内轨道运动数据与位置信息；
用3轴角速度传感器采集首次巡检时的角速
步骤102、对运动数据及位置信息进行梯度计算获得精确的抖动位置及抖动轨迹，并进行储存，得到位置-抖动偏移像素表；
DSP帧间运动计算模块根据帧间特征点匹配法，提取前后帧FAST角点进行匹配，利用RANSAC算法剔除误匹配点。前后两帧匹配到的特征点Oi(xi,yi)位移取均
步骤103、根据位置-抖动偏移像素表数据，估计每个轨道接缝处抖动大小，并进行分类存储；
以历史抖动数据模块中的位置-抖动数据为基础，利用抖动数据，进行位移及偏移幅度跨度计算，将抖动数据分成轻微抖动，少帧抖动与多帧抖动三类。用于作为下次运行到同一区域的图像防抖算法采用依据。
步骤104、根据机器人定位信息，在到达轨道接缝抖动处附近按照存储的抖动数据采用不同防抖模式；
当从定位模块里的数据与历史抖动数据模块中的定位数据对比得知机器人将再次经过抖动区域时，DSP帧间运动计算模块和防抖模块根据历史分类数据采用不同防抖措施。
步骤105、对多帧抖动进行跳跃插帧处理，对少帧抖动进行建模纠正，并实时根据新的抖动数据实时更新历史抖动数据模块。
根据历史抖动数据模块内的定位与分类信息，系统在机器人行驶到抖动区域s邻域U(s,δ)附近时，采用防抖模块的不同模式，进行有效地防抖。在少帧抖动处，进行建模仿射变换，平稳抖动帧；在多帧抖动处进行多帧图像拼接，根据平滑之后的运动轨迹在拼接图片中裁取相应视频帧，采用跳跃插帧处理。因图像帧位移间距较短，采用跳跃插帧并不会影响视频的观看效果以及后续的视频处理工作。
DSP帧间运动计算模块和防抖模块在轻微抖动时对抖动数据不进行处理，仅进行检测是否有抖动变大的趋势；在少帧抖动时，防抖模块根据DSP帧间运动计算模块给出的数据对抖动帧进行偏移修正；在多帧抖动时，防抖模块根据DSP帧间运动计算模块给出的数据对抖动帧进行删除与跳跃式插帧。且历史抖动数据模块根据DSP帧间运动计算模块的数据更新分类情况。
步骤106：在历史抖动数据模块中不抖动的地方，使用角速度传感器对杂物等造成的突发抖动进行捕捉，存储，并建模防抖。
在轨道上除了轨道接缝造成的已知抖动，还存在着因杂物造成的未知抖动，通过角速度传感器可以实时的获取未在历史抖动数据模块中储存的抖动数据，且运算量较小，再由DSP帧间运动计算模块对此时的图像进行防抖处理。
本发明第二方面公开了一种用于综合管廊吊轨机器人巡检视频数字防抖的系统，如图2所示，包括角速度采集模块、辅助定位模块、DSP帧间运动计算模块、历史抖动数据模块和防抖模块。辅助定位模块，用于实时获取隧道内轨道位置信息。角速度采集模块，用于采集首次巡检时的角速度数据。角速度采集模块获取角速度数据，在角速度超出预定值时，DSP帧间运动计算模块计算此区域的抖动数据；辅助定位模块和DSP帧间运动计算模块将该区域此时的位置、图像抖动数据传入历史抖动数据模块；历史抖动数据模块将数据分为轻微抖动，少帧抖动与多帧抖动三种抖动类型；当机器人再次来到抖动区域附近时，历史抖动数据模块将此次抖动的历史位置与应采取的防抖模式传给防抖模块与DSP帧间运动计算模块，完成防抖处理，并通过DSP帧间运动计算模块反馈回来的数据判断此处的抖动类型是否发生变化，如果变化则修正历史抖动数据。
历史抖动数据模块，用于分别对角速度数据和位置信息进行梯度计算，获得精确的抖动位置和抖动轨迹，储存所述抖动位置和抖动轨迹，得到与抖动位置对应的抖动偏移像素数据。
DSP帧间运动计算模块，用于根据抖动偏移像素数据，计算每个轨道接缝处抖动状态，分类存储所述抖动状态的抖动数据。
防抖模块，用于根据机器人定位信息，在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式。
所述防抖模块包括：第一防抖单元，用于少帧抖动处采用建模仿射变换处理。第二防抖单元，用于多帧抖动进行跳跃插帧处理。
所述防抖模块在不存在历史抖动数据的区域，使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
所述DSP帧间运动计算模块计算抖动轨迹梯度值，超过设定梯度阈值的点判定为抖动并与其位置一并存储。
本发明的上述技术方案具有如下有益的技术效果：本发明利用定位信息可以将首次巡检抖动信息与之后的巡检过程相结合，作为预测数据，仅在历史抖动区域附近进行防抖处理，大幅减少DSP在防抖处理上的运算负担；节约大量宝贵的DSP计算资源；根据运动数据计算其梯度，能够准确的判断发生抖动位置及抖动轨迹；根据历史抖动数据模块选择防抖方式，实现在轻微抖动时不进行防抖处理，少帧抖动时防抖稳定，多帧抖动时防抖运算快；同时根据每次的抖动数据实时更新预测数据，本方法根据轨道情况不断更新存储数据，适应轨道发生的变化。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
