一种生物视觉启发的无人机目标跟踪方法及系统
技术领域
本发明涉及生物视觉、飞行控制领域,尤其涉及一种生物视觉启发的无人机目标跟踪方法及系统。
背景技术
近年来,以四旋翼无人机为主的小型无人机市场迎来了井喷式发展,为了实现无人机在各领域的应用,无人机需要具有从任意初始位置受控的到达空间中任意3D点的能力。在目前的研究内容中,主要使用基于空间信息的方法,根据位置传感器获取目标的速度或位置作为控制输入量指导无人机的运动。但是,在生物学家对生物如何指导其目的性运动时,如海鸟捕食、驾驶员刹车等,提出生物通过名为到达时间的光学变量指导其运动,David Lee提出的使用Tau来表达到达时间引导其运动的理论尤为受人关注。同时,他还提出了从静止状态到目标的几种Tau引导策略。
但是,使用生物启发式方法的无人机系统研究还很不充分,特别是对任意目标跟踪下初始状态不为零、目标状态变化的场景仍存在诸多挑战,另外,缺少一种仅使用Tau信息的无人机自动驾驶系统,为此提出本发明。
发明内容
本发明的目的在于针对现有技术的不足,首先提出一种适用于无人机与目标初始相对速度不为零的Tau无人机目标跟踪方法;其次完成了一套仅使用Tau信息的无人机目标跟踪系统,包含Tau感知系统、Tau轨迹生成系统和Tau控制系统三部分。
本发明解决其技术问题所采用的技术方案如下:
本发明一方面提出了一种生物视觉启发的无人机目标跟踪方法,该方法包括以下步骤:
步骤一:从无人机配置的相机中获取图像,假设无人机和目标之间仅存在平移运动,根据相邻帧间光强度不变假设,得到目标区域内光强度梯度、无人机与目标的到达时间Tau与光流扩展中心的关系,将Tau、光流扩展中心作为变量求解最小二乘问题即可得到Tau真值。
步骤二:根据无人机和目标的初始位置和速度,基于Tau引导策略生成参考的Tau轨迹,适用于任意无人机与目标的初始相对速度,具体如下:考虑无人机和目标在一个方向上的相对运动,相对运动可以按照Tau成比例的方法耦合到引导运动中,引导运动为具有初速度的自由落体运动,根据无人机和目标相对运动的初始相对位置和速度可以解出自由落体运动的初速度,根据引导运动的位置、速度得到引导运动的Tau轨迹,即可按照Tau成比例得到无人机运动的Tau参考轨迹。
步骤三:根据Tau的真值和参考值,通过Tau控制器控制无人机跟踪目标轨迹。
进一步地,所述步骤一中,假设目标平面垂直于相机光轴,无人机和目标之间做任意的平移运动,对目标所在的区域根据光强度不变假设,求解如式(1)所示的最小二乘问题:
∑(AEx+BEy+DG+Et)2=0 (1)
其中,A=-x0D,B=-y0D,D=-W/Z,Ex,Ey,Et是光强度对x,y方向和时间的导数;x,y是目标在成像坐标系的坐标,x0,y0是目标扩展中心,D是Tau的倒数,G=xEx+yEy称为径向梯度,W是目标在相机坐标系中Z轴的速度,Z是目标与相机之间的深度,∑表示对图像每一点积分;得到的D的最小二乘解即为Tau实际值的倒数。
进一步地,所述步骤二中,考虑无人机和目标在一个方向上的相对运动,相对运动可以按照Tau成比例的方法耦合到引导运动中,引导运动为式(2)所示的具有初速度的自由落体运动:
其中T代表期望的到达时间,Vg代表自由落体运动的初速度,由无人机和目标的初始状态决定,g代表重力加速度,t代表当前时间,G(t),代表当前时间自由落体运动的位置、速度和加速度;Tau耦合方法如式(3)所示:
其中τx,τg分别为无人机运动和引导运动的Tau,k代表无人机运动和自由落体运动的比例系数,取值范围为k∈(0,0.5];求解微分方程(3)可以得到生成的轨迹如式(4)所示
其中ΔX(t),代表当前时间无人机和目标相对运动的位置、速度和加速度;C是与初始状态有关的常量;根据引导运动和实际运动的初始位置和速度,可以求得C如式(5)所示:
进一步地,将C代入在t=0时刻的取值,可以求得Vg的表达式如式(6)所示:
将Vg代入引导运动式(2)中,根据引导运动的位置、速度随时间的变化得到引导运动的Tau轨迹,即可按照公式(3)中的耦合方法得到无人机运动的Tau参考轨迹。
进一步地,所述步骤三中,使用非线性控制器实现无人机控制,解决了Tau处于奇异点附近时输出震荡的问题,非线性控制器如式(7)所示:
其中kp代表比例系数,u代表无人机期望的加速度,τref(t)代表期望的Tau轨迹,τ(t)代表真实的Tau轨迹。
本发明另一方面提出了一种生物视觉启发的无人机目标跟踪系统,该系统包括Tau感知系统、Tau轨迹生成系统和Tau控制系统三部分;
所述Tau感知系统用于从无人机配置的相机中获取图像,并从图像中计算Tau真值,具体为:假设无人机和目标之间仅存在平移运动,根据相邻帧间光强度不变假设,得到目标区域内光强度梯度、无人机与目标的到达时间Tau与光流扩展中心的关系,将Tau、光流扩展中心作为变量求解最小二乘问题即可得到Tau真值;
所述Tau轨迹生成系统用于根据无人机和目标的初始位置和速度,基于Tau引导策略生成参考的Tau轨迹,适用于任意的无人机初速度,具体为:考虑无人机和目标在一个方向上的相对运动,相对运动可以按照Tau成比例的方法耦合到引导运动中,引导运动为具有初速度的自由落体运动,根据无人机和目标相对运动的初始相对位置和速度可以解出自由落体运动的初速度,根据引导运动的位置、速度得到引导运动的Tau轨迹,即可按照Tau成比例得到无人机运动的Tau参考轨迹;
所述Tau控制系统根据Tau的真值和参考值,通过Tau控制器控制无人机跟踪目标轨迹。
进一步地,所述Tau感知系统中,假设目标平面垂直于相机光轴,无人机和目标之间做任意的平移运动,对目标所在的区域根据光强度不变假设,求解如式(8)所示的最小二乘问题:
∑(AEx+BEy+DG+Et)2=0 (8)
其中,A=-x0D,B=-y0D,D=-W/Z,Ex,Ey,Et是光强度对x,y方向和时间的导数;x,y是目标在成像坐标系的坐标,x0,y0是目标扩展中心,D是Tau的倒数,G=xEx+yEy称为径向梯度,W是目标在相机坐标系中Z轴的速度,Z是目标与相机之间的深度,∑表示对图像每一点积分;得到的D的最小二乘解即为Tau实际值的倒数。
进一步地,所述Tau轨迹生成系统中,考虑无人机和目标在一个方向上的相对运动,相对运动可以按照Tau成比例的方法耦合到引导运动中,引导运动为式(9)所示的具有初速度的自由落体运动:
其中T代表期望的到达时间,Vg代表自由落体运动的初速度,由无人机和目标的初始状态决定,g代表重力加速度,t代表当前时间,G(t),代表当前时间自由落体运动的位置、速度和加速度;Tau耦合方法如式(10)所示:
其中τx,τg分别为无人机运动和引导运动的Tau,k代表无人机运动和自由落体运动的比例系数,取值范围为k∈(0,0.5];求解微分方程(10)可以得到生成的轨迹如式(11)所示:其中ΔX(t),代表当前时间无人机和目标相对运动的位置、速度和加速度;C是与初始状态有关的常量;根据引导运动和实际运动的初始位置和速度,可以求得C如式(12)所示:进一步地,将C代入在t=0时刻的取值,可以求得Vg的表达式如式(13)所示:
将Vg代入引导运动式(9)中,根据引导运动的位置、速度随时间的变化得到引导运动的Tau轨迹,即可按照公式(10)中的耦合方法得到无人机运动的Tau参考轨迹。
本发明的有益效果在于:
(1)仅使用单目传感器即可估计出Tau真值,无需使用距离传感器得到目标空间信息,减少了无人机载荷和价格成本,扩大了无人机应用范围。
(2)针对无人机与目标的初始相对速度任意的情况,设计了一种改进的Tau引导策略,将实际相对运动轨迹耦合到具有初速度的自由落体运动中,提升了Tau轨迹生成策略的应用范围。
(3)构建了一个仅使用Tau信息的无人机系统,验证了Tau信息在无人机系统应用中的能力。
附图说明
图1为本发明实现原理框图;
图2为目标检测效果和目标临近区域提取效果图;
图3为从目标临近区域中估计的Tau真值随时间的变化曲线;
图4为无人机实际飞行轨迹位置和参考轨迹位置对比;
图5为无人机实际飞行轨迹速度和参考轨迹速度对比。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。
本发明提出的一种生物视觉启发的无人机目标跟踪方法,具体实现步骤如下:
步骤一:从无人机配置的相机中获取图像,假设无人机和目标之间仅存在平移运动,根据相邻帧间光强度不变假设,得到目标区域内光强度梯度、无人机与目标的到达时间Tau与光流扩展中心的关系,将Tau、光流扩展中心作为变量求解最小二乘问题即可得到Tau真值。具体地:假设目标平面垂直于相机光轴,无人机和目标之间做任意的平移运动,对目标所在的区域根据相邻帧间光强度不变和目标像素具有相同运动条件,有公式(1)成立:
uEx+vEy+Et=0 (1)
其中,u,v是成像坐标系中x,y轴方向的速度,Ex,Ey,Et是光强度对x,y方向和时间的导数。u,v可以由公式(2)表示:
u=(x-x0)D and v=(y-y0)D (2)
其中,x,y是目标在成像坐标系的坐标,x0,y0是目标扩展中心,D是Tau的倒数。将式(2)代入式(1),并考虑目标上每个相速度,可以写为求解式(3)的最小二乘问题:
∑(AEx+BEy+DG+Et)2=0 (3)
其中,A=-x0D,B=-y0D,D=-W/Z,G=xEx+yEy称为径向梯度,W是目标在相机坐标系中Z轴的速度,Z是目标与相机之间的深度,∑表示对图像每一点积分;得到的D的最小二乘解即为Tau实际值的倒数。
步骤二:根据无人机和目标的初始位置和速度,基于Tau引导策略生成参考的Tau轨迹,适用于任意无人机与目标的初始相对速度,具体如下:
考虑无人机和目标在一个方向上的相对运动,相对运动可以按照Tau成比例的方法耦合到引导运动中,引导运动为式(4)所示的具有初速度的自由落体运动:
其中T代表期望的到达时间,Vg代表自由落体运动的初速度,由无人机和目标的初始状态决定,g代表重力加速度,t代表当前时间,G(t),代表当前时间自由落体运动的位置、速度和加速度;Tau耦合方法如式(5)所示:
其中τx,τg分别为无人机运动和引导运动的Tau,k代表无人机运动和自由落体运动的比例系数,取值范围为k∈(0,0.5];求解微分方程(5)可以得到生成的轨迹如式(6)所示:
其中ΔX(t),代表当前时间无人机和目标相对运动的位置、速度和加速度;C是与初始状态有关的常量;根据引导运动和实际运动的初始位置和速度,可以求得C如式(7)所示:
进一步地,将C代入在t=0时刻的取值,可以求得Vg的表达式如式(8)所示:
将Vg代入引导运动式(4)中,根据引导运动的位置、速度随时间的变化得到引导运动的Tau轨迹,即可按照公式(5)中的耦合方法得到无人机运动的Tau参考轨迹。
步骤三:根据Tau的真值和参考值,通过Tau控制器控制无人机跟踪目标轨迹,具体地:使用非线性控制器实现无人机控制,解决了Tau处于奇异点附近时输出震荡的问题,非线性控制器如式(9)所示:
其中kp代表比例系数,u代表无人机期望的加速度,τref(t)代表期望的Tau轨迹,τ(t)代表真实的Tau轨迹。
本发明提出的一种生物视觉启发的无人机目标跟踪系统,该系统包括Tau感知系统、Tau轨迹生成系统和Tau控制系统三部分;
所述Tau感知系统用于从无人机配置的相机中获取图像,并从图像中计算Tau真值,具体为:假设无人机和目标之间仅存在平移运动,根据相邻帧间光强度不变假设,得到目标区域内光强度梯度、无人机与目标的到达时间Tau与光流扩展中心的关系,将Tau、光流扩展中心作为变量求解最小二乘问题即可得到Tau真值;
所述Tau轨迹生成系统用于根据无人机和目标的初始位置和速度,基于Tau引导策略生成参考的Tau轨迹,适用于任意的无人机初速度,具体为:考虑无人机和目标在一个方向上的相对运动,相对运动可以按照Tau成比例的方法耦合到引导运动中,引导运动为具有初速度的自由落体运动,根据无人机和目标相对运动的初始相对位置和速度可以解出自由落体运动的初速度,根据引导运动的位置、速度得到引导运动的Tau轨迹,即可按照Tau成比例得到无人机运动的Tau参考轨迹;
所述Tau控制系统根据Tau的真值和参考值,通过Tau控制器控制无人机跟踪目标轨迹。
附图1是无人机目标跟踪系统总体框图,首先,Tau轨迹生成系统通过无人机和目标的初始状态和设定的期望到达时间参数生成期望的无人机Tau轨迹;同时,Tau感知系统处理无人机搭载的单目相机获取的图像估计出无人机与目标的Tau真值;Tau控制系统接收Tau轨迹生成系统和Tau感知系统的信息生成无人机期望的加速度并发送给无人机飞控,最终实现无人机对目标的时空轨迹跟踪。
附图2是假设目标带有一张Aruco码,Tau感知系统对目标的检测效果和以目标中心点为中心提取的目标临近区域,在此临近区域进行Tau真值估计。
附图3是在附图2中目标临近区域计算得到的Tau真值随时间的变化,其中横轴为时间,单位为秒,纵轴为Tau,单位为秒。轨迹符合无人机先加速后匀速向目标飞行时期望的Tau轨迹。
附图4、附图5展示了在实际场景中无人机对目标追踪的一段参考轨迹和实际轨迹,包括轨迹的位置和速度,附图4中横轴为时间,单位为秒,纵轴为位置,单位为米,实线表示生成的期望位置轨迹,虚线表示无人机实际位置轨迹;附图5中横轴为时间,单位为秒,纵轴为速度,单位为m/s,实线表示生成的期望速度轨迹,虚线表示无人机实际速度轨迹。其中无人机的初速度不为零,目标为匀速直线运动,初始无人机与目标速度差为0.5m/s,参数设定为:无人机运动和自由落体运动的比例系数k=0.4,控制器比例系数kp=1。计算得到位置绝对误差为0.23m,速度绝对误差为0.09m/s,证明基于Tau的无人机系统可以在可接受误差范围内对目标进行跟踪。
上述实施例只是本发明的举例,尽管为说明目的公开了本发明的最佳实例和附图,但是本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换、变化和修改都是可能的。因此,本发明不应局限于最佳实施例和附图所公开的内容。