联合UWB和UTC时间戳同步的定位方法及定位系统
技术领域
本发明涉及仓储智能管理领域，尤其涉及一种联合UWB和UTC时间戳同步的定位方法及定位系统。
背景技术
目前，仓库存储智能化管理技术不断进步，其中的叉车管理策略越来越受重视，叉车的实时位置信息和运行轨迹对于仓库管理人员的整体把握越来越重要。通过对仓储目标区域内叉车情况的统计，让决策者及时掌握各个区域内叉车的数量和运行情况，方便对叉车的调度安排，大大提高叉车的使用效率。
市面上对叉车的运行轨迹进行监控的方法，分别利用GPS或RFID等模块来进行检测，两种方法具体如下：
1)通过GPS技术来实现叉车位置检测。GPS(Global Positioning System)即全球定位系统，它是一种以空中卫星为基础的高精度无线电导航的定位系统，在全球任何地方以及近地空间都能够提供准确的地理位置、车行速度及精确的时间信息。可在特定区域内的每辆叉车上安装无线发射装置和GPS定位模块，通过GPRS(General Packet RadioService)网络将当前每个叉车的相关信息包括状态(空闲或繁忙)、位置、当前速度等参数传输给调度中心，调度中心对叉车的位置和运行进行全面的了解，并根据当前区域内的业务状况做统一的管理和调度。如上述，整个GPS系统由调度中心、移动终端及移动通讯网络三部分组成。
2)通过RFID技术来实现叉车位置检测。RFID(Radio Frequency Identification)即射频识别技术，它通过射频信号自动识别目标对象，可快速地进行物品追踪和数据交换而识别运动物体。RFID系统一般由信号发射机、信号接收机、发射接收天线几部分组成。通过在叉车上安装超高频RFID车载式读写器和RFID天线，并一一对应设置叉车RFID标签，且叉车RFID标签内存储有对应叉车的ID信息。同时，在仓库等区域设置RFID读写器采集各个叉车RFID标签的信息，管理平台根据过滤后的信息计算出各个叉车RFID标签在区域内的位置，并可将其位置在区域地图上标记出来，即可知道当时各叉车在区域内的分布。并以一定周期进行数据的实时采集，按上述流程计算，即可准确实时地获得区域内叉车的位置和运行轨迹。
如上，用GPS或RFID方式，一般都是需要在叉车里面安装由GPS模块、RFID模块组成的位置检测模块。这种方法优势是通过硬件设备来实现，获得的数据准确而且丰富，并经过调度中心或管理平台的计算后，可以生成高精度的运动轨迹。但这种方案有如下明显缺点：
1、叉车设备改造耗时耗力，需要安排时间和人力在每台叉车上安装相应的GPS/RFID硬件模块以及移动通讯模块，对于业务繁忙的仓储运营而言，工作计划无疑会被打断。
2、需要额外的网络部署，RFID方式需要在仓储等区域内的合适位置部署信号采集网络来接收信息，这一方面会受到仓库建筑、布线、安防等方面的限制，另一方面也增加了人力维护，需设专门岗位。
3、方案的经济成本高，对于每台叉车上安装的相关设备，以及在仓储区域内设置的信号采集网络，对于仓库管理运营方而言，除了前期的一次性投入外，还有后续的设备更新以及系统运营成本。
如上所述的叉车运行管理技术方案，在一定程度上会影响到仓储管理单位的成本控制和业务运营。所以，市场对于一个价格适中且部署便利的解决方案的需求是非常旺盛的。
发明内容
本发明的目的是克服现有技术的不足，提供一种联合UWB和UTC时间戳同步的定位方法及定位系统，解决仓储管理系统中设备改造困难、网络部署麻烦和投入成本过高等缺点，在视频监控的基础上，通过UTC时间戳同步的方式实现和UWB定位的匹配，达到视频流中目标物体所在帧中位置和实际物理位置相匹配的目的。
本发明的技术方案如下：提供一种联合UWB和UTC时间戳同步的定位方法，包括如下步骤：
S1：仓库内的各摄像头采集仓储目标区域内的视频流数据；
S2：获取每路视频流数据的UTC时间戳；
S3：将步骤S2中计算出的某路视频流的UTC时间戳添加至编码的视频流信息中，服务器对该路视频流信息进行重新编码；
S4：服务器接收进行重新编码后的多路视频流信息并进行解码，解析出视频流对应的UTC时间戳；
S5：采用UWB定位系统得到目标物体所在的位置信息和对应的时间戳，将UWB定位系统得到的目标物体所在的位置信息和对应的时间戳与步骤S4中服务器解析出的视频流对应的UTC时间戳两者进行匹配，得到每帧视频数据对应的准确UWB物理位置信息；
S6：采用深度学习训练模型的方式，在视频流中检测出目标物体相对于帧图片中的位置信息；
S7：建立步骤S5中得到的准确UWB物理位置信息与步骤S6中检测出的目标物体相对于帧图片的位置信息两者之间的位置映射矩阵；
S8：从采集的视频流数据中检测出目标物体的位置，根据所述位置映射矩阵，得到目标物体确切的物理位置信息。
进一步地，所述摄像头包括摄像头终端阵列、数据接收模块以及处理服务器，所述摄像头终端阵列用于采集视频数据，所述数据接收模块用于接收所述摄像头终端阵列采集的视频数据，所述处理服务器用于对所述采集的视频数据进行处理，所述数据接收模块和处理服务器通过RTSP协议直接读取所述视频数据。
进一步地，在步骤S2中，所述获取每路视频流数据的UTC时间戳，包括如下步骤：
S2.1：对所述摄像头进行UTC时间校正，得到摄像头真实采集视频流数据时的准确UTC时间戳；
S2.2：采用MFCC方法同步多路视频流，选取步骤S2.1中UTC时间校正较为准确的一路视频流为基准视频流，根据MFCC方法计算出其他视频流相对于所述基准视频流的时间差，并全部转为NTP时间，将采集所述基准视频流时的准确UTC时间戳加上根据MFCC方法计算出的其他某路视频流相对于所述基准视频流的时间差得到该路视频流的UTC时间戳。
进一步地，在所述步骤S2.2中，所述采用MFCC方法同步多路视频流包括：
S2.2.1：将一音源置于仓库中心，使边角处多摄像头接收到的音频信号相同；
S2.2.2：摄像头采集目标区域的视频流和音频流后，根据MFCC音频信号匹配方法进行音频特征识别匹配，得到任意两路音频流的时间偏差；
S2.2.3：将视频流数据加上步骤S2.2.2中得到的音频流的时间偏差，实现同步多路视频流。
进一步地，所述根据MFCC音频信号匹配方法进行音频的匹配包括：
在不同路的音频流，使用特征匹配算法得出两路音频流中相识度最高的部分，包括以下步骤：
在低频到高频这一段频带内按临界带宽的大小由密到疏安排一组带通滤波器，对输入的任意两路语音信号进行滤波；
将输入的任意两路的连续语音信号转化为短帧，对每帧语音进行功率谱计算；
将mel滤波器应用于功率谱，求出每组mel滤波器的能量，将每组mel滤波器的能量相加，再进行对数运算，DCT变换后得到特征值，用最近邻识别算法进行特征识别匹配，得到两路音频流中相识度最高的部分。
进一步地，在所述步骤S3中，服务器采用H264或H265编码对视频流信息进行重新编码，包括：
在H264或H265编码中的NAL信息的SMI部分中添加所述步骤S2中计算出的某路视频流的UTC时间戳，组成新的视频流信息。
进一步地，在步骤S4中，服务器接收进行重新编码后的多路视频流信息并采用H264或H265解码进行解码。
进一步地，在步骤S6中，采用深度学习训练模型的方式，在视频流中检测出目标物体相对于帧图片中的位置信息，包括：
在事先采集到的大量本地真实视频流图片的基础上，采用SSD算法进行监督学习和训练，直至训练成熟；
用训练好的SSD算法识别出视频流图片中的目标物体；
在识别出目标物体的图片上，给出目标物体在图片中的二维坐标。
进一步地，所述UWB定位系统采用TDOA定位算法进行定位。
本发明还提供一种定位系统，包括：摄像头集群、服务器、存储器、以及存储在所述存储器中并可在所述服务器上运行的计算机程序，所述摄像头集群安装在仓库的各个角落，覆盖仓库内的所有目标监控面积，用于采集仓储目标区域内的视频流数据，所述服务器执行所述计算机程序时实现如上所述的联合UWB和UTC时间戳同步的定位方法。
采用上述方案，本发明以UTC时间校正为基础，利用MFCC算法同步多路视频流得到帧数据统一的UTC时间，以此结合UWB位置信息，得到目标物体在图片中的位置和目标物体的实际物理位置之间的转换矩阵。在此技术基础上，可做叉车运行轨迹、忙线状态、动作分析、运行效率等智能监控应用，得到一系列具有重要意义的指标，有助于管理人员进行统一管理和调度，有效地提升了叉车的使用效率和工人的工作效能，减少窝工怠工等情况的发生，使仓储的整体经济产出得以提升。
附图说明
图1为UWB定位的示意图。
图2为本发明的流程图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
由于采用GPS或RFID方式，需要在叉车里面安装由GPS模块、RFID模块组成的位置检测模块，或者需要另外进行网络部署，因此本发明将仓库中原有的摄像头利用起来，无需再另外部署，通过摄像头采集的视频图片即可识别出目标物体(在本实施例中指代叉车)的实际物理位置。
UWB定位技术属于无线定位的一种。流行的无线定位技术包括GPS定位、北斗定位、蓝牙定位、WIFI定位、RFID定位等，其中GPS、北斗主要用在室外定位，蓝牙定位、WIFI定位、RFID定位、UWB定位、运营商基站定位主要用于室内定位。UWB定位和蓝牙定位、WIFI定位、RFID定位比较起来有精度上的优势。
无线定位技术是指用来判定移动用户位置的测量方法和计算方法，即定位算法。目前最常用的定位技术主要有：时差定位技术、信号到达角度测量(AOA)技术、到达时间定位(TOA)和到达时间差定位(TDOA)等。其中，TDOA技术是目前最为流行的一种方案，除了用于GSM系统，在其他诸如AMPS和CDMA系统中也广泛应用，UWB定位采用的也是这种技术。TDOA保证了UWB定位的高精度可以达到10cm左右，TDOA测距本质上就是脉冲序列设备信号，采用非常款的频谱所以抗干扰能力比较强。
UWB定位的算法流程如下：
如图1所示，终端发出脉冲信号电波，从基站R1将同一时间的测量同一个信号的信息发送到主基站R3,主基站R3计算信号从终端到达2个基站的天线的时间差,通过时间差可以计算出距离，这样可以得到一条双曲线。
一个UWB基站既是主基站又是从基站，所以3个基站进行定位就能够得到3条双曲线，这3条曲线的定位点S就是终端的位置。
要实现TDOA的定位算法来进行定位，关键一点是要保持3个基站的同步，这样才能精确测量到每个终端到每个UWB基站的时间，因此需要保持基站间纳秒级的时间同步。
请参阅图2，本发明提供一种联合UWB和UTC时间戳同步的定位方法，包括如下步骤：
S1：仓库内的各摄像头采集仓储目标区域内的视频流数据。
所述摄像头包括摄像头终端阵列、数据接收模块以及处理服务器。所述摄像头终端阵列用于采集视频数据，所述数据接收模块用于接收所述摄像头终端阵列采集的视频数据，无特别参数或品牌要求，清晰度为1080P即可，由于没有特殊要求，因此可以复用原有仓储中已经安装好的摄像头集群，要保证摄像头集群覆盖所有目标监控面积，这样才能充分读取到数据以便足够进行后续计算和分析。
所述处理服务器用于对所述采集的视频数据进行处理，所述数据接收模块和处理服务器通过RTSP协议直接读取所述视频数据。RTSP(Real Time Streaming Protocol)即实时流传输协议，是TCP/IP协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。数据接收和处理服务器通过对RTSP进行收包和解包，在本地缓存下来后，再全量传输给到下一模块。
S2：获取每路视频流数据的UTC时间戳，包括如下步骤：
S2.1：对所述摄像头进行UTC时间校正，得到摄像头真实采集视频流数据时的准确UTC时间戳。
摄像头采集过程包含以下过程：sensor感光进来的光信号数据->调ISP并转换为YUV帧数据->视频编码->RTSP流输出->客户端接收RTSP流->客户端接封装、解码->还原出帧数据。在这过程中，客户端得到的帧数据具有较长的时间滞后性，因为在得到帧数据后，需要还原出sensor进来得到帧数据的时间戳，以便后续操作。
采用的方法是通过ONVIF协议设置摄像头UTC时间同步，同步后设置摄像头的RTSP流传输包含UTC时间戳。客户端接收到RTSP流并解码帧数据后，取出UTC时间戳数据，加上摄像头内部时间误差，作为真实采集视频流数据时的准确UTC时间戳。实际过程中，需要多次手动调整内部误差时间得到较为准确的UTC时间戳。
S2.2：采用MFCC方法同步多路视频流，选取步骤S2.1中UTC时间校正较为准确的一路视频流为基准视频流，根据MFCC方法计算出其他视频流相对于所述基准视频流的时间差，并全部转为NTP时间，将采集所述基准视频流时的准确UTC时间戳加上根据MFCC方法计算出的其他某路视频流相对于所述基准视频流的时间差得到该路视频流的UTC时间戳。
由于上一步中，无法消除真实图像与真正时间戳之间的误差。在多路视频流同时采集时，RTSP传输过程中的网络延时也各不相同，不利于接下来结合UWB定位建立转换矩阵，因此还需要提供一种同步多路视频流的方法。在仓库现场环境中，在边缘处会安装多个不同角度的摄像头，由于角度的不同，导致目标物体的形状、光照都不尽相同，使用视觉方法进行帧同步存在较大困难和误差。在仓库环境中，虽然摄像头角度不一样，但是各摄像头采集的音频信号均是一样的，根据音频信号来作为不同视频流的同步标准可谓一种较为简单可行，因此本方案采用音频数据来进行帧同步的方法，具体如下：
S2.2.1：将一音源置于仓库中心，使边角处多摄像头接收到的音频信号相同。
S2.2.2：摄像头采集目标区域的视频流和音频流后，根据MFCC音频信号匹配方法进行音频特征识别匹配，得到任意两路音频流的时间偏差。
S2.2.3：将视频流数据加上步骤S2.2.2中得到的音频流的时间偏差，实现同步多路视频流。
所述根据MFCC音频信号匹配方法进行音频的匹配包括：
在不同路的音频流，使用特征匹配算法得出两路音频流中相识度最高的部分，包括以下步骤：
在低频到高频这一段频带内按临界带宽的大小由密到疏安排一组带通滤波器，对输入的任意两路语音信号进行滤波；
将输入的任意两路的连续语音信号转化为短帧，对每帧语音进行功率谱计算；
将mel滤波器应用于功率谱，求出每组mel滤波器的能量，将每组mel滤波器的能量相加，再进行对数运算，DCT变换后得到特征值，用最近邻识别算法进行特征识别匹配，得到两路音频流中相识度最高的部分。
梅尔倒谱系数简称MFCC，由于人耳感知声音频率和声音实际频率并非线性，在200Hz到5000Hz的语音信号对语音的清晰度影响较大。由于存在掩蔽效应，频率较低容易掩蔽高音，因此低音掩蔽的临界带宽较高音带宽要小。MFCC在低频到高频这一段频带内按临界带宽的大小由密到疏安排一组带通滤波器，对输入信号进行滤波。将每个带通滤波器输出的信号能量作为信号的基本特征，对此特征经过进一步处理后就可以作为语音的输入特征。由于这种特征不依赖于信号的性质，对输入信号不做任何的假设和限制，又利用了听觉模型的研究成果。因此，这种参数比基于声道模型的LPCC相比具有更好的鲁棒性，更符合人耳的听觉特性，而且当信噪比降低时仍然具有较好的识别性能。
S3：将步骤S2中计算出的某路视频流的UTC时间戳添加至编码的视频流信息中，服务器对该路视频流信息进行重新编码。在本实施例中，服务器采用H264或H265编码对视频流信息进行重新编码，包括：
在H264或H265编码中的NAL信息的SMI部分中添加所述步骤S2中计算出的某路视频流的UTC时间戳，组成新的视频流信息。
H264/H265编码中，需要在头部信息加入NAL信息，而SEI是NAL信息之一。在H.264/AVC这一标准中，整个系统框架分为两层：视频编码层面(Video Coding Layer，简称VCL)和网络抽象层面(Network Abstraction Layer，简称NAL)。VCL负责表示有效视频数据的内容，NAL负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。NALunit是NAL的基本语法结构，它包含一个字节的头信息(NAL header)和一系列来自VCL的原始数据字节流。
其中NAL Type为6表示NAL携带辅助增强信息SEI，即补充增强信息，属于码流范畴，它提供了向视频码流中加入额外信息的方法，是H.264/H.265这些视频压缩标准的特性之一。在传输帧数据的时候，可以通解析帧数据的NAL头得到SMI中自定义信息，也可以通过ffmpeg来进行解析得到。
根据客户端要求，可在接下来的H264或H265编码中，把步骤S2计算出来的UTC时间戳加入到编码中的视频流信息中，使客户端可通过解析得到即可。本方案采用H264中NAL信息的SMI部分中添加UTC时间戳的方法。
S4：服务器接收进行重新编码后的多路视频流信息并进行解码，解析出视频流对应的UTC时间戳。具体地，服务器接收进行重新编码后的多路视频流信息并采用H264或H265解码进行解码，以获取绝对NTP时间。在客户端开发接收H264码流的解码中，需要额外解析出SMI信息得到该帧数据对应的UTC时间戳。
S5：采用UWB定位系统得到目标物体所在的位置信息和对应的时间戳，将UWB定位系统得到的目标物体所在的位置信息和对应的时间戳与步骤S4中服务器解析出的视频流对应的UTC时间戳两者进行匹配，得到每帧视频数据对应的准确UWB物理位置信息。
UWB定位系统可以很方便地得到目标物体所在的位置信息和对应的时间戳，客户端从视频流服务器解码视频流后解析SMI信息可得到UTC时间戳信息。UWB定位系统得到的位置信息和时间戳与视频流中解析SMI得到的UTC时间戳可作为匹配标准进行两者的匹配，进而可知每一帧视频对应的UWB定位信息。
S6：采用深度学习训练模型的方式，在视频流中检测出目标物体相对于帧图片中的位置信息，包括：
在事先采集到的大量本地真实视频流图片的基础上，采用SSD算法进行监督学习和训练，直至训练成熟；
用训练好的SSD算法识别出视频流图片中的目标物体；
在识别出目标物体的图片上，给出目标物体在图片中的二维坐标。
用SSD算法识别出图片中的叉车，此算法相对于Faster-CNN具有更高的精度，适用于对精度要求较高的场景。在事先采集到的大量本地真实视频流图片的基础上，SSD算法经过监督学习和训练，在测试集中达到满意效果后(召回率和准确率都达到90％以上)，即可对真实环境的视频图片做出判断，识别出其中的叉车影像，并做上相关标注。
在识别出叉车的图片上，给出其在图片内的二维坐标。对于同一个摄像头的不同图片，都是照射的同一固定区域，SSD算法可以给出对应摄像头的所有图片集合的二维坐标，且坐标原点和XY轴是一致的。SSD算法识别出叉车后，会给出本图片的坐标系内确定叉车具体二维坐标。
S7：建立步骤S5中得到的准确UWB物理位置信息与步骤S6中检测出的目标物体相对于帧图片的位置信息两者之间的位置映射矩阵。
采用深度学习训练模型的方式，可在视频流中检测出目标物体相对于帧图片中的位置信息，但是由于摄像头的斜视角度，此位置信息并非实际物理位置。根据步骤S5中采用的UWB技术，可知此帧数据所对应的UWB采集的准确的位置信息，而深度学习可检测出此帧目标物体相对于帧图片中的位置信息，两者具有一定的映射关系，根据多次试验可得出这两者的映射矩阵。
S8：从采集的视频流数据中检测出目标物体的位置，根据所述位置映射矩阵，得到目标物体确切的物理位置信息。
得到UWB物理位置信息和目标物体相对于帧图片的位置信息的映射矩阵，在以后的视频流采集中，根据目标物体在视频流中的位置，通过映射矩阵即可得到目标物体确切的物理位置信息了，可以很方便地进行后续的包括但不限于轨迹跟踪等进一步开发。
本联合UWB和UTC时间戳同步的定位方法概述如下：
将一音源置于仓库中心，使边角处多摄像头接收到的音频信号相同。根据MFCC音频信号匹配方法进行音频特征识别匹配，得知任意两路音频流的时间偏差，视频流数据也加上这个偏差得到视频流的帧同步。视频流服务器以确定其中一路为基准，得出其他视频流相对于基准时间差，并全部转为NTP时间，记录到视频流H264编码中的NAL信息中。客户端接收视频流并解析NAL信息以获取绝对NTP时间，根据视频流到相对于服务器的时间差进行UTC时间校正。结合UWB室内定位技术进行UTC时间戳匹配，可知每帧视频中各目标位置的确切物理位置。
本发明还提供一种定位系统，包括：摄像头集群、服务器、存储器、以及存储在所述存储器中并可在所述服务器上运行的计算机程序。所述摄像头集群安装在仓库的各个角落，覆盖仓库内的所有目标监控面积，用于采集仓储目标区域内的视频流数据。所述服务器执行所述计算机程序时实现如上所述的联合UWB和UTC时间戳同步的定位方法。
在实际操作中需要对多路视频流进行解码、同步和重新编码操作，需要编解码能力较强服务器。同时在处理后会结合目标检测、追踪等图像处理算法，需要用到GPU进行算法运算加速。本方案采用的是NVIDIA公司的Jetson AGX Xavier设备，具有专门的硬件加速编解码模块，最高可达32路1080P的HEVC解码和48路1080P的HEVC编码，同时具有512核Volta GPU，算力达到11TFOPS，另外还有DLA加速引擎也可作为AI算法硬件加速。性能强大，符合本方案所需硬件要求。
综上所述，本发明以UTC时间校正为基础，利用MFCC算法同步多路视频流得到帧数据统一的UTC时间，以此结合UWB位置信息，得到目标物体在图片中的位置和目标物体的实际物理位置之间的转换矩阵。在此技术基础上，可做叉车运行轨迹、忙线状态、动作分析、运行效率等智能监控应用，得到一系列具有重要意义的指标，有助于管理人员进行统一管理和调度，有效地提升了叉车的使用效率和工人的工作效能，减少窝工怠工等情况的发生，使仓储的整体经济产出得以提升。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
