一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法
技术领域
本发明涉及船舶航行技术领域，具体为一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法。
背景技术
航运是指通过水路运输来运送人或货物的运输方式。航运由于运量大、能耗小、成本低、环保等突出优点，在国际贸易和我国国民运输中占有重要地位。智能航运的发展将会在以下几方面产生重要意义:提高了航运运输能力；提高了航运的安全性。
物联网是在互联网、移动通信网等通信网络基础上、针对不同应用领域的需求，利用具有感知、通信与计算能力的智能物体自动获取物理世界的各种信息，将所有能够独立寻址的物理对象互联起来、实现全面感知、可靠传输、智能分析处理，构建人与物、物与物互联的智能信息服务系统。
在船舶领域，全球定位系统(Global Positioning System，GPS)、雷达(AutomaticRadar Plotting Aid，ARPA)、闭路视频监控系统(Closed circuit video surveillancesystem，CCTV)，船舶自动识别系统(Automatic Identification System，AIS)、电子海图显示和信息系统等技术手段的应用使得船舶向信息化、智能化方向迅速发展，但离真正的自动感知、主观分析、智慧操作的智能船舶还有一定差距。
物联网的出现为船舶智能化发展提供了新的思路，物联网技术提出了智慧船舶服务的新架构，提升了船舶的管理效率。
“船联网”是物联网在航运领域的一种具体化发展形式，以航运管理精细化、行业服务全面化、出行体验人性化的目的，以企业、船户，船舶，货物为对象，覆盖航道、船闸、桥梁、港口和码头、融合物联网核心技术，以数据为中心，实现人船互联，船船互联、船货互联及船岸互联的智能航运信息综合服务网络，
目前航运信息管理和服务水平还存在一些弊端，其中航运智能化效率偏低，船舶信息采集与共享成本过高已成为了制约航运发展的主要瓶颈，所以如何充分利用技术手段，全面建设“船联网”，以解决目前存在的问题，促进业务协同，保证船舶航行安全、货物高效运输等显得越发迫切，因此，我们提出一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法，以便于解决上述中提出的问题。
发明内容
本发明的目的在于提供一种基于深度学习和视觉SLAM的船舶航行辅助系统与方法，以解决上述背景技术提出的目前航运信息管理和服务水平还存在一些弊端，其中航运智能化效率偏低，船舶信息采集与共享成本过高已成为了制约航运发展的主要瓶颈问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习和视觉SLAM的船舶航行辅助系统，包括智慧终端、物联网平台、流媒体服务器、视频分析处理模块和目标识别追踪模块，所述流媒体服务器、视频分析处理模块和目标识别追踪模块均与物联网平台之间交互连接，所述物联网平台与智慧终端之间交互连接，所述智慧终端内部嵌入式安装半自动标注模块。
优选的，所述目标识别追踪系统包括摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经，同时目标识别追踪系统基于摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经实现船只分类检测、船名检测和识别、电子追踪以及视频统合叠加，同时摄像头系统包括多个高清变焦摄像机和一体化云台摄像机。
优选的，所述视频分析处理模块基于物联网平台辅助目标跟踪系统进行视频分析、船名识别并深度学习。
优选的，所述物联网平台经由中心机房架设，且智慧终端通过物联网平台智能调取流媒体服务器、视频分析处理模块和目标识别追踪模块数据信息。
本发明还提供一种基于深度学习和视觉SLAM的船舶航行辅助方法，所述辅助方法包含以下步骤：
步骤一：在船舶对应位置分别进行摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经的对应嵌入安装；
步骤二：进行网络架设，保证对应数据信息能够进行网络传输；
步骤三：船舶航行时，经由摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经进行目标的检测；
步骤四：通过视频分析处理模块辅助目标识别追踪系统进行摄像头系统捕捉摄像画面进行分析处理；
步骤五：通过视频分析处理模块和目标识别追踪系统实时进行船只分类检测、船名检测和识别、电子追踪以及视频融合叠加；
步骤六：同时通过流媒体服务器通过物联网平台实时进行画面转播，将画面转发至监控中心和智慧终端；
步骤七：智慧终端基于内部嵌入的半自动标注模块进行船只标注，辅助航行；
步骤八：视频分析处理模块基于物联网平台接收标注信息，辅助图片信息进行深度学习。
优选的，所述目标识别追踪系统基于摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经实时监测识别船舶航行四周图像、水质环境、地理环境和周边物理环境等，同时监测船舶姿态以及定位信息。
优选的，步骤五船只分类检测是指对船只的特征提取：颜色特征提取、形状特征提取、运动特征提取、特征匹配、目标位置预测等。
优选的，所述船名检测和识别基于深度卷积神经网络迁移学习检测，其收集不同船泊类型、不同船名标识风格、不同图片分辨率、不同背景、不同季节、不同时段、不同光照、不同角度等影响因素下百万级样本，且对样本基于智慧终端进行人工标注，以进行深度学习。
优选的，所述电子追踪基于视频信息完成，在事先不了解目标运动信息的条件下，通过来自信息源的数据实时估计出目标的运动状态，从而实现对目标的跟踪，既确定同一目标在图像序列不同帧中相应位置，将图像序列在空间域中分割为若干运动对象，在时间域中对这些对象进行建模、检测和跟踪。
优选的，所述视频融合叠加是将经过分析处理的船只各类信息融合到视频里的目标上，增强目标可视化及可识别，同时通过流媒体服务器能够进行数据信息的储存提取等。
与现有技术相比，本发明的有益效果是：该基于深度学习和视觉SLAM的船舶航行辅助系统与方法，结合主动传感器(如：雷达、可见光摄像机、热成像摄像机等)探测与被动传感器(如：AIS、GPS等)探测技术，以及高度融合的实时态势与认知技术，对特定区域的目标进行实时检测、动态跟踪、智能预警、历史回溯，从而保障船舶安全和获取船舶以及船舶周围目标的有效监控。
附图说明
图1为本发明系统流程示意图1；
图2为本发明系统流程示意图2；
图3为本发明系统架构示意图；
图4为本发明设备布局图；
图5为本发明物理拓扑图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供一种技术方案：一种基于深度学习和视觉SLAM的船舶航行辅助系统，包括智慧终端、物联网平台、流媒体服务器、视频分析处理模块和目标识别追踪模块，流媒体服务器、视频分析处理模块和目标识别追踪模块均与物联网平台之间交互连接，物联网平台与智慧终端之间交互连接，智慧终端内部嵌入式安装半自动标注模块。
本发明进一步的，目标识别追踪系统包括摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经，同时目标识别追踪系统基于摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经实现船只分类检测、船名检测和识别、电子追踪以及视频统合叠加，同时摄像头系统包括多个高清变焦摄像机和一体化云台摄像机；通过单独或联合运用CCTV、雷达、AIS等系统对其进行跟踪监视，通过AIS或雷达跟踪手段、用户可在海图上进行追踪识别目标船舶，详细获取船舶动态新消息；通过CCTV跟踪手段、用户可对目标船舶进行相机跟踪、直观了解船舶的外观，通航环境及相关行为，用户还可以结合各种跟踪方式进行联动跟踪，更加全面准确地掌握问题船舶的信息和动态。
本发明进一步的，视频分析处理模块基于物联网平台辅助目标跟踪系统进行视频分析、船名识别并深度学习。
本发明进一步的，物联网平台经由中心机房架设，且智慧终端通过物联网平台智能调取流媒体服务器、视频分析处理模块和目标识别追踪模块数据信息；
使得视频结构化，对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人类理解的结构化信息的技术，可以把原来只能看无法调用的视频变成可调用的信息。
本发明还提供一种基于深度学习和视觉SLAM的船舶航行辅助方法，辅助方法包含以下步骤：
步骤一：在船舶对应位置分别进行摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经的对应嵌入安装；
步骤二：进行网络架设，保证对应数据信息能够进行网络传输；
步骤三：船舶航行时，经由摄像头系统、雷达系统、AIS系统、VHF系统、水文检测仪和电子罗经进行目标的检测；
步骤四：通过视频分析处理模块辅助目标识别追踪系统进行摄像头系统捕捉摄像画面进行分析处理；
步骤五：通过视频分析处理模块和目标识别追踪系统实时进行船只分类检测、船名检测和识别、电子追踪以及视频融合叠加；
步骤六：同时通过流媒体服务器通过物联网平台实时进行画面转播，将画面转发至监控中心和智慧终端；
步骤七：智慧终端基于内部嵌入的半自动标注模块进行船只标注，辅助航行；
步骤八：视频分析处理模块基于物联网平台接收标注信息，辅助图片信息进行深度学习。
本发明进一步的，目标识别追踪系统基于摄像头系统、雷达系统、AIS系统、VHF系统、水文监测仪和电子罗经实时监测识别船舶航行四周图像、水质环境、地理环境和周边物理环境等，同时监测船舶姿态以及定位信息。
本发明进一步的，步骤五船只分类检测是指对船只的特征提取：颜色特征提取、形状特征提取、运动特征提取、特征匹配、目标位置预测等。
本发明进一步的，船名检测和识别基于深度卷积神经网络迁移学习检测，其收集不同船泊类型、不同船名标识风格、不同图片分辨率、不同背景、不同季节、不同时段、不同光照、不同角度等影响因素下百万级样本，且对样本基于智慧终端进行人工标注，以进行深度学习。
本发明进一步的，电子追踪基于视频信息完成，在事先不了解目标运动信息的条件下，通过来自信息源的数据实时估计出目标的运动状态，从而实现对目标的跟踪，既确定同一目标在图像序列不同帧中相应位置，将图像序列在空间域中分割为若干运动对象，在时间域中对这些对象进行建模、检测和跟踪。
本发明进一步的，视频融合叠加是将经过分析处理的船只各类信息融合到视频里的目标上，增强目标可视化及可识别，同时通过流媒体服务器能够进行数据信息的储存提取等，综合利用感知设备系统所获得的本船姿态信息及位置信息、目标空间信息(雷达/AIS)结合检测的目标视频数据和景深数据，采用三维重建技术、计算出目标的三维空间坐标、获得目标视频定位信息，从而达到视频合成叠加感知信息。
本申请所提供的实施例中，应该理解到，所揭露的装置以及方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图以及框图显示了根据本申请的多个实施例的装置、方法以及计算机程序产品的可能实现的体系架构、功能以及操作。在这点上，流程图或者框图中的每个方框可以代表一个模块、程序段或者代码的一部分，模块、程序段或者代码的一部分包含一个或者多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图以及/或者流程图中的每个方框、以及框图以及/或者流程图中的方框的组合，可以用执行规定的功能或者动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或者两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或者使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或者部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一以及第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改以及变化。凡在本申请的精神以及原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号以及字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义以及解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或者替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
