一种轨道交通智慧客流分析与导引系统及其客流分析与导引的方法
技术领域
本发明涉及轨道交通技术领域，特别涉及一种轨道交通智慧客流分析与导引系统及其客流分析与导引的方法。
背景技术
随着我国的经济高速发展，城市交通量大量增长，交通问题也日益彰显，已成为制约城市经济发展的瓶颈。针对日益饱和的路面交通，国内主要大中型城市纷纷选择轨道交通建设来缓解日益增长的公共交通压力，来提高城市的核心竞争力。截至2019年底，我国内地已有40个城市开通轨道交通、轨道交通运营线路累计达到211条、运营线路达到6730.27公里。
当前轨道交通运营普遍存在以下缺陷:
轨道交通车载视频监控无法全部回传，轨道交通车厢内客流状态与事件仍需司机进行手动上报，导致信息延迟；运用称重式车厢客流统计方案，无法精准统计车厢内人员、不能及时疏导人员流动。
有鉴于此，实有必要开发一种轨道交通智慧客流分析与导引系统及其客流分析与导引的方法，用以解决上述问题。
发明内容
针对现有技术中存在的不足之处，本发明的主要目的是，提供一种轨道交通智慧客流分析与导引系统，其通过对车内客流数据捕获、客流密集程度数据分析与各客室车厢载客拥挤状态实时展示，助力轨道交通实现资源整合、流程优化，从而实现更安全、舒适、精细化、自动化运营；为此，本发明还提供一种采用该轨道交通智慧客流分析与导引系统进行客流分析与导引的方法。
为了实现根据本发明的上述目的，本发明采用以下技术方案：
一种轨道交通智慧客流分析与导引系统，包括硬件集成平台、车载智慧客流分析与导引系统、引导信息显示部，所述硬件集成平台包括车载客流数据采集部、车载边缘处理部、5G车载数据中心，所述车载客流数据采集部、车载边缘处理部、5G车载数据中心均与车载智慧客流分析与导引系统嵌入协同设计以使得视频存储和视频分析无缝对接；车载客流数据采集部获取客流信息并将其传输到边缘处理模块，车载边缘处理部根据车载客流数据采集部获取的客流信息统计分析每列车各节车厢的客流密集程度信息，车载边缘处理部将客流密集程度信息传输至5G车载数据中心进行存储，车载边缘处理部和5G车载数据中心将客流密集程度信息通过车地无线传输至引导信息显示部。
进一步地，所述车载智慧客流分析与导引系统包括客流密度估计模块、人员跟踪识别模块、行为分析模块、智能引导与统计分析模块、云存储和云计算模块。
进一步地，车载客流数据采集部包括单目智能摄像机和双目智能摄像机；所述单目智能摄像机嵌入有客流密度估计模块，以对捕获的视频图像基于多尺度特征和注意力的人流密度估计算法预测人流密度；双目智能摄像机嵌入有人员跟踪识别模块和行为分析模块，基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别。
进一步地，车载边缘处理部嵌入有智能引导与统计分析模块；所述车载边缘处理部根据单智能摄像头信息和双目智能摄像头信息进行边缘计算获得客流密集程度数据。
进一步地，5G车载数据中心嵌入有云存储和云计算模块，用于列车全车视频数据、元数据等数据的汇集、存储、实时数据查询和在站全部数据卸载。
进一步地，引导信息显示部包括地面疏导系统、APP系统、LCD、LED、广播系统；所述地面疏导系统、APP系统与5G车载数据中心通过车地无线通信连接；所述LCD、LED、广播系统与车载边缘处理部通过车地无线通信连接。
为实现对车内客流数据捕获、客流密集程度数据分析与各客室车厢载客拥挤状态实时展示，助力轨道交通实现资源整合、流程优化，从而实现更安全、舒适、精细化、自动化运营，本发明还提供一种采用轨道交通智慧客流分析与导引系统进行客流分析与导引的方法，包括以下步骤：
1)车载客流数据采集部的单目智能摄像机捕获视频图像，通过客流密度估计模块对捕获的视频图像以基于多尺度特征和注意力的人流密度估计算法预测人流密度；
车载客流数据采集部的双目智能摄像机利用双摄像头拍摄视频图像，通过人员跟踪识别模块和行为分析模块基于点云和双目智能摄像机融合的人和人脸检测算法进行人和人脸识别；
2)单目智能摄像机预测的人流密度信息、双目智能摄像机识别的人和人脸信息传输到车载边缘处理部，车载边缘处理部通过智能引导与统计分析模块进行边缘计算分析，得到包含客流人数、客流拥挤度、客流分布区域的客流密集程度数据；
3)车载边缘处理部分析获得的客流密集程度数据传输至5G车载数据中心，且通过车地无线传输至引导信息显示部的LCD、LED、广播系统，5G车载数据中心的客流密集程度数据通过车地无线传输至引导信息显示部的地面疏导系统、APP程序，从而实现公众出行智能引导。
进一步地，步骤1)中单目智能摄像机对捕获的视频图像以基于多尺度特征和注意力的人流密度估计算法预测人流密度的方法为：所述单目智能摄像机使用多尺度全卷积网络对人流信息进行编码，产生多尺度的特征信息；使用注意力和不同尺度上的上下文特征生成融合特征图；然后通过融合特征进行回归预测人流密度。
进一步地，步骤1)中双目智能摄像机基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别的方法为：通过标定后的双摄像头得到同步曝光图像，通过三角形原理产生三维点云数据，采用双目智能摄像机产生的点云数据聚类出人体的具体方位，再通过点云识别、尺度估算方法估算出人和人体头部的位置；并从双目智能摄像机对应视角中抓取动态的人和人像信息；最后通过卷积神经网络进行人和人脸识别。
进一步地，步骤1)中单目智能摄像机捕获视频图像的方法为：采用综合深度神经网络和随机深度森林算法，结合图像处理技术，从视频中提取人脸特征，进而提取出人脸图像。
本发明的有益效果：
通过将硬件车载客流数据采集部、车载边缘处理部、5G车载数据中心集成单一平台设计，将车载智慧客流分析与导引系统的客流密度估计模块、人员跟踪识别模块、行为分析模块、智能引导与统计分析模块、云存储和云计算模块嵌入硬件集成平台的车载客流数据采集部、车载边缘处理部、5G车载数据中心，具体地，所述单目智能摄像机嵌入有客流密度估计模块，以对捕获的视频图像基于多尺度特征和注意力的人流密度估计算法预测人流密度；双目智能摄像机嵌入有人员跟踪识别模块和行为分析模块，基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别；车载边缘处理部嵌入有智能引导与统计分析模块，所述车载边缘处理部根据单智能摄像头信息和双目智能摄像头信息进行边缘计算获得客流密集程度数据；5G车载数据中心嵌入有云存储和云计算模块，用于列车全车视频数据、元数据等数据的汇集、存储、实时数据查询和在站全部数据卸载，通过上述设计优化了设计资源、降低了设计成本，且实现了视频存储和视频分析无缝对接，使得视频分析结果平均输出时间加快，减少延时；轨道交通车载视频监控可以全部回传；通过对对车内客流数据捕获、客流密集程度数据分析与各客室车厢载客拥挤状态实时展示，助力轨道交通实现资源整合、流程优化，从而实现更安全、舒适、精细化、自动化运营。
本发明5G车载数据中心采用5G技术，5G网络运用更高的频率，更宽的无线信道，使无线更加良好，5G网络延迟时间降低，数据传输速率加快，用户体验更加良好。乘客可通过手机APP可实时查阅线路客流相关信息，提前做好合适的出行计划。
单目智能摄像机嵌入有客流密度估计模块，以对捕获的视频图像基于多尺度特征和注意力的人流密度估计算法预测人流密度；双目智能摄像机嵌入有人员跟踪识别模块和行为分析模块，基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别；通过基于多尺度特征和注意力的人流密度估计算法预测人流密度、基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别可以精确统计分析并及时显示车厢内人员数量及人员流动情况，便于及时疏导，助力轨道交通实现资源整合、流程优化，从而实现更安全、舒适、精细化、自动化运营。
单目智能摄像机捕获视频图像采用综合深度神经网络和随机深度森林算法，结合图像处理技术，从视频中提取人脸特征，进而提取出人脸图像，通过该种方法获得的人脸图像更为清晰准确。
单目智能摄像机对捕获的视频图像以基于多尺度特征和注意力的人流密度估计算法预测人流密度，使用多尺度全卷积网络对人流信息进行编码，产生多尺度的特征信息，可以学习不同尺度特征，具有良好的鲁棒性，能够较好地适用真实场景；使用注意力和不同尺度上的上下文特征生成融合特征图；然后通过融合特征进行回归预测人流密度；不同的注意力可以学习到不同尺度特征间的信息，提高了人流密度预测的准确性。
双目智能摄像机基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别，通过标定后的双摄像头得到同步曝光图像，通过三角形原理产生三维点云数据，采用双目智能摄像机产生的点云数据聚类出人体的具体方位，再通过点云识别、尺度估算方法估算出人和人体头部的位置；并从双目智能摄像机对应视角中抓取动态的人和人像信息；最后通过卷积神经网络进行人和人脸识别。相对于纯图像的方式，该算法降低了假脸的风险，同时能防止对抗攻击；且通过对视频数据的分析，实现人流量较大场所的人员跟踪、行为分析等人群混乱度信息统计与展示，实现提前预警。
附图说明
图1为根据本发明一个实施方式提出的轨道交通智慧客流分析与导引系统的结构框图；
图2为根据本发明一个实施方式实现轨道交通智慧客流分析与导引的流程图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的一实施方式结合图1和图2的示出，可以看出，轨道交通智慧客流分析与导引系统包括硬件集成平台、车载智慧客流分析与导引系统、引导信息显示部，所述硬件集成平台包括车载客流数据采集部、车载边缘处理部、5G车载数据中心，所述车载客流数据采集部、车载边缘处理部、5G车载数据中心均与车载智慧客流分析与导引系统嵌入协同设计，所述车载智慧客流分析与导引系统包括客流密度估计模块、人员跟踪识别模块、行为分析模块、智能引导与统计分析模块、云存储和云计算模块。通过将硬件车载客流数据采集部、车载边缘处理部、5G车载数据中心集成单一平台设计，且将车载智慧客流分析与导引系统的各模块嵌入硬件集成平台的车载客流数据采集部、车载边缘处理部、5G车载数据中心，既优化了设计资源、降低了设计成本，同时让视频存储和视频分析无缝对接，减少时延；且采用分布式技术实现平台的扩容，大大增加了数据的处理速度和存储容量，并极大降低维护成本。通过上述轨道交通智慧客流分析与导引系统对车内客流数据捕获、客流密集程度数据分析与各客室车厢载客拥挤状态实时展示，实现公众出行智能引导，助力轨道交通精细化、自动化运营。
车载客流数据采集部包括安装在每节车厢内的多个单目智能摄像机和多个双目智能摄像机，以实现人像图像的捕获、图像预处理、三维点云产生和采集。
所述单目智能摄像机嵌入有客流密度估计模块，以对捕获的视频图像基于多尺度特征和注意力的人流密度估计算法预测人流密度；其中，单目智能摄像机捕获视频图像的方法为：采用综合深度神经网络和随机深度森林算法，结合图像处理技术，从视频中提取人脸特征，进而提取出人脸图像，通过该种方法获得的人脸图像更为清晰准确。
单目智能摄像机对捕获的视频图像以基于多尺度特征和注意力的人流密度估计算法预测人流密度的方法为：所述单目智能摄像机使用多尺度全卷积网络对人流信息进行编码，产生多尺度的特征信息；使用注意力和不同尺度上的上下文特征生成融合特征图；然后通过融合特征进行回归预测人流密度。该方法基于大规模列车人流密度数据库的人流密度估计测试精度可达国内领先水平。
相较于传统的基于随机深林方法测试精度及CNN为基础的YOLO检测算法测试精度，该方法的人流密度估计测试精度更高，人员密度估算的性能卓越。
双目智能摄像机嵌入有人员跟踪识别模块和行为分析模块，双目智能摄像机可以利用双摄像头拍摄物体、通过三角形原理产生三维点云计算物体距离，同时搭载宽动态、活体检测、防止视频作假等智能算法，将采集的图像数据处理生成三维数据，实现列车内的多目三维建模，从而实现高精准车内人脸识别和物体运动检测。
双目智能摄像机基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别；双目智能摄像机基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别的方法为：通过标定后的双摄像头得到同步曝光图像，通过三角形原理产生三维点云数据，采用双目智能摄像机产生的点云数据聚类出人体的具体方位，再通过点云识别、尺度估算方法估算出人和人体头部的位置；并从双目智能摄像机对应视角中抓取动态的人和人像信息；最后通过卷积神经网络进行人和人脸识别。相对于纯图像的方式，该方法降低了假脸的风险，同时能防止对抗攻击；通过对视频数据的分析，实现人流量较大场所的人员跟踪、行为分析等人群混乱度信息统计与展示，实现提前预警。该方法的卷积神经网络模型采用压缩、知识蒸馏算法，整个模型可控制在几兆内存，更适合嵌入式应用。
边缘处理模块用于信息的融合，车载客流数据采集部获取客流信息并将其传输到边缘处理模块；车载边缘处理部根据车载客流数据采集部获取的客流信息统计分析每列车各节车厢的客流密集程度信息，车载边缘处理部嵌入有智能引导与统计分析模块；车载边缘处理部的核心是车载边缘视频分析服务器，即在嵌入式设备GPU/FPGA高性能人工智能处理设备上加载AI算法进行边缘计算，根据单智能摄像头信息和双目智能摄像头信息进行边缘计算，获得详细的包含人数、拥挤度、分布区域等的客流密集程度数据，基于各边缘分析系统的结果，结合各摄像头安装位置和系统空间预设方案，实现空间区域内客流人数、密度情况等信息的分析，从而为列车信息系统提供每列车各个客室车厢的载客拥挤状态信息，为乘客提供智能引导。
5G车载数据中心嵌入有云存储和云计算模块，其采用先进的数据回传网络技术、列车信息化技术、5G通信技术，实现列车全车视频数据、元数据等数据的汇集、存储、实时数据查询和在站全部数据卸载，轨道交通车载视频监控可以全部回传。5G车载数据中心采用3U多节点服务器，提供3-6路千兆视频汇集网口、1.5G以上5G卸载端口，实现更佳的移动性能、毫秒级时延和超高密度连接(10Gbps以上峰值速率传输、最大1000TB数据量存储)。
通过上述嵌入式软硬件协同设计，即将各硬件车载客流数据采集部、车载边缘处理部、5G车载数据中心等集成单一硬件集成平台，将车载智慧客流分析与导引系统的各模块嵌入车载客流数据采集部、车载边缘处理部、5G车载数据中心，具体地，所述单目智能摄像机嵌入有客流密度估计模块，以对捕获的视频图像基于多尺度特征和注意力的人流密度估计算法预测人流密度；双目智能摄像机嵌入有人员跟踪识别模块和行为分析模块，基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别；车载边缘处理部嵌入有智能引导与统计分析模块，所述车载边缘处理部根据单智能摄像头信息和双目智能摄像头信息进行边缘计算获得客流密集程度数据；5G车载数据中心嵌入有云存储和云计算模块，用于列车全车视频数据、元数据等数据的汇集、存储、实时数据查询和在站全部数据卸载，通过上述设计优化了设计资源、降低了设计成本，且实现了视频存储和视频分析无缝对接，使得视频分析结果平均输出时间加快，减少延时；轨道交通车载视频监控可以全部回传；通过基于多尺度特征和注意力的人流密度估计算法预测人流密度、基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别可以精确统计分析并及时显示车厢内人员数量及人员流动情况。通过对车内客流数据捕获、客流密集程度数据分析与各客室车厢载客拥挤状态实时展示，便于及时疏导，助力轨道交通实现资源整合、流程优化，从而实现更安全、舒适、精细化、自动化运营。
所述引导信息显示部包括地面疏导系统、APP系统、LCD、LED、广播系统、列控中心、调度中心；所述地面疏导系统、APP系统与5G车载数据中心通过车地无线通信连接；所述LCD、LED、广播系统、列控中心、调度中心与车载边缘处理部通过车地无线通信连接；车载边缘处理部将包含人数、拥挤度、分布区域等的客流密集程度信息传输至5G车载数据中心进行存储，并将上述信息通过车地无线传输至所述LCD、LED、广播系统、列控中心、调度中心以方便实时显示；5G车载数据中心将上述客流密集程度信息通过车地无线传输至地面疏导系统、APP系统以方便实时显示和查询；所述APP系统包括手机APP，通过5G信号传输技术，可以实现区域拥挤度、舒适路径推荐、行为分析等信息查询。5G车载数据中心采用5G技术，5G是第五代无线移动通信技术，5G网络延迟时间降低，数据传输速率加快，用户体验更加良好，网络延迟时间低于1ms，5G传输速率几乎是4G传输速率的10倍，5G网络运用更高的频率，更宽的无线信道，使无线更加良好。乘客可通过手机APP可实时查阅线路客流相关信息，提前做好合适的出行计划。
采用上述轨道交通智慧客流分析与导引系统进行客流分析与导引的方法，包括以下步骤：
1)车载客流数据采集部的单目智能摄像机捕获视频图像，通过客流密度估计模块对捕获的视频图像以基于多尺度特征和注意力的人流密度估计算法预测人流密度；
车载客流数据采集部的双目智能摄像机利用双摄像头拍摄视频图像，通过人员跟踪识别模块和行为分析模块基于点云和双目智能摄像机融合的人和人脸检测算法进行人和人脸识别；
其中，单目智能摄像机捕获视频图像的方法为：采用综合深度神经网络和随机深度森林算法，结合图像处理技术，从视频中提取人脸特征，进而提取出人脸图像；
单目智能摄像机对捕获的视频图像以基于多尺度特征和注意力的人流密度估计算法预测人流密度的方法为：所述单目智能摄像机使用多尺度全卷积网络对人流信息进行编码，产生多尺度的特征信息；使用注意力和不同尺度上的上下文特征生成融合特征图；然后通过融合特征进行回归预测人流密度；
双目智能摄像机基于点云和双目智能摄像机融合的人脸检测算法进行人和人脸识别的方法为：通过标定后的双摄像头得到同步曝光图像，通过三角形原理产生三维点云数据，采用双目智能摄像机产生的点云数据聚类出人体的具体方位，再通过点云识别、尺度估算方法估算出人和人体头部的位置；并从双目智能摄像机对应视角中抓取动态的人和人像信息；最后通过卷积神经网络进行人和人脸识别；
2)单目智能摄像机预测的人流密度信息、双目智能摄像机识别的人和人脸信息传输到车载边缘处理部，车载边缘处理部通过智能引导与统计分析模块进行边缘计算分析，得到包含客流人数、客流拥挤度、客流分布区域的客流密集程度数据；
3)车载边缘处理部分析获得的客流密集程度数据传输至5G车载数据中心，且通过车地无线传输至引导信息显示部的LCD、LED、广播系统，5G车载数据中心的客流密集程度数据通过车地无线传输至引导信息显示部的地面疏导系统、APP程序，从而实现公众出行智能引导。
乘客可通过手机APP可实时查阅线路客流相关信息，提前做好合适的出行计划从而实现公众出行智能引导。
综上所述，本发明的轨道交通智慧客流分析与导引系统及其客流分析与导引的方法，通过对客流分布、客流密度、客流拥挤状态等多维度数据信息的实时采集、分析，助力轨道交通实现资源整合、流程优化，从而实现更安全、舒适、精细化、自动化运营。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
