工业智造物联网的大数据传输和持久化方法及系统
技术领域
本发明涉及通信领域，具体地，涉及一种工业智造物联网的大数据传输和持久化方法及系统。
背景技术
传统的基于mqtt协议的文件传输方法，传输安全性都依赖于mqtt代理校验，本专利提供了一种通过数据中心注册下发有时效证书，传输过程对连接加密的方式保证传输安全性；此外现有的数据传输方式不支持传输数据的高速存储持久化和
传输链路资源容量动态弹扩，本专利采用的路由分发策略在保障吞吐和延迟的前提下支持传输节点的动态扩容，并以高容错的方式对传输数据进行持久化，传输数据的即时消费，延迟消费，后续的统计分析得以实现。
专利文献为201910934743.9的发明专利公开了一种基于MQTT协议的文件传输方法，利用MQTT协议，提高了文件传输的可靠性及效率，采用队列先进先出和单线程处理相结合的方式，保证了多个文件同时传输时，接收端接收多个文件时不会出现文件片段穿插的问题，保证了多个文件传输的完整性和独立性。
专利文献为201910885870.4的发明专利公开了一种MQTT安全传输数据的方法，本发明SDP网关通过标识信息验证MQTT发布设备发布数据是否安全，可以有效地安全的传输数据，SDP控制器和SDP可接受连接的主机(AH)拒绝无效数据包，避免MQTT订阅设备被攻击，可以减轻DDoS攻击。而且本发明不需要对MQTT订阅设备进行任何操作，就可以提高数据传输安全性和稳定性，实用性比较强。
上述方案中，基于MQTT协议的文件传输方法未实现集群化数据分发和路由，数据吞吐和和数据低延迟传输都无法满足，而基于MQTT安全传输数据的方法并未实现基于数据中心安全校验的方式对数据加密，数据一旦被中途截获，有加密泄露和被恶意插入脏数据的风险。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种工业智造物联网的大数据传输和持久化方法及系统。
根据本发明提供的一种工业智造物联网的大数据传输和持久化方法，包括如下步骤：
设备数据上传安全校验步骤：注册用户并加密上传数据；
数据传输路由分发步骤：发布所述上传数据并路由分发；
数据解析和持久化步骤：解析上传数据并进行数据持久化操作。
优选地，所述设备数据上传安全校验步骤包括：
数据传输许可证书获取步骤：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传步骤：根据所述数据传输许可证书对设备上报数据进行加密上传。
优选地，数据传输路由分发步骤包括：
数据上传发布步骤：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发步骤：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
优选地，所述数据解析和持久化步骤，包括：
数据解析步骤:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化步骤：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
优选地，所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
本发明提供了一种工业智造物联网的大数据传输和持久化系统，包括如下模块：
设备数据上传安全校验模块：注册用户并加密上传数据；
数据传输路由分发模块：发布所述上传数据并路由分发；
数据解析和持久化模块：解析上传数据并进行数据持久化操作。
优选地，所述设备数据上传安全校验模块包括：
数据传输许可证书获取模块：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传模块：根据所述数据传输许可证书对设备上报数据进行加密上传。
优选地，数据传输路由分发模块包括：
数据上传发布模块：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发模块：根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
优选地，所述数据解析和持久化模块，包括：
数据解析模块:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化模块：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
优选地，所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用数据安全中心注册和对数据连接加密的方式，解决了细分到传输设备和时间粒度的安全问题，使数据的传输安全性获得极大提升；
2、本发明通过采用加权轮询的路由分发规则，使系统可以平滑的负载均衡，解决了数据传输转发过程中负载不均,数据响应延迟的问题，获得更好的数据传输和数据吞吐；
3、本发明通过采用实时持久化和离线持久化相结合的方式，解决了数据持久化数据对齐难，数据链路不统一的问题，既保证了系统数据传输接收的高容错性，又为其他系统消费本系统信息提供了一致性的方案；
4、本发明通过动态配置中心的方式加载配置，解决了传统数据传输方式配置不灵活和变更消息处理逻辑笨重的问题，提供了一种灵活，轻便的消息处理配置方式。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的数据采集分发流程图；
图2为本发明提供的传输层数据转发接收流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1和图2所示，本发明提供了一种工业智造物联网的大数据传输和持久化方法及系统，实现了一种高吞吐低延迟，安全系数高，高容错性的消息传输和持久化系统，为大数据场景下实时数据采集和海量数据分析提供支持。本发明的系统包含实时数据采集网关，数据分流和汇集层，数据路由和分发层，数据解析和转换层。本发明提供的方法，数据格式灵活，传输速率快，安全系数高，容错能力好，且自身实现了动态变更消息处理方式功能。具体的，根据本发明提供的工业智造物联网的数据传输和持久化方法，包括设备数据上传安全校验步骤，数据传输路由分发步骤以及数据解析和持久化步骤，其中：账户安全校验步骤，包括如下步骤:
得到数据传输许可的证书，具体如下:
使用上传数据的设备号，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心将下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
根据上述的数据传输许可证书对设备上报数据进行加密上传,包括如下详细步骤：
设备数据对某一主题进行上传时，解析下发的传输许可证书获得传输账号和密码；
设备上传数据时，对传输连接加载账号和密码进行加密；
数据传输的接收层获取连接中的账号和密码，在数据安全中心进行账密和时效性校验，校验成功后数据传输连接被允许，否则连接请求被拒连；
所述数据上传路由步骤，包括如下步骤:
数据上传发布，具体如下:
数据上传连接允连后，传输数据通过通信协议封装序列化为信道占用小的字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发，具体如下：
根据全局分布式唯一generateId，数据批提交数batchNum，hash分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
系统的分布式状态管理模块动态维护后向接收数据节点的IP list；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
所述数据解析和持久化步骤，包括如下步骤：
数据解析步骤，具体如下：
系统持久化层接收的字节流数据反序列化为实体类；
请求动态配置中心是否有解析配置，无解析配置，则数据全部属性转换为json样式的字符串，若有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化步骤，具体如下：
判断实时持久化服务可达性，可达，调用实时持久化服务；
所述实时持久化服务步骤，具体如下；
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，发送成功，发送下一条数据，发送失败，根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
实时持久化服务不可达，调用离线持久化服务
对发送数据进行异步flush到磁盘，异步flush规则，根据持久化服务接收消息时间构建flush落盘路径；
Flush过程，异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容
离线持久化日志入库：数据抽取服务监听离线持久化服务生成的文件，增量读取，发送文件中消息内容到发送主题，最终通过实时持久化相同链路进行数据入库。
本发明还提供一种本发明提供了一种工业智造物联网的大数据传输和持久化系统，包括如下模块：
设备数据上传安全校验模块：注册用户并加密上传数据；
数据传输路由分发模块：发布所述上传数据并路由分发；
数据解析和持久化模块：解析上传数据并进行数据持久化操作。
进一步地，所述设备数据上传安全校验模块包括：
数据传输许可证书获取模块：使用上传数据的设备，有效数据传输的起止时间在数据安全中心注册账号，成功注册后，数据安全中心下发有时效的数据传输许可证书，将传输许可证书烧录在设备上；
加密上传模块：根据所述数据传输许可证书对设备上报数据进行加密上传。
进一步地，数据传输路由分发模块包括：
数据上传发布模块：数据上传连接允连后，传输数据通过通信协议封装序列化为字节流，通过分布式协调系统生成全局唯一ID；
数据路由分发模块：根据全局分布式唯一generateId(基于分布式uuid算法生成的全局唯一id，id生成过程将依赖设备，服务器节点，当前的数据摄入时间戳。若还有重复可能，还可引入事件时间戳和处理时间戳)，数据批提交数batchNum(数据批次提交的某一批次的总数据条数，设定后，提交操作为异步缓冲提交，将构建一个数据缓冲池，单次提交数据不会被直接提交，而是会启动另外一个异步线程收集至缓冲池，待缓冲池被集满后，整体提交，本质上是一个生产者消费者模式，目的在于避免同步阻塞和提升数据吞吐能力)，hash(此处的hash规则为batchNum对后向节点即后一层数据接收节点数取余，例如后向节点数为8，batchNum为18，则编号1、9、17对应数据发向节点1，2、10、18数据发向节点2...)
分片将数据添加至提交缓冲池，缓冲池集满后触发提交；
分布式状态管理模块动态维护后接收数据节点的IP列表；
根据动态配置的平滑加权轮询规则对上传数据进行路由分发。
进一步地，所述数据解析和持久化模块，包括：
数据解析模块:系统持久化层接收的字节流数据反序列化为实体类；
判断请求动态配置中心是否有解析配置，若判断无解析配置，则数据全部属性转换为json样式的字符串；若判断有解析配置，获取配置提取特定属性转换为json样式的字符串；
数据持久化模块：判断实时持久化服务是否可达，若判断结果为实时持久化服务可达，则调用实时持久化服务；若判断结果为实时持久化服务不可达，则调用离线持久化服务。
进一步地，所述实时持久化服务包括：
获取持久化数据节点信息和元数据信息；
根据持久化元数据信息构建实时数据异步发送端；
实时数据异步发送端发送字符串数据，发送数据，并判断数据是否发送成功，若判断结果为数据发送成功，则发送下一条数据；若判断结果为数据发送失败，则根据动态配置重试次数进行重试发送，重试发送次数耗尽，调用callback回调函数，回调函数失败逻辑获取发送异常并对本次发送数据异步flush到磁盘；
数据实时持久化后进行数据入库；
离线持久化服务包括：
对发送数据进行异步flush到磁盘，根据持久化服务接收消息时间构建flush落盘路径；
异步滚动路径存储接收数据为日志文件，文件内容包含接收消息的发送主题和接收消息自身内容。
本发明通过采用数据安全中心注册和对数据连接加密的方式，解决了细分到传输设备和时间粒度的安全问题，使数据的传输安全性获得极大提升；通过采用加权轮询的路由分发规则，使系统可以平滑的负载均衡，解决了数据传输转发过程中负载不均,数据响应延迟的问题，获得更好的数据传输和数据吞吐；通过采用实时持久化和离线持久化相结合的方式，解决了数据持久化数据对齐难，数据链路不统一的问题，既保证了系统数据传输接收的高容错性，又为其他系统消费本系统信息提供了一致性的方案；通过动态配置中心的方式加载配置，解决了传统数据传输方式配置不灵活和变更消息处理逻辑笨重的问题，提供了一种灵活，轻便的消息处理配置方式。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
