欢迎光临小豌豆知识网!
当前位置:首页 > 电学技术 > 电通讯技术> 基于大数据和物联网通信的数据处理方法及云计算平台独创技术57843字

基于大数据和物联网通信的数据处理方法及云计算平台

2021-03-07 02:39:44

基于大数据和物联网通信的数据处理方法及云计算平台

  技术领域

  本申请涉及大数据和物联网通信技术领域,具体而言,涉及一种基于大数据和物联网通信的数据处理方法及云计算平台。

  背景技术

  目前,在通信服务终端的通信过程中,不可避免地会受到外部的不明访问,现有技术通常会通过历史大数据分析来确定可能存在威胁行为的威胁态势识别结果,从而基于威胁态势识别结果有效确定出后续的威胁态势拦截指标,以便于提高通信过程中的安全性。然而,在后续进行威胁态势拦截的过程中,考虑到外部物联网通信设备通常在预先安全认证时会建立与通信服务中的白名单认证,因此有必要提供一种针对此类物联网通信设备的过滤配置方案,从而避免外部白名单认证的物联网通信设备存在通信访问被误拦截的情况。

  发明内容

  有鉴于此,本申请的目的在于提供一种基于大数据和物联网通信的数据处理方法及云计算平台,能够针对白名单认证的物联网通信设备提供一种有效的过滤配置方案,从而避免外部白名单认证的物联网通信设备存在通信访问被误拦截的情况。

  根据本申请的第一方面,提供一种基于大数据和物联网通信的数据处理方法,应用于与多个通信服务终端通信连接的云计算平台,所述方法包括:

  获取所述多个通信服务终端对应的带有威胁态势拦截指标的目标异域数据,并根据所述带有威胁态势拦截指标的目标异域数据对每个通信服务终端进行通信行为过滤配置,获取每个通信服务终端的过滤配置数据,所述通信服务终端位于目标分布式网络内的不同通信节点,所述过滤配置数据包括通信服务终端的调用协议过滤配置信息和访问节点过滤配置信息;

  获取与每个通信节点进行白名单通信的物联网通信设备上传的物联网配置信息,所述物联网配置信息包括访问协议配置信息和访问节点配置信息;

  针对每个通信节点,对该通信节点的物联网配置信息进行解析得到解析信息,基于所述解析信息确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息;

  根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端的过滤配置数据,对该通信节点内的通信服务终端的访问协议过滤状态进行配置,并根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端的访问节点过滤状态进行配置。

  在第一方面的一种可能的实现方式中,所述对该通信节点的物联网配置信息进行解析得到解析信息,包括:

  若所述物联网配置信息为访问节点配置信息,将所述访问节点配置信息转换为结构化配置信息;

  将所述结构化配置信息进行分段并得到所述结构化配置信息中的结构化元素,采用自然语言处理算法对所述结构化元素进行识别,得到所述结构化配置信息对应的访问节点分布信息;

  根据所述访问节点分布信息得到所述解析信息。

  在第一方面的一种可能的实现方式中,所述对该通信节点的物联网配置信息进行解析得到解析信息,包括:

  若该通信节点的物联网配置信息是访问协议配置信息,确定所述访问协议配置信息对应的物联网通信设备的访问协议重定向序列,所述访问协议重定向序列用于表征所述访问协议配置信息对应的物联网通信设备的访问协议重定向策略;

  根据所述访问协议重定向序列确定所述访问协议配置信息对应的物联网通信设备的访问协议聚类信息并根据所述访问协议聚类信息对所述访问协议配置信息进行更新分类得到目标访问协议配置信息;

  将所述目标访问协议配置信息进行协议功能层级划分,得到所述目标访问协议配置信息对应的多个协议功能层级,将各个协议功能层级的协议特征分量列出,建立协议特征分量分布图谱,所述协议特征分量分布图谱中包括多个图谱单元,每个图谱单元对应一个协议特征分量,每两个图谱单元之间的匹配度表征该两个图谱单元对应的协议特征分量之间的相似度;

  根据所述协议特征分量分布图谱中每两个图谱单元之间的匹配度对所述协议特征分量分布图谱中的所有图谱单元进行聚类得到至少多个目标图谱分组,根据每个目标图谱分组中的每个图谱单元对应的协议特征分量的向量值,确定每个目标图谱分组的分组标签,从所述分组标签中确定出与预设标识对应的当前分组;

  根据所述当前分组中的每个图谱单元对应的协议特征分量中的目标向量值确定所述目标访问协议配置信息对应的访问协议分布信息,根据所述访问协议分布信息确定所述解析信息,所述目标向量值在协议特征分量中用于表征每个协议功能层级中的访问协议分布信息。

  在第一方面的一种可能的实现方式中,所述基于所述解析信息确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息,包括:

  根据所述解析信息中的第一解析信息确定该通信节点的访问协议分布信息,所述第一解析信息为该通信节点的访问协议配置信息对应的解析信息;

  根据所述解析信息中的第二解析信息确定该通信节点的访问节点分布信息,所述第二解析信息为该通信节点的访问节点配置信息对应的解析信息。

  在第一方面的一种可能的实现方式中,所述根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端的过滤配置数据,对该通信节点内的通信服务终端的访问协议过滤状态进行配置,包括:

  从该通信节点的访问协议分布信息所映射的访问协议预设元素序列中获取该通信节点内的通信服务终端的过滤配置数据匹配的协议元素调用信息以及与所述协议元素调用信息关联的协议调用节点信息和过往调动节点信息,所述过往调动节点信息中包括至少一个过往调动进程的调动节点信息;

  将所述协议调用节点信息和所述过往调动节点信息输入机器学习模型,通过所述机器学习模型对所述协议调用节点信息进行协议调度特征提取,得到第一协议调度特征向量,并对各所述过往调动节点信息进行协议调度特征提取,得到第二协议调度特征向量;

  对所述第一协议调度特征向量中的各向量进行融合处理,得到用于表示所述协议调用节点信息的闲时挂载行为的第一闲时挂载行为向量,并对所述第二协议调度特征向量中的各向量进行融合处理,得到用于表示所述过往调动节点信息闲时挂载行为的第二闲时挂载行为向量;

  计算所述第一闲时挂载行为向量与各所述第二闲时挂载行为向量之间的共同向量分段,将计算所得的共同向量分段作为所述协议调用节点信息和所述过往调动节点信息的共同向量分段;

  将计算所得的共同向量分段确定为对应协议调用节点信息依赖所述过往调动节点信息时对应的依赖度;所述依赖度用于衡量所述协议调用节点信息关联于所述过往调动节点信息的程度;

  基于所述第一协议调度特征向量和所述协议元素调用信息的第三协议调度特征向量,确定所述协议调用节点信息对所述协议元素调用信息的可过滤元素信息,并对所述可过滤元素信息和所述依赖度进行操作,得到所述协议元素调用信息针对所述协议调用节点信息的可过滤元素配置信息和所述过往调动节点信息在所述协议元素调用信息的可过滤元素单元;

  根据所述可过滤元素配置信息和所述依赖度达到依赖条件所对应的可过滤元素单元,在所述可过滤元素配置信息中确定所述可过滤元素单元对应的过滤特征信息,并根据提取的过滤特征信息对该通信节点内的通信服务终端与所述过滤特征信息匹配的访问协议的访问协议过滤状态进行配置。

  在第一方面的一种可能的实现方式中,所述根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端的访问节点过滤状态进行配置,包括:

  根据该通信节点的访问节点分布信息,确定该通信节点内的通信服务终端在设定时段的访问节点调度状态;

  根据所述通信服务终端在所述设定时段的所述访问节点调度状态,将所述通信服务终端在所述设定时段处于调度未激活状态且与所述过滤配置数据匹配的访问节点的受访问状态进行过滤配置。

  在第一方面的一种可能的实现方式中,在根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端的访问节点过滤状态进行配置之后,所述方法还包括:

  根据每个通信节点内的通信服务终端的访问节点过滤状态和访问协议过滤状态对该通信服务终端接收到的访问请求进行处理。

  在第一方面的一种可能的实现方式中,所述获取所述多个通信服务终端对应的带有威胁态势拦截指标的目标异域数据的步骤,包括:

  对预设时间段内获取到通信服务终端的通信通道的传输控制大数据信息进行分段解析处理,得到所述传输控制大数据信息的协议控制分段解析内容;

  按照预设传输控制元素列表对所述协议控制分段解析内容进行元素匹配,得到异域匹配元素序列;

  使用第一人工智能模型与第二人工智能模型分别对异域匹配元素序列中的每个异域匹配元素进行威胁态势识别,得到所述异域匹配元素序列的威胁态势识别结果,所述第一人工智能模型为根据所述每个异域匹配元素的流特征属性预测异常时间片的模型,所述第二人工智能模型为根据所述每个异域匹配元素的流特征属性预测异常数据片的模型;

  基于所述威胁态势识别结果,对所述异域匹配元素序列中对应的每个异域匹配元素进行粒度异常检测,得到带有威胁态势拦截指标的目标异域数据。

  在第一方面的一种可能的实现方式中,所述对预设时间段内获取到通信服务终端的通信通道的传输控制大数据信息进行分段解析处理,得到所述传输控制大数据信息的协议控制分段解析内容的步骤,包括:

  根据预设分段解析逻辑,依序确定所述传输控制大数据信息中各通信通道传输控制节点分别对应的目标传输控制进程记录信息序列;其中,通信通道传输控制节点为根据预设分段解析逻辑中对应的逻辑匹配关键节点,将所述传输控制大数据信息分割后得到的通信通道传输控制节点;

  分别对目标传输控制进程记录信息序列中的每个第一传输控制进程记录信息执行第一目标操作: 将第一传输控制进程记录信息输入预先训练的第三人工智能模型,输出第一传输控制进程记录信息的协议调用对象,将每个第一传输控制进程片段中的每个解析内容元素对应的传输协议参数归一化为传输协议参考数据,其中,第一传输控制进程片段为第一传输控制进程记录信息中的传输控制进程片段;基于传输协议参考数据,利用时间窗口网络流特征确定规则,确定第一传输控制进程记录信息的时间窗口网络流特征,然后确定相邻两个第一传输控制进程片段之间的传输协议更新参数,并将传输协议更新参数归一化为传输协议更新参考数据;基于传输协议更新参考数据,利用概要数据结构确定规则,确定第一传输控制进程记录信息的概要数据结构;利用协议调用对象、时间窗口网络流特征以及概要数据结构,确定第一传输控制进程记录信息的第一协议控制分段数据,将每个第一协议控制分段数据作为第一协议控制分段数据序列;

  对各第一协议控制分段数据序列执行第二目标操作:将所述第一协议控制分段数据序列中的第一协议控制分段数据依据时间窗口顺序进行排序,确定前预设数目个第一协议控制分段数据对应的各第一传输控制进程记录信息,并将各第一传输控制进程记录信息作为选定目标传输控制进程记录信息序列,然后对各选定第一传输控制进程记录信息组合执行如下操作:利用遗传模糊逻辑树算法确定相邻两个第二传输控制进程片段之间的传输信道差异,并将传输信道差异归一化为传输信道更新数据,所述传输信道更新数据与选定第一传输控制进程记录信息组合相对应,其中,在相邻两个第二传输控制进程片段中,前一个第二传输控制进程片段为在选定第一传输控制进程记录信息组合中,前一个选定第一传输控制进程记录信息的最后一帧传输控制进程片段,后一个第二传输控制进程片段为在选定第一传输控制进程记录信息组合中,后一个选定第一传输控制进程记录信息的第一帧传输控制进程片段,其中,所述选定第一传输控制进程记录信息组合中的两个选定传输控制进程记录信息,分别属于相邻两个通信通道传输控制节点对应的两个选定目标传输控制进程记录信息序列,第二传输控制进程记录信息包括传输信道; 对各相邻两个通信通道传输控制节点对应的传输信道更新数据执行如下操作: 遍历相邻两个通信通道传输控制节点对应的传输信道更新数据,确定目标传输信道更新数据对应的选定第一传输控制进程记录信息组合; 根据各选定第一传输控制进程记录信息组合,确定用于综合分析的各第一传输控制进程记录信息段,其中,每相邻两个第一传输控制进程记录信息分别属于相邻两个通信通道传输控制节点对应的目标传输控制进程记录信息序列,将各相邻的第一传输控制进程记录信息中的内容进行顺次拼接,得到所述传输控制大数据信息的协议控制分段解析内容。

  根据本申请的第二方面,提供一种基于大数据和物联网通信的数据处理装置,应用于与通信服务终端通信连接的云计算平台,所述装置包括:

  第一获取模块,用于获取所述多个通信服务终端对应的带有威胁态势拦截指标的目标异域数据,并根据所述带有威胁态势拦截指标的目标异域数据对每个通信服务终端进行通信行为过滤配置,获取每个通信服务终端的过滤配置数据,所述通信服务终端位于目标分布式网络内的不同通信节点,所述过滤配置数据包括通信服务终端的调用协议过滤配置信息和访问节点过滤配置信息;

  第二获取模块,用于获取与每个通信节点进行白名单通信的物联网通信设备上传的物联网配置信息,所述物联网配置信息包括访问协议配置信息和访问节点配置信息;

  解析模块,用于针对每个通信节点,对该通信节点的物联网配置信息进行解析得到解析信息,基于所述解析信息确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息;

  过滤配置模块,用于根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端的过滤配置数据,对该通信节点内的通信服务终端的访问协议过滤状态进行配置,并根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端的访问节点过滤状态进行配置。

  第三方面,本发明实施例还提供一种基于大数据和物联网通信的数据处理系统,所述基于大数据和物联网通信的数据处理系统包括云计算平台以及与所述云计算平台通信连接的通信服务终端;

  所述云计算平台用于获取所述多个通信服务终端对应的带有威胁态势拦截指标的目标异域数据,并根据所述带有威胁态势拦截指标的目标异域数据对每个通信服务终端进行通信行为过滤配置,获取每个通信服务终端的过滤配置数据,所述通信服务终端位于目标分布式网络内的不同通信节点,所述过滤配置数据包括通信服务终端的调用协议过滤配置信息和访问节点过滤配置信息;

  所述云计算平台用于获取与每个通信节点进行白名单通信的物联网通信设备上传的物联网配置信息,所述物联网配置信息包括访问协议配置信息和访问节点配置信息;

  所述云计算平台用于针对每个通信节点,对该通信节点的物联网配置信息进行解析得到解析信息,基于所述解析信息确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息;

  所述云计算平台用于根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端的过滤配置数据,对该通信节点内的通信服务终端的访问协议过滤状态进行配置,并根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端的访问节点过滤状态进行配置。

  第四方面,本发明实施例还提供一种云计算平台,所述云计算平台包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个通信服务终端通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的实现方式中的基于大数据和物联网通信的数据处理方法。

  第五方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其被执行时,使得计算机执行上述第一方面或者第一方面中任意一个可能的实现方式中的基于大数据和物联网通信的数据处理方法。

  基于上述任一方面,本申请通过获取与每个通信节点进行白名单通信的物联网通信设备上传的物联网配置信息,并且对通信节点的物联网配置信息进行解析得到解析信息后确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息,从而根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端的过滤配置数据,对该通信节点内的通信服务终端的访问协议过滤状态进行配置,并同步根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端的访问节点过滤状态进行配置。如此,能够针对白名单认证的物联网通信设备提供一种有效的过滤配置方案,从而避免外部白名单认证的物联网通信设备存在通信访问被误拦截的情况。

  附图说明

  为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

  图1示出了本申请实施例所提供的基于大数据和物联网通信的数据处理系统的应用场景示意图;

  图2示出了本申请实施例所提供的基于大数据和物联网通信的数据处理方法的流程示意图;

  图3示出了本申请实施例所提供的基于大数据和物联网通信的数据处理装置的功能模块示意图;

  图4示出了本申请实施例所提供的用于执行上述的基于大数据和物联网通信的数据处理方法的云计算平台的组件结构示意图。

  具体实施方式

  为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。

  应当理解,本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。

  如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。

  本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。

  图1是本发明一种实施例提供的基于大数据和物联网通信的数据处理系统10的交互示意图。基于大数据和物联网通信的数据处理系统10可以包括云计算平台100以及与云计算平台100通信连接的通信服务终端200。图1所示的基于大数据和物联网通信的数据处理系统10仅为一种可行的示例,在其它可行的实施例中,该基于大数据和物联网通信的数据处理系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

  本实施例中,基于大数据和物联网通信的数据处理系统10中的云计算平台100和通信服务终端200可以通过配合执行以下方法实施例所描述的基于大数据和物联网通信的数据处理方法,具体云计算平台100和通信服务终端200的执行步骤部分可以参照以下方法实施例的详细描述。

  为了解决前述背景技术中的技术问题,图2为本发明实施例提供的基于大数据和物联网通信的数据处理方法的流程示意图,本实施例提供的基于大数据和物联网通信的数据处理方法可以由图1中所示的云计算平台100执行,下面对该基于大数据和物联网通信的数据处理方法进行详细介绍。

  步骤S110,获取多个通信服务终端200对应的带有威胁态势拦截指标的目标异域数据,并根据带有威胁态势拦截指标的目标异域数据对每个通信服务终端200进行通信行为过滤配置,获取每个通信服务终端200的过滤配置数据。

  步骤S120,获取与每个通信节点进行白名单通信的物联网通信设备上传的物联网配置信息,物联网配置信息包括访问协议配置信息和访问节点配置信息。

  步骤S130,针对每个通信节点,对该通信节点的物联网配置信息进行解析得到解析信息,基于解析信息确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息。

  步骤S140,根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端200的过滤配置数据,对该通信节点内的通信服务终端200的访问协议过滤状态进行配置,并根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端200的访问节点过滤状态进行配置。

  本实施例中,通信服务终端200位于目标分布式网络内的不同通信节点,每个通信节点可以预先对应配置一种分布式网络服务类型,例如视频服务类型,电商服务类型等等,但不限于此。

  本实施例中,过滤配置数据具体可以包括通信服务终端200的调用协议过滤配置信息和访问节点过滤配置信息。例如,在获取多个通信服务终端200对应的带有威胁态势拦截指标的目标异域数据之后,可以从带有威胁态势拦截指标的目标异域数据中获得匹配威胁态势拦截指标的调用协议拦截指标和访问节点拦截指标,并据此对每个通信服务终端200进行通信行为过滤配置。

  本实施例中,对于每个物联网通信设备而言,可以预先与每个通信节点建立白名单通信,具体建立白名单通信的方式可以是通过上传一系列身份合法认证信息后建立,并且可以实时或者每隔预设时间段上传其对应的物联网配置信息,物联网配置信息具体可以包括访问协议配置信息和访问节点配置信息。例如,物联网配置信息具体可以包括其自身的设备允许的访问协议配置信息和访问节点配置信息,或者通过软件扩展的访问协议配置信息和访问节点配置信息,但不限于此。

  基于上述步骤,本实施例通过获取与每个通信节点进行白名单通信的物联网通信设备上传的物联网配置信息,并且对通信节点的物联网配置信息进行解析得到解析信息后确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息,从而根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端的过滤配置数据,对该通信节点内的通信服务终端的访问协议过滤状态进行配置,并同步根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端的访问节点过滤状态进行配置。如此,能够避免外部白名单认证的物联网通信设备存在通信访问被误拦截的情况。

  在一种可能的实现方式中,对于步骤S130而言,在对该通信节点的物联网配置信息进行解析得到解析信息的过程中,可以通过以下示例性的子步骤来实现,详细描述如下。

  子步骤S131,若物联网配置信息为访问节点配置信息,将访问节点配置信息转换为结构化配置信息。

  子步骤S132,将结构化配置信息进行分段并得到结构化配置信息中的结构化元素,采用自然语言处理算法对结构化元素进行识别,得到结构化配置信息对应的访问节点分布信息。

  子步骤S133,根据访问节点分布信息得到解析信息。

  在另一种可能的实现方式中,对于步骤S130而言,在对该通信节点的物联网配置信息进行解析得到解析信息的过程中,还可以通过以下示例性的子步骤来实现,详细描述如下。

  子步骤S134,若该通信节点的物联网配置信息是访问协议配置信息,确定访问协议配置信息对应的物联网通信设备的访问协议重定向序列,访问协议重定向序列用于表征访问协议配置信息对应的物联网通信设备的访问协议重定向策略。

  子步骤S135,根据访问协议重定向序列确定访问协议配置信息对应的物联网通信设备的访问协议聚类信息并根据访问协议聚类信息对访问协议配置信息进行更新分类得到目标访问协议配置信息。

  子步骤S136,将目标访问协议配置信息进行协议功能层级划分,得到目标访问协议配置信息对应的多个协议功能层级,将各个协议功能层级的协议特征分量列出,建立协议特征分量分布图谱,协议特征分量分布图谱中包括多个图谱单元,每个图谱单元对应一个协议特征分量,每两个图谱单元之间的匹配度表征该两个图谱单元对应的协议特征分量之间的相似度。

  子步骤S137,根据协议特征分量分布图谱中每两个图谱单元之间的匹配度对协议特征分量分布图谱中的所有图谱单元进行聚类得到至少多个目标图谱分组,根据每个目标图谱分组中的每个图谱单元对应的协议特征分量的向量值,确定每个目标图谱分组的分组标签,从分组标签中确定出与预设标识对应的当前分组。

  子步骤S138,根据当前分组中的每个图谱单元对应的协议特征分量中的目标向量值确定目标访问协议配置信息对应的访问协议分布信息,根据访问协议分布信息确定解析信息,目标向量值在协议特征分量中用于表征每个协议功能层级中的访问协议分布信息。

  在一种可能的实现方式中,仍旧针对步骤S130,在基于解析信息确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息的过程中,具体可以通过以下示例性的子步骤来实现,详细描述如下。

  子步骤S1391,根据解析信息中的第一解析信息确定该通信节点的访问协议分布信息,第一解析信息为该通信节点的访问协议配置信息对应的解析信息。

  子步骤S1392,根据解析信息中的第二解析信息确定该通信节点的访问节点分布信息,第二解析信息为该通信节点的访问节点配置信息对应的解析信息。

  在一种可能的实现方式中,针对步骤S140,在根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端200的过滤配置数据,对该通信节点内的通信服务终端200的访问协议过滤状态进行配置的过程中,具体可以通过以下示例性的子步骤来实现,详细描述如下。

  子步骤S141,从该通信节点的访问协议分布信息所映射的访问协议预设元素序列中获取该通信节点内的通信服务终端200的过滤配置数据匹配的协议元素调用信息以及与协议元素调用信息关联的协议调用节点信息和过往调动节点信息,过往调动节点信息中包括至少一个过往调动进程的调动节点信息。

  子步骤S142,将协议调用节点信息和过往调动节点信息输入机器学习模型,通过机器学习模型对协议调用节点信息进行协议调度特征提取,得到第一协议调度特征向量,并对各过往调动节点信息进行协议调度特征提取,得到第二协议调度特征向量。

  子步骤S143,对第一协议调度特征向量中的各向量进行融合处理,得到用于表示协议调用节点信息的闲时挂载行为的第一闲时挂载行为向量,并对第二协议调度特征向量中的各向量进行融合处理,得到用于表示过往调动节点信息闲时挂载行为的第二闲时挂载行为向量。

  子步骤S144,计算第一闲时挂载行为向量与各第二闲时挂载行为向量之间的共同向量分段,将计算所得的共同向量分段作为协议调用节点信息和过往调动节点信息的共同向量分段。

  子步骤S145,将计算所得的共同向量分段确定为对应协议调用节点信息依赖过往调动节点信息时对应的依赖度。依赖度用于衡量协议调用节点信息关联于过往调动节点信息的程度。

  子步骤S146,基于第一协议调度特征向量和协议元素调用信息的第三协议调度特征向量,确定协议调用节点信息对协议元素调用信息的可过滤元素信息,并对可过滤元素信息和依赖度进行操作,得到协议元素调用信息针对协议调用节点信息的可过滤元素配置信息和过往调动节点信息在协议元素调用信息的可过滤元素单元。

  子步骤S147,根据可过滤元素配置信息和依赖度达到依赖条件所对应的可过滤元素单元,在可过滤元素配置信息中确定可过滤元素单元对应的过滤特征信息,并根据提取的过滤特征信息对该通信节点内的通信服务终端200与过滤特征信息匹配的访问协议的访问协议过滤状态进行配置。

  在一种可能的实现方式中,仍旧针对步骤S140,在根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端200的访问节点过滤状态进行配置的过程中,具体可以通过以下示例性的子步骤来实现,详细描述如下。

  子步骤S148,根据该通信节点的访问节点分布信息,确定该通信节点内的通信服务终端200在设定时段的访问节点调度状态。

  子步骤S149,根据通信服务终端200在设定时段的访问节点调度状态,将通信服务终端200在设定时段处于调度未激活状态且与过滤配置数据匹配的访问节点的受访问状态进行过滤配置。

  由此,在上述描述的基础上,可以根据每个通信节点内的通信服务终端200的访问节点过滤状态和访问协议过滤状态对该通信服务终端200接收到的访问请求进行处理。例如,当该通信服务终端200接收到的访问请求对应的访问节点和访问协议中的其中至少一种处于过滤状态时,则拦截该通信服务终端200接收到的访问请求,否则放行。

  在一种可能的实现方式中,针对步骤S110,在获取多个通信服务终端200对应的带有威胁态势拦截指标的目标异域数据的过程中,可以通过多种示例性的实施方式来实现,譬如,可以通过以下示例性的子步骤来实现,详细描述如下。

  步骤S111,对预设时间段内获取到通信服务终端200的通信通道的传输控制大数据信息进行分段解析处理,得到传输控制大数据信息的协议控制分段解析内容。

  步骤S112,按照预设传输控制元素列表对协议控制分段解析内容进行元素匹配,得到异域匹配元素序列。

  步骤S113,使用第一人工智能模型与第二人工智能模型分别对异域匹配元素序列中的每个异域匹配元素进行威胁态势识别,得到异域匹配元素序列的威胁态势识别结果。

  步骤S114,基于威胁态势识别结果,对异域匹配元素序列中对应的每个异域匹配元素进行粒度异常检测,得到带有威胁态势拦截指标的目标异域数据。

  本实施例中,第一人工智能模型为根据每个异域匹配元素的流特征属性预测异常时间片的模型,第二人工智能模型为根据每个异域匹配元素的流特征属性预测异常数据片的模型。作为一种可能的示例,第一人工智能模型第二人工智能模型可以包括支持向量机(Support Vector Machine,SVM),支持向量机是一类按监督学习方式对异域匹配元素序列中的每个异域匹配元素的数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面。例如,SVM通常使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险,是一个具有稀疏性和稳健性的分类器 ,此外还可以通过核方法进行非线性分类,从而获得以上异域匹配元素序列的威胁态势识别结果。关于第一人工智能模型第二人工智能模型的具体训练过程中将在后文中进行详细阐述。

  本实施例中,通信服务终端200的通信通道的传输控制大数据信息可以理解为通信服务终端200在每次发起通信请求时所使用的通信通道的通信过程中产生的传输控制过程的传输控制记录信息。

  基于上述步骤,本实施例分别通过异常时间片和异常数据片的识别模型,可以分别对异常时间片和异常数据片的异域特征进行分析和识别,综合考虑到时间特征和数据特征,而非单一的特征,从而可以得到更为精确的威胁态势识别结果,进一步的,对得到的包含异常时间片和异常数据片的威胁态势识别结果进行粒度异常检测,得到带有威胁态势拦截指标的目标异域数据,进一步提高了基于对异常时间片和异常数据片的威胁潜在信息的识别精度,有效确定出后续的威胁态势拦截指标,以便于提高通信过程中的安全性。

  譬如,对于步骤S111而言,可以通过以下示例性的子步骤来实现,详细描述如下。

  子步骤S1111,根据预设分段解析逻辑,依序确定传输控制大数据信息中各通信通道传输控制节点分别对应的目标传输控制进程记录信息序列。其中,通信通道传输控制节点为根据预设分段解析逻辑中对应的逻辑匹配关键节点,将传输控制大数据信息分割后得到的通信通道传输控制节点。

  子步骤S1112,分别对目标传输控制进程记录信息序列中的每个第一传输控制进程记录信息执行第一目标操作,得到第一协议控制分段数据序列:

  详细地,首先可以将第一传输控制进程记录信息输入预先训练的第三人工智能模型,输出第一传输控制进程记录信息的协议调用对象,将每个第一传输控制进程片段中的每个解析内容元素对应的传输协议参数归一化为传输协议参考数据,其中,第一传输控制进程片段为第一传输控制进程记录信息中的传输控制进程片段。接着基于传输协议参考数据,利用时间窗口网络流特征确定规则,确定第一传输控制进程记录信息的时间窗口网络流特征,然后确定相邻两个第一传输控制进程片段之间的传输协议更新参数,并将传输协议更新参数归一化为传输协议更新参考数据。并且,可以基于传输协议更新参考数据,利用概要数据结构确定规则,确定第一传输控制进程记录信息的概要数据结构。在此基础上,利用协议调用对象、时间窗口网络流特征以及概要数据结构,确定第一传输控制进程记录信息的第一协议控制分段数据,将每个第一协议控制分段数据作为第一协议控制分段数据序列。

  子步骤S1113,对各第一协议控制分段数据序列执行第二目标操作,得到传输控制大数据信息的协议控制分段解析内容:

  详细地,可以将第一协议控制分段数据序列中的第一协议控制分段数据依据时间窗口顺序进行排序,确定前预设数目个第一协议控制分段数据对应的各第一传输控制进程记录信息,并将各第一传输控制进程记录信息作为选定目标传输控制进程记录信息序列,然后对各选定第一传输控制进程记录信息组合执行如下操作:

  例如,可以利用遗传模糊逻辑树算法确定相邻两个第二传输控制进程片段之间的传输信道差异,并将传输信道差异归一化为传输信道更新数据,传输信道更新数据与选定第一传输控制进程记录信息组合相对应,其中,在相邻两个第二传输控制进程片段中,前一个第二传输控制进程片段为在选定第一传输控制进程记录信息组合中,前一个选定第一传输控制进程记录信息的最后一帧传输控制进程片段,后一个第二传输控制进程片段为在选定第一传输控制进程记录信息组合中,后一个选定第一传输控制进程记录信息的第一帧传输控制进程片段,其中,选定第一传输控制进程记录信息组合中的两个选定传输控制进程记录信息,分别属于相邻两个通信通道传输控制节点对应的两个选定目标传输控制进程记录信息序列,第二传输控制进程记录信息包括传输信道。

  进一步例如,可以对各相邻两个通信通道传输控制节点对应的传输信道更新数据执行如下操作: 遍历相邻两个通信通道传输控制节点对应的传输信道更新数据,确定目标传输信道更新数据对应的选定第一传输控制进程记录信息组合。接着,可以根据各选定第一传输控制进程记录信息组合,确定用于综合分析的各第一传输控制进程记录信息段,其中,每相邻两个第一传输控制进程记录信息分别属于相邻两个通信通道传输控制节点对应的目标传输控制进程记录信息序列,将各相邻的第一传输控制进程记录信息中的内容进行顺次拼接,得到传输控制大数据信息的协议控制分段解析内容。

  基于上述设计,本实施例通过根据预设分段解析逻辑,依序确定各通信通道传输控制节点分别对应的目标传输控制进程记录信息序列;通信通道传输控制节点为根据预设分段解析逻辑中对应的逻辑匹配关键节点,将预设分段解析逻辑分割后得到的通信通道传输控制节点;基于第一传输控制进程记录信息,确定各目标传输控制进程记录信息序列分别对应的第一协议控制分段数据序列,其中,第一传输控制进程记录信息包括至少两种传输控制进程记录信息;根据各第一协议控制分段数据序列,确定各第一传输控制进程记录信息,其中,每相邻两个第一传输控制进程记录信息分别属于相邻两个通信通道传输控制节点对应的目标传输控制进程记录信息序列;将各相邻的第一传输控制进程记录信息进行顺次拼接,得到传输控制大数据信息的协议控制分段解析内容,克服了由于每次使用单一传输控制进程记录信息进行处理,导致的协议控制分段解析内容的衔接效果差的问题。

  譬如,在一种可能的实现方式中,对于步骤S112而言,可以通过以下示例性的子步骤来实现,详细描述如下。

  子步骤S1121,按照预设传输控制元素列表将协议控制分段解析内容的解析内容元素映射到匹配矩阵空间,得到解析内容元素的矩阵节点区域,并将解析内容元素的矩阵节点区域映射到异域评估指标模型的模型节点,以形成异域评估指标模型的元素匹配窗口。

  子步骤S1122,从协议控制分段解析内容对应的协议源数据文件中提取协议控制分段解析内容对应的可疑网络威胁协议事件库,并解析协议控制分段解析内容对应的可疑网络威胁协议事件库,得到协议控制分段解析内容对应的可疑协议参数。

  子步骤S1123,基于所得到的可疑协议参数,确定协议控制分段解析内容的符合匹配条件的待匹配元素的匹配目标、以及待匹配元素对应的匹配检测规则,从而确定协议控制分段解析内容的符合匹配条件的待匹配元素、以及待匹配元素的元素数据载荷对应的元素数据载荷数据段。

  子步骤S1124,当符合匹配条件的待匹配元素的匹配目标,不同于当前待匹配元素的表示匹配目标时,转换待匹配元素的表示匹配目标,使其与符合匹配条件的待匹配元素的匹配目标一致。

  子步骤S1125,将待匹配元素、以及元素数据载荷数据段分别在异域评估指标模型的元素匹配窗口中进行映射,对应得到处于待匹配元素的窗口单元、以及处于元素数据载荷数据段的窗口单元。

  子步骤S1126,在待匹配元素中加载处于待匹配元素的窗口单元,并在元素数据载荷中加载处于元素数据载荷数据段的窗口单元,从而将加载的窗口单元对应的匹配元素汇总得到异域匹配元素序列。

  基于同一发明构思,请参阅图3,示出了本申请实施例提供的基于大数据和物联网通信的数据处理装置300的功能模块示意图,本实施例可以根据上述方法实施例对基于大数据和物联网通信的数据处理装置300进行功能模块的划分。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。比如,在采用对应各个功能划分各个功能模块的情况下,图3示出的基于大数据和物联网通信的数据处理装置300只是一种装置示意图。其中,基于大数据和物联网通信的数据处理装置300可以包括第一获取模块310、第二获取模块320、解析模块330以及过滤配置模块340,下面分别对该基于大数据和物联网通信的数据处理装置300的各个功能模块的功能进行详细阐述。

  第一获取模块310,用于获取多个通信服务终端200对应的带有威胁态势拦截指标的目标异域数据,并根据带有威胁态势拦截指标的目标异域数据对每个通信服务终端200进行通信行为过滤配置,获取每个通信服务终端200的过滤配置数据,通信服务终端200位于目标分布式网络内的不同通信节点,过滤配置数据包括通信服务终端200的调用协议过滤配置信息和访问节点过滤配置信息。可以理解,该第一获取模块310可以用于执行上述步骤S110,关于该第一获取模块310的详细实现方式可以参照上述对步骤S110有关的内容。

  第二获取模块320,用于获取与每个通信节点进行白名单通信的物联网通信设备上传的物联网配置信息,物联网配置信息包括访问协议配置信息和访问节点配置信息。可以理解,该第二获取模块320可以用于执行上述步骤S120,关于该第二获取模块320的详细实现方式可以参照上述对步骤S120有关的内容。

  解析模块330,用于针对每个通信节点,对该通信节点的物联网配置信息进行解析得到解析信息,基于解析信息确定该通信节点的访问协议分布信息以及该通信节点的访问节点分布信息。可以理解,该解析模块330可以用于执行上述步骤S130,关于该解析模块330的详细实现方式可以参照上述对步骤S130有关的内容。

  过滤配置模块340,用于根据该通信节点的访问协议分布信息以及该通信节点内的通信服务终端200的过滤配置数据,对该通信节点内的通信服务终端200的访问协议过滤状态进行配置,并根据该通信节点的访问节点分布信息,对该通信节点内的通信服务终端200的访问节点过滤状态进行配置。可以理解,该过滤配置模块340可以用于执行上述步骤S140,关于该过滤配置模块340的详细实现方式可以参照上述对步骤S140有关的内容。

  需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,第一获取模块310可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上第一获取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

  例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。

  图4示出了本发明实施例提供的用于实现上述的基于大数据和物联网通信的数据处理方法的云计算平台100的硬件结构示意图,如图4所示,云计算平台100可包括处理器110、机器可读存储介质120、总线130以及收发器140。

  在具体实现过程中,至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令(例如图3中所示的基于大数据和物联网通信的数据处理装置300包括的第一获取模块310、第二获取模块320、解析模块330以及过滤配置模块340),使得处理器110可以执行如上方法实施例的基于大数据和物联网通信的数据处理方法,其中,处理器110、机器可读存储介质120以及收发器140通过总线130连接,处理器110可以用于控制收发器140的收发动作,从而可以与前述的通信服务终端200进行数据收发。

  处理器110的具体实现过程可参见上述云计算平台100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。

  在上述的图4所示的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,DSP)、专用集成电路(英文:ApplicationSpecificIntegrated Circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

  机器可读存储介质120可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。

  总线130可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

  此外,本发明实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上基于大数据和物联网通信的数据处理方法。

  上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

  同时,本说明书使用了特定词语来描述本说明书的实施例。如“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

  此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。

  计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。

  本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或云计算平台上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。

  此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过互动业务实现,但是也可以只通过软件的解决方案得以实现,如在现有的云计算平台或移动设备上安装所描述的系统。

  同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

  需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。

  最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

《基于大数据和物联网通信的数据处理方法及云计算平台.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)