一种实现网络流量安全分析的硬件无关化方法及系统
技术领域
本申请涉及网络安全技术领域，尤其涉及一种实现网络流量安全分析的硬件无关化方法及系统。
背景技术
现有流量分析方法通常需要依托特定的硬件平台，网络流量越大，对硬件的要求越高，对部署的要求也越高。然而，现实场景中部署环境是多种多样的，提供的硬件设施也不一样，这给流量分析系统提出了新的要求。
未来的流量分析系统应该是可以广泛适用于各种硬件平台，用户可以忽略硬件，完全交给平台系统自己去适配。而平台系统则可以根据硬件平台当前的状态动态调整。
因此，急需一种针对性的实现网络流量安全分析的硬件无关化方法及系统。
发明内容
本发明的目的在于提供一种实现网络流量安全分析的硬件无关化方法及系统，解决现有流量分析受硬件平台限制，无法有效部署的问题，采用先物理聚类流量，在平台上部署若干个虚拟机执行流量安全分析进程，所述虚拟机可根据聚类流量的速度分布，动态部署专门的虚拟机处理指定的流量，同时在总线上布置硬件探针，可直接对流量报文进行初步关键词匹配，以及作为与其他第三方对接的接口，通过虚拟机对流量的深度检测发现异常点，再对异常点进行溯源，形态分析比较得到的攻击覆盖面和虚拟机分布，实现对防御策略的有效部署。
第一方面，本申请提供一种实现网络流量安全分析的硬件无关化方法，所述方法包括：
通过物理接口获取网络流量，在规定时间内分析网络流量速度，提取所述网络流量的标识信息，根据所述标识信息聚类获取的网络流量，结合网络流量的速度分布，得到不同标识信息聚类后的网络流量对应的速度分布；
在总线上布置若干个硬件探针，对输入的流量报文进行关键词提取和匹配，对包含指定关键词的流量报文，直接上报平台示警，记录当前异常点位置，所述硬件探针提供开放的REST服务接口、日志接口、API接口，跨过物理接口直接整合对接第三方态势感知大平台或者大数据平台；
在平台上布置若干个虚拟机，在虚拟机上运行流量安全分析进程，获取所述若干个虚拟机的工作状态和负载情况，对应将流量速度快的聚类网络流量分配给空闲的虚拟机，所述虚拟机通过内部接口与硬件探针连接，接收分配的聚类网络流量，执行深度包检测分析，提取流量中携带的协议特征，调用数据库保存的协议典型特征模型，分析流量所属网络协议类型，解析出流量中的应用数据，从相应字段中提取应用协议特征，再次调用数据库的协议典型特征模型，确定流量中携带有的应用协议类型；
其中，所述解析出流量中的应用数据包括：判断所述应用数据是否被加密或编码，所述判断包括深度分析数据片段是否符合预先设定的逻辑规律，若数据片段为杂乱随机，则初步认定所述数据片段被置乱或编码，若数据片段为具有某种规律分布，则初步认定所述数据片段为明文，进一步分析杂乱随机的数据片段，调用数据库中的保存的加密算法或随机处理方法，还原数据片段；
根据所述确定的应用协议类型和网络协议类型，确定流量中携带的会话，为所述会话赋予会话标识，进行会话分析，判断所述会话双方的身份是否合法，所述会话双方的可支持业务范围是否包括对方的业务，所述会话的时长是否超过预先设定的阈值，以及所述会话传输的数据包是否携带有敏感关键词或涉密文件，当判断所述会话出现异常时，所述虚拟机中断所述会话，通知平台异常点的位置；
所述虚拟机将所述会话分析后的流量送入第一机器学习模型，所述流量此时携带了相关的会话标识，检测是否包括第一攻击向量，当检测出所述第一攻击向量时，标记对应会话标识的会话为异常，针对会话双方进行源点传播溯源；
获取会话双方的用户关系链，所述用户关系链包括所属部门的同事关系、与公司外部的客户关系、亲戚好友关系、邮件收发关系，将每一种关系下每一个人作为一个子节点，扩展检测每一个子节点涉及的终端、邮箱、文件、即时通信，判断是否包括所述第一攻击向量，如果是，则标记该子节点为异常点；
获取会话双方的可支持业务范围，根据业务流程的前后关系、具体业务动作的经办人，得到业务关系链，将每一个经办人、经办人名下的终端、设备、文件、即时通信作为一个子节点，检测每一个子节点是否包括所述第一攻击向量，如果是，则标记该子节点为异常点；
确定所有异常点的位置，连接所有的异常点，形成完整的攻击覆盖面，对所述攻击覆盖面进行形态分析，根据攻击覆盖面的形态和所述若干个虚拟机的位置，调整所述虚拟机的工作权重，当有限几个虚拟机对应覆盖范围广的攻击覆盖面时，即某个范围内的单个虚拟机对应的覆盖密度小于阈值时，提高所述有限几个虚拟机的流量安全分析权重，减小指令交互的权重，赋予独立决断的权重；当有限几个虚拟机对应覆盖范围小的攻击覆盖面时，即某个范围内的单个虚拟机对应的覆盖密度大于阈值时，降低所述有限几个虚拟机的流量安全分析权重，决策需要上传平台决断。
结合第一方面，在第一方面第一种可能的实现方式中，平台根据虚拟机部署防御策略包括：完全隔离单个设备或用户、完全禁止单项业务、仅拒绝单个设备或用户开展指定的单项业务、仅拒绝单个设备或用户修改数据中的一种或若干种；
根据网络节点的负载情况自动部署防御策略，若异常攻击的源点负载小于预设的阈值，则直接在源点部署，否则，为源点选择负载小于阈值的邻近网络节点部署，切断源点向外传输的路径；
当所述邻近网络节点的负载上升大于阈值时，先判断源点负载是否还大于阈值，如果是，为源点切换到第二邻近网络节点部署策略，所述第二邻近网络节点是在源点潜在的传播路径上；
定期检测源点的负载情况，当负载稳定小于阈值时，则将部署切换回源点。
结合第一方面，在第一方面第二种可能的实现方式中，获取数据库的历史异常数据，模拟出指定类型的网络攻击流量，所述指定类型的网络攻击流量是指携带预先构造的第二攻击向量；
将模拟的所述网络攻击流量送入第一机器学习模型，此时的第一机器学习模块作为判别器，判别所述网络攻击流量与当前网络流量之间的相似度，当相似度数值随着当前网络流量的变化形成的流量曲线符合预设的图形时，则认定所述第一机器学习模型能够正确识别出所模拟的网络攻击，完成训练。
结合第一方面，在第一方面第三种可能的实现方式中，所述机器学习模型包括神经网络模型。
第二方面，本申请提供一种实现网络流量安全分析的硬件无关化系统，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的实现网络流量安全分析的硬件无关化方法。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的实现网络流量安全分析的硬件无关化方法。
第四方面，本申请提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行第一方面四种可能中任一项所述的实现网络流量安全分析的硬件无关化方法。
本发明提供一种实现网络流量安全分析的硬件无关化方法及系统，解决现有流量分析受硬件平台限制，无法有效部署的问题，采用先物理聚类流量，在平台上部署若干个虚拟机执行流量安全分析进程，所述虚拟机可根据聚类流量的速度分布，动态部署专门的虚拟机处理指定的流量，同时在总线上布置硬件探针，可直接对流量报文进行初步关键词匹配，以及作为与其他第三方对接的接口，通过虚拟机对流量的深度检测发现异常点，再对异常点进行溯源，形态分析比较得到的攻击覆盖面和虚拟机分布，实现对防御策略的有效部署。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实现网络流量安全分析的硬件无关化方法的大致流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的实现网络流量安全分析的硬件无关化方法的大致流程图，所述方法包括：
通过物理接口获取网络流量，在规定时间内分析网络流量速度，提取所述网络流量的标识信息，根据所述标识信息聚类获取的网络流量，结合网络流量的速度分布，得到不同标识信息聚类后的网络流量对应的速度分布；
在总线上布置若干个硬件探针，对输入的流量报文进行关键词提取和匹配，对包含指定关键词的流量报文，直接上报平台示警，记录当前异常点位置，所述硬件探针提供开放的REST服务接口、日志接口、API接口，跨过物理接口直接整合对接第三方态势感知大平台或者大数据平台；
在平台上布置若干个虚拟机，在虚拟机上运行流量安全分析进程，获取所述若干个虚拟机的工作状态和负载情况，对应将流量速度快的聚类网络流量分配给空闲的虚拟机，所述虚拟机通过内部接口与硬件探针连接，接收分配的聚类网络流量，执行深度包检测分析，提取流量中携带的协议特征，调用数据库保存的协议典型特征模型，分析流量所属网络协议类型，解析出流量中的应用数据，从相应字段中提取应用协议特征，再次调用数据库的协议典型特征模型，确定流量中携带有的应用协议类型；
其中，所述解析出流量中的应用数据包括：判断所述应用数据是否被加密或编码，所述判断包括深度分析数据片段是否符合预先设定的逻辑规律，若数据片段为杂乱随机，则初步认定所述数据片段被置乱或编码，若数据片段为具有某种规律分布，则初步认定所述数据片段为明文，进一步分析杂乱随机的数据片段，调用数据库中的保存的加密算法或随机处理方法，还原数据片段；
根据所述确定的应用协议类型和网络协议类型，确定流量中携带的会话，为所述会话赋予会话标识，进行会话分析，判断所述会话双方的身份是否合法，所述会话双方的可支持业务范围是否包括对方的业务，所述会话的时长是否超过预先设定的阈值，以及所述会话传输的数据包是否携带有敏感关键词或涉密文件，当判断所述会话出现异常时，所述虚拟机中断所述会话，通知平台异常点的位置；
所述虚拟机将所述会话分析后的流量送入第一机器学习模型，所述流量此时携带了相关的会话标识，检测是否包括第一攻击向量，当检测出所述第一攻击向量时，标记对应会话标识的会话为异常，针对会话双方进行源点传播溯源；
获取会话双方的用户关系链，所述用户关系链包括所属部门的同事关系、与公司外部的客户关系、亲戚好友关系、邮件收发关系，将每一种关系下每一个人作为一个子节点，扩展检测每一个子节点涉及的终端、邮箱、文件、即时通信，判断是否包括所述第一攻击向量，如果是，则标记该子节点为异常点；
获取会话双方的可支持业务范围，根据业务流程的前后关系、具体业务动作的经办人，得到业务关系链，将每一个经办人、经办人名下的终端、设备、文件、即时通信作为一个子节点，检测每一个子节点是否包括所述第一攻击向量，如果是，则标记该子节点为异常点；
确定所有异常点的位置，连接所有的异常点，形成完整的攻击覆盖面，对所述攻击覆盖面进行形态分析，根据攻击覆盖面的形态和所述若干个虚拟机的位置，调整所述虚拟机的工作权重，当有限几个虚拟机对应覆盖范围广的攻击覆盖面时，即某个范围内的单个虚拟机对应的覆盖密度小于阈值时，提高所述有限几个虚拟机的流量安全分析权重，减小指令交互的权重，赋予独立决断的权重；当有限几个虚拟机对应覆盖范围小的攻击覆盖面时，即某个范围内的单个虚拟机对应的覆盖密度大于阈值时，降低所述有限几个虚拟机的流量安全分析权重，决策需要上传平台决断。
平台还包括可视化的防御策略，通过可视化管控操作，是可基于OMNet提供的事件信息和图形化结构，提供相关的实时展示接口和界面，管理员可以通过接口和界面，触控选择部署节点和部署范围，不同的防御策略可以作为某一个节点的部署选项，管理员可以选择部署选项中的某一个。
在一些优选实施例中，平台根据虚拟机部署防御策略包括：完全隔离单个设备或用户、完全禁止单项业务、仅拒绝单个设备或用户开展指定的单项业务、仅拒绝单个设备或用户修改数据中的一种或若干种；
根据网络节点的负载情况自动部署防御策略，若异常攻击的源点负载小于预设的阈值，则直接在源点部署，否则，为源点选择负载小于阈值的邻近网络节点部署，切断源点向外传输的路径；
当所述邻近网络节点的负载上升大于阈值时，先判断源点负载是否还大于阈值，如果是，为源点切换到第二邻近网络节点部署策略，所述第二邻近网络节点是在源点潜在的传播路径上；
定期检测源点的负载情况，当负载稳定小于阈值时，则将部署切换回源点。
在一些优选实施例中，获取数据库的历史异常数据，模拟出指定类型的网络攻击流量，所述指定类型的网络攻击流量是指携带预先构造的第二攻击向量；
将模拟的所述网络攻击流量送入第一机器学习模型，此时的第一机器学习模块作为判别器，判别所述网络攻击流量与当前网络流量之间的相似度，当相似度数值随着当前网络流量的变化形成的流量曲线符合预设的图形时，则认定所述第一机器学习模型能够正确识别出所模拟的网络攻击，完成训练。
在一些优选实施例中，获取关系链时还包括进行逻辑关联分析，具体为：分析所属业务是否存在关联、或业务是否相同，分析相关节点是否在潜在传播路径上，分析所属用户是否相同、或用户之间是否存在关系链。
在一些优选实施例中，所述机器学习模型包括神经网络模型。
在一些优选实施例中，形成攻击溯源图之后，还可以包括：梳理出攻击事件的发生脉络和攻击路径，具体为：
对采集的所述日志信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库；
将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径。
本申请提供一种实现网络流量安全分析的硬件无关化系统，所述系统包括：所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的实现网络流量安全分析的硬件无关化方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的实现网络流量安全分析的硬件无关化方法。
本申请提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行第一方面所有实施例中任一项所述的实现网络流量安全分析的硬件无关化方法
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
