异常流量检测方法和装置、计算机可读存储介质
技术领域
本公开涉及数据通信领域，特别涉及一种异常流量检测方法和装置、计算机可读存储介质。
背景技术
当今世界的政治军事经济高度依赖互联网，互联网安全是现代社会正常秩序的命脉。传统best effort(尽力服务,标准的因特网服务模式)转发模式的互联网“流量不可控”，导致网络拥塞、拒绝服务、网络欺诈等异常流量肆虐，重大安全事件频发，对国计民生造成重大危害。面对指数增长的网络流量，智能终端的应用普及，骨干网的安全稳定运行面临巨大挑战。为了提高安全性、保证业务的稳定运行，需要对网络状态进行感知，结合SNMP(Simple Network Management Protocol,简单网络管理协议)、NETFLOW(一种网络监测功能，可以收集进入及离开网络界面的IP封包的数量及资讯)等通过对网络异常流量实时监测。
发明内容
发明人发现：SNMP、NETFLOW采集的数据不能提供精细的L4-L7层信息，而互联网流量存在突发性强、内容热点分布不均等特性，容易导致误判或者漏判。
鉴于以上技术问题中的至少一项，本公开提供了一种异常流量检测方法和装置、计算机可读存储介质，可以提高异常流量的检测准确率。
根据本公开的一个方面，提供一种异常流量检测方法，包括：
获取大规模网络的时序特征数据和外部影响因子；
根据时序特征数据初步确定异常流量；
根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述根据时序特征数据初步确定异常流量包括：
对获取的时序特征数据进行预处理；
根据预处理后的时序特征数据初步确定异常流量。
在本公开的一些实施例中，所述根据预处理后的时序特征数据初步确定异常流量包括：
根据预处理后的时序特征数据的前后关联信息构建基线时序流量模型；
将预处理后的时序特征数据输入基线时序流量模型；
根据基线时序流量模型的输出结果初步确定异常流量。
在本公开的一些实施例中，所述根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型包括：
根据外部影响因子和基线时序流量模型的输出结果确定精确预测值；
根据精确预测值对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述据外部影响因子和基线时序流量模型的输出结果确定精确预测值包括：
根据流量成分、外部影响因子和基线时序流量模型的输出结果确定精确预测值。
在本公开的一些实施例中，所述异常流量检测方法还包括：
根据精确预测值对基线时序流量模型的模型参数进行修正。
在本公开的一些实施例中，所述时序特征数据包括时序特征数据全局流量流向矩阵信息、关联的网络性能指标中的至少一项，其中，所述关联的网络性能指标包括丢包率、时延和抖动率中的至少一项。
在本公开的一些实施例中，所述外部影响因子包括协议类型、应用事件类型、用户行为、舆情数据中的至少一项。
根据本公开的另一方面，提供一种异常流量检测装置，包括：
数据采集模块，用于获取大规模网络的时序特征数据和外部影响因子；
模型预测模块，用于根据时序特征数据初步确定异常流量；
模型优化模块，用于根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述异常流量检测装置用于执行实现如上述任一实施例所述的异常流量检测方法的操作。
根据本公开的另一方面，提供一种异常流量检测装置，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述装置执行实现如上述任一实施例所述的异常流量检测方法的操作。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的异常流量检测方法。
本公开可以实现对大规模网络中异常流量的检测，并提高了检测准确率和检测速度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开异常流量检测方法一些实施例的示意图。
图2为本公开异常流量检测方法另一些实施例的示意图。
图3为本公开异常流量检测装置一些实施例的示意图。
图4为本公开异常流量检测装置另一些实施例的示意图。
图5为本公开异常流量检测装置又一些实施例的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人发现：相关技术依据时延、抖动、丢包等网络性能指标的分析，缺乏流量特征无法精准研判异常流量，
而一些相关技术的专用系统本身虽具备某些协议异常检测的能力，但主要是基于数据包比例、协议特征等方法进行检测，需要有针对性地部署才能真正生效，其实施成本高、检测速度低、准确率低。
鉴于以上技术问题中的至少一项，本公开提供了一种异常流量检测方法和装置、计算机可读存储介质。
图1为本公开异常流量检测方法一些实施例的示意图。优选的，本实施例可由本公开异常流量检测装置执行。该方法包括以下步骤：
步骤11，获取大规模网络的时序特征数据和外部影响因子。
在本公开的一些实施例中，所述时序特征数据可以包括时序特征数据全局流量流向OD(Origin/Destination，源/目的)矩阵信息、关联的网络性能指标等中的至少一项，其中，所述关联的网络性能指标可以包括丢包率、时延和抖动率等数据中的至少一项。
在本公开的一些实施例中，所述时序特征数据可以包括网络流量、网络状态、网络性能、事件类型、流量成分等信息。
在本公开的一些实施例中，步骤11可以包括：通过BGP(Border GatewayProtocol，边界网关协议)、Netconf(Network Configuration Protocol，网络配置协议)、Openflow(一种网上通信协议)、DPI(Deep Packet Inspection，深度报文检测)等协议分流获取网络流量、网络状态、网络性能、事件类型、流量成分等信息。
在本公开的一些实施例中，所述外部影响因子包括协议类型、应用事件类型、用户行为、舆情数据中的至少一项。
步骤12，根据时序特征数据初步确定异常流量。
在本公开的一些实施例中，步骤12可以包括：
步骤121，对获取的时序特征数据进行预处理。
在本公开的一些实施例中，步骤121可以包括：对步骤11中采集的数据及相关信息进行预处理，形成特征和标签数据。
步骤122，根据预处理后的时序特征数据初步确定异常流量。
在本公开的一些实施例中，步骤122可以包括：
步骤1221，根据预处理后的时序特征数据的前后关联信息构建基线时序流量模型。
在本公开的一些实施例中，步骤1221可以包括：采用LSTM(Long Short-TermMemory，长短期记忆网络)，根据预处理后的时序特征数据的前后关联信息构建基线时序流量模型。
步骤1222，将预处理后的时序特征数据输入基线时序流量模型。
步骤1223，根据基线时序流量模型的输出结果初步确定异常流量。
步骤13，根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，步骤13可以包括：
步骤131，根据外部影响因子和基线时序流量模型的输出结果确定精确预测值。
在本公开的一些实施例中，步骤131可以包括：根据流量成分、外部影响因子和基线时序流量模型的输出结果确定精确预测值。
步骤132，根据精确预测值对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，步骤13还可以包括：根据精确预测值对基线时序流量模型的模型参数进行修正。
在本公开的一些实施例中，步骤13可以包括：结合成分分析、用户行为、舆情数据等影响因子采用CNN(Convolutional Neural Network,卷积神经网络)进一步确认异常流量并检测异常流量类型，同时将结果反馈到模型预测阶段，优化标签数据及相关参数。
基于本公开上述实施例提供的异常流量检测方法，可以在大规模网络中精确感知异常流量，本公开上述实施例一方面提高检测准确率，另一方面提升检测速度，从而保障骨干网的安全运行。
本公开上述实施例提出的异常流量检测方法，是一种两阶段检测方法。本公开上述实施例基于实时全局流量流向OD矩阵及关联的网络性能指标采用LSTM构建基线时序流量模型初步检测异常流量，再引入流量成分及外部影响因子(用户行为、舆情数据)等对结果进行修正并判断攻击类型，从而实现了全网异常流量的精准感知。
图2为本公开异常流量检测方法另一些实施例的示意图。优选的，本实施例可由本公开异常流量检测装置执行。该方法包括以下步骤：
步骤20，实时监测全局流量流向OD(源/目的)矩阵、关联的网络性能指标以及DPI采集的报文特征。
步骤21，对采集的数据进行预处理。
在本公开的一些实施例中，步骤21可以包括：对采集的数据进行数据标注，选取相关特征；并对样本集的数据进行去噪、归一化等预处理，以解决数据指标之间的可比性。
步骤22，基于时序特征数据的前后关联信息采用LSTM构建基线时序流量模型；对模型进行训练。
在本发明一个实施例中，所述基线时序流量模型为LSTM模型。
在本发明一个实施例中，所述特征数据可以包括OD(源/目的)矩阵信息、关联的网络性能指标，如丢包率、时延、抖动率等。
在本发明一个实施例中，所述基线时序流量模型可以包括：
遗忘门输出：ft＝σ(Wf[ht-1,xt])+bf
输入门输出：it＝σ(Wi[ht-1,xt])+bi
神经元状态：
输出门输出：ot＝σ(Wo[ht-1,xt])+bo
ht＝ot*tanh(Ct)
其中，xt为输入；ht为输出；it为输入门的输出；ft遗忘门输出；Ct为当前时刻t的细胞单元状态；ot为输出门的输出；W和b为参数矩阵；σ为ReLu函数；tanh为双曲正切激活函数。
步骤23，将预处理后的时序特征数据输入基线时序流量模型；根据基线时序流量模型的输出结果ht初步确定当前流量是否为异常流量。在当前流量为异常流量的情况下，执行步骤24；否则，在当前流量不是异常流量的情况下，执行步骤28。
基于时序特征数据的前后关联信息采用LSTM构建基线时序流量模型初步检测异常流量。
步骤24，对初步判定为异常的流量，根据外部影响因子和基线时序流量模型的输出结果确定精确预测值Y；根据精确预测值Y对基线时序流量模型的模型参数进行修正。
在本发明一个实施例中，所述根据外部影响因子和基线时序流量模型的输出结果确定精确预测值Y的步骤可以包括：对初步判定为异常的流量，基于应用成分及外部影响因子采用CNN精准判断异常流量类型，其中，特征数据可以包括协议类型、应用事件类型、用户行为、舆情数据等。
在本发明一个实施例中，所述根据外部影响因子和基线时序流量模型的输出结果确定精确预测值Y的步骤可以包括：将ht与外部影响因子L进行卷积和池化后得到影响值S(t)；根据影响值S(t)确定精确预测值Y＝f(WS(t)+b)，其中，激活函数f为softmax。
在本发明一个实施例中，所述根据精确预测值Y对基线时序流量模型的模型参数进行修正可以包括：采用精确预测值Y对LSTM模型的标签数据及相关参数进优化，以提高第一阶段模型的准确率。
在本发明一个实施例中，所述根据精确预测值Y对基线时序流量模型的模型参数进行修正可以包括：采用精确预测值Y对LSTM模型的模型参数xt进行修正，以提高第一阶段模型的准确率。
步骤25，采用精确预测值Y精确判断当前流量是否为异常流量。在当前流量为异常流量的情况下，执行步骤26；否则，在当前流量不是异常流量的情况下，执行步骤28。
步骤26，根据精确预测值Y确定所述异常流量的异常流量类型。
步骤27，给出异常流量分析结果，对异常流量进行相应处理；之后不再执行本实施例的其他步骤。
步骤28，确定当前流量为合法流量。
本公开上述实施例的异常流量检测方法，是一种两阶段的异常流量检测方法。异常流量的第一阶段基于时序特征初步快速判断异常流量，第二阶段利用外部影响因子确认异常流量并修正第一阶段的模型预测，同时根据特征数据判定攻击类型，从而提高了检测速度和准确性。
本公开上述实施例弥补了专用系统部署成本高，部署范围受限的不足，本公开上述实施例可实现集中控制、全网覆盖，本公开上述实施例技术实现容易，具有大规模部署的潜力。
图3为本公开异常流量检测装置一些实施例的示意图。如图3所示，本公开异常流量检测装置可以包括数据采集模块31、模型预测模块32和模型优化模块33，其中：
数据采集模块31，用于获取大规模网络的时序特征数据和外部影响因子。
模型预测模块32，用于根据时序特征数据初步确定异常流量。
模型优化模块33，用于根据外部影响因子对初步确定的异常流量进行确认，并确定所述异常流量的异常流量类型。
在本公开的一些实施例中，所述异常流量检测装置用于执行实现如上述任一实施例(例如图1或图2实施例)所述的异常流量检测方法的操作。
基于本公开上述实施例提供的异常流量检测方法，可以在大规模网络中精确感知异常流量，本公开上述实施例一方面提高检测准确率，另一方面提升检测速度，从而保障骨干网的安全运行。
图4为本公开异常流量检测装置另一些实施例的示意图。与图3实施例相比，图4实施例还可以包括数据处理模块34和结果输出模块35，其中：
数据采集模块31，用于通过网络控制协议和采集协议从网络设备分流采集网络流量、网络状态、网络性能、事件类型、流量成分等数据。
在本公开的一些实施例中，所述数据可以包括时序特征数据和外部影响因子中的至少一项。
在本公开的一些实施例中，时序特征数据可以包括时序特征数据全局流量流向OD矩阵信息、关联的网络性能指标等中的至少一项，其中，所述关联的网络性能指标可以包括丢包率、时延和抖动率等数据中的至少一项。
在本公开的一些实施例中，如图4所示，所述网络控制协议可以包括BGP、Netconf、Openflow、DPI、CLI(command line interface，命令行界面)PCEP(Path ComputationElement(PCE)Communication Protocol，路径计算单元通信协议)等协议。
在本公开的一些实施例中，如图4所示，所述采集协议可以包括BGP、CLI、xFLOW/DPI、syslog(System Log，系统日志)、ISIS(Intermediate system to intermediatesystem，中间系统到中间系统，一种内部网关协议)、SNMP(Simple Network ManagementProtocol，简单网络管理协议)等采集协议。
数据处理模块34，用于对采集的数据及相关的信息进行预处理，形成特征和标签数据；并将处理后的数据存储在内存数据库、RDB(Relational Database，关系数据库)或Hadoop分布式系统中。
模型预测模块32，用于采用LSTM对流量数据序列的前后关联信息进行建模，初步判断异常流量。
在本公开的一些实施例中，模型预测模块32可以用于基于时序特征数据的前后关联信息采用LSTM构建基线时序流量模型；将预处理后的时序特征数据输入基线时序流量模型；根据基线时序流量模型的输出结果ht初步确定当前流量是否为异常流量。
在本发明一个实施例中，所述基线时序流量模型可以包括：
遗忘门输出：ft＝σ(Wf[ht-1,xt])+bf
输入门输出：it＝σ(Wi[ht-1,xt])+bi
神经元状态：
输出门输出：ot＝σ(Wo[ht-1,xt])+bo
ht＝ot*tanh(Ct)
其中，xt为输入；ht为输出；it为输入门的输出；ft遗忘门输出；Ct为当前时刻t的细胞单元状态；ot为输出门的输出；W和b为参数矩阵；σ为ReLu函数；tanh为双曲正切激活函数。
模型优化模块33，用于结合应用成分分析、用户行为、舆情数据等影响因子采用CNN进一步确认异常流量并检测异常流量类型，同时将结果反馈到模型预测阶段，优化标签数据及相关参数。
在本发明一个实施例中，模型优化模块33可以用于对初步判定为异常的流量，基于应用成分及外部影响因子采用CNN精准判断异常流量类型，其中，特征数据可以包括协议类型、应用事件类型、用户行为、舆情数据等；将ht与外部影响因子L进行卷积和池化后得到影响值S(t)；根据影响值S(t)确定精确预测值Y＝f(WS(t)+b)，其中，激活函数f为softmax；采用精确预测值Y对LSTM模型的模型参数xt进行修正，以提高第一阶段模型的准确率。
结果输出模块35，用于给出异常流量分析结果，对异常流量进行相应处理。
本公开上述实施例的异常流量检测装置，是一种两阶段的检测装置，在第一阶段基于时序特征初步快速判断异常流量，在第二阶段利用外部影响因子等信息精准判定攻击类型。
本公开上述实施例的异常流量检测装置，包含模型修正的反馈机制：第二阶段的异常流量判定结果反馈至一阶段的模型训练，已进一步实现自动化的学习能力。
骨干网日常监控的场景下，利用本公开上述实施例，可以基于日志数据，实时监控网络中的异常流量，并且与安全系统联动进行流量的封堵和清洗。
图5为本公开异常流量检测装置又一些实施例的示意图。如图5所示，本公开异常流量检测装置可以包括存储器51和处理器52，其中：
存储器51，用于存储指令。
处理器52，用于执行所述指令，使得所述装置执行实现如上述任一实施例(例如图1或图2实施例)所述的异常流量检测方法的操作。
本公开上述实施例可以弥补专用系统部署成本高，部署范围受限的不足，本公开上述实施例可实现集中控制、全网覆盖，本公开上述实施例技术实现容易，具有大规模部署的潜力。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图1或图2实施例)所述的异常流量检测方法。
基于本公开上述实施例提供的计算机可读存储介质，可以在大规模网络中精确感知异常流量，本公开上述实施例一方面提高检测准确率，另一方面提升检测速度，从而保障骨干网的安全运行。
本公开上述实施例基于实时全局流量流向OD矩阵及关联的网络性能指标采用LSTM构建基线时序流量模型初步检测异常流量，再引入流量成分及外部影响因子(用户行为、舆情数据)等对结果进行修正并判断攻击类型，从而实现了全网异常流量的精准感知。
在上面所描述的异常流量检测装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
