一种基于时变多任务网络的事件自适应聚类方法

一种基于时变多任务网络的事件自适应聚类方法

　　技术领域

　　本发明涉及数据聚类技术领域，特别涉及一种基于时变多任务网络的事件自适应聚类方法。

　　背景技术

　　现有技术中，由网络代理进行的用于自适应学习、建模和优化的分布式学习方法在强化学习、信号处理、在线监督学习和其他应用领域中是流行且有效的。分布式学习方法适合解决各种问题，例如目标位置跟踪、多目标分类、，过滤和聚类等。由于第一步下降迭代技术的低复杂度、低功耗和强大的鲁棒性，大多数基于第一步下降迭代的分布式学习算法已得到广泛研究，其中研究最多的三种类型是一致算法、扩散算法和增量算法。在一致算法中，测量时间很慢，两次测量之间的迭代时间很快，这限制了更新估计参数和跟踪数据实时变化的统计特性；增量算法取决于确定网络上的哈密顿循环，这会导致NP难题，对于大型网络，如果网络是动态时变的，增量算法将无法有效地实现实时自适应。

　　当前，关于分布式学习方法的大多数研究都围绕着以下情况：估计公共参数向量是网络中所有代理的考虑因素。研究表明，在为所有代理设置通用最小化器的同时，代理之间的协作有利于提高参数估计的性能，因为梯度噪声在受影响的代理之间通过不同的测量噪声会有所不同。此外，座席之间的协作可以帮助平衡来自不同座席的梯度噪声条件，从而提高任务推理性能。

　　但是，由于噪声、功率限制和通信限制等干扰因素的影响，网络代理任务通常会在非平稳环境中随时间变化。特别是，随着干扰因素的持续增加，节点任务可能会发生变化甚至演变成异常任务(超出网络的预期任务)，就会导致网络中事件分类不精准。这些就是本领域研究人员所需要解决的问题。

　　发明内容

　　针对现有技术中代理网络不能准确对多任务代理事件进行自适应聚类的问题，本发明提供一种基于时变多任务网络的事件自适应聚类方法，通过将网络中的代理进行群集划分，并去除代理估计任务时的干扰因素，从而构建单独的ATC扩散学习函数，并和事件触发条件结合，以对事件进行准确分类。

　　为了实现上述目的，本发明提供以下技术方案：

　　一种基于时变多任务网络的事件自适应聚类方法，包括以下步骤：

　　S1:获取任意一个网络，并将网络中的代理进行群集划分；

　　S2:群集中的每个代理分别估计一项任务，统计执行相同任务的群集的代理；

　　S3:不同群集的代理在网络中共享不同的极小值，则定义群集多任务问题；

　　S4:将群集多任务问题分解为单独的优化问题，并进行求解得到wk,i；

　　S5:判断代理k及其邻居l是否属于同一集群，通过使用群集信息来动态更新其协作群集邻居，从而构建ATC扩散学习函数；

　　S6:基于ATC扩散学习策略函数和事件触发条件结合得到基于事件触发的ATC扩散学习函数，以对网络中的事件进行聚类。

　　优选的，所述S2中，代理估计任务时会受到外界的干扰，采用一阶马尔可夫模型进行修正：

　　

　　公式(1)中，表示代理k在i时刻的最优估计；a表示一阶马尔可夫时变模型的固定参数，0＜孨＜1；表示代理k在i-1时刻的最优估计；nk,i-1表示代理k在时间i-1的过程噪声。

　　优选的，所述S3中，所述群集多任务问题的定义为：

　　

　　公式(2)中，wq表示第q个最小化子；Q表示总数；Jglob表示总成本函数；@表示函数转换；Jk(wq)表示第q个最小化子的个体成本函数。

　　优选的，所述S4中，所述群集多任务问题的求解包括以下步骤：

　　S4-1：先最小化群集多任务问题，得到：

　　

　　公式(3)中，wj表示代理j的参数估计；J'表示近似的代价函数；wN表示第N个最小化值，@表示函数转换；Jk(wj)表示第j个最小化子的个体成本函数；

　　S4-2：在群集中，每个代理的任务都是单独进行的，因此每个代理对应一个优化问题：

　　

　　公式(4)中，w表示向量；Jn(w)表示分解后的代价函数；Jk(w)表示个体成本函数；@表示函数转换；

　　得到：

　　

　　公式(5)中，wk,i表示代理k在i时刻的参数估计；wk,i-1表示代理k在i-1时刻的参数估计；μk表示表示梯度下降非负系数；表示表示网络中代理k在i-1时刻的参数估计代价。

　　优选的，所述S5中，判断代理k及其邻居l是否属于同一集群的方法为：

　　

　　公式(6)中，||wk,i-wl,i||2表示代理k与其邻居代理l的估计方差；H0表示H1表示θk,l表示预设阈值；表示代理k的最优估计，表示代理l的最优估计。

　　优选的，所述S5中，所述ATC扩散学习函数为：

　　

　　公式(7)中，θk,i表示扩散学习函数估值公式转换，wk,i-1表示代理k在i-1时刻的参数估计；μk表示表示梯度下降非负系数；xk,i表示代理k的回归向量；dk,i表示代理k的测量值；表示代理k的回归向量转置；η表示非负惩罚因子参数；表示在时刻i与代理k属于同一群集的邻居域；wl,i-1表示代理l在i-1时刻的参数估计；wk,i表示代理k在i时刻的参数估计；clk表示clk表示代理k与代理l的非负融合系数；表示代理l在i时刻的中间估计。

　　优选的，所述S6中，包括以下步骤：

　　S6-1：定义事件触发条件Zk,i：

　　

　　公式(8)中，Zk,i表示事件触发条件；||wk,t-wk,i||表示代理k在时刻t和时刻i的估计误差值，T表示正标量，且0＜T＜1；wk,t表示代理k在时刻t的参数估计；V表示任一代理网络；

　　S6-2：则对于网络中的代理，从而得到基于事件触发的ATC扩散学习函数：

　　

　　公式(9)中，表示代理k在i时刻的中间估计；wk,i-1表示代理k在i-1时刻的参数估计；wl,t表示代理l在时刻t发出的参数估计；ψl,i-1代理k在时刻i-1的随机指标变量；μk表示表示梯度下降非负系数；wk,i表示代理k在i时刻的参数估计；clk,i-1表示clk表示代理k与代理l在i-1时刻的非负融合系数；且

　　

　　综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

　　1、本发明中网络代理能够识别与其群集选择的邻居进行协作的子集，提高了事件的识别效率。

　　2、本发明可以应用于异构网络中群集和同构网络的隔离干扰，以增强群集内部协作，抑制跨群集干扰并隔离病毒入侵或噪声干扰，提高了事件的识别准确度。

　　3、本发明可以根据网络中每个代理的目标在非平稳环境中调整和增长自适应网络，使得事件的聚类更加精准。

　　附图说明：

　　图1为根据本发明示例性实施例的一种基于时变多任务网络的事件自适应聚类方法流程示意图。

　　图2为根据本发明示例性实施例的任意连接网络的示意图。

　　图3为根据本发明示例性实施例的没有任务更改的连接网络的最终拓扑的示意图。

　　图4为根据本发明示例性实施例的任务更改的连接网络的最终拓扑的示意图。

　　具体实施方式

　　下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

　　在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

　　如图1所示，本发明提供一种基于时变多任务网络的事件自适应聚类方法，具体包括以下步骤：

　　S1：获取任意一个网络，并将网络中的代理进行群集划分。

　　本实施例中，可任意获取一个网络，如图2所示，并在该连接网络上选择任意一组代理网络V,V＝{1,2,…,k}，k表示一组代理网络V中第k个代理,代理的总数量为K个。在一组代理网络V中，代理k(k∈V)都可以与其邻居l进行通信，且与代理k通信的邻居域为Nk，其度为nk，可得到度矩阵D，D＝diag{n1,n2,…,nk}，nk表示第k个代理的度。

　　本实施例中，每个代理之间的邻接矩阵由对称的A表示，由非负实数项{alk}组成，如果l∈Nk，则{alk}＝1；如果{alk}＝0。网络拉普拉斯矩阵由L＝D-A表示，它是一个正半定矩阵。任意一组代理网络V可分为Q个群集，从而得到群集{C1,C2,…,Cq},Cq表示第q个群集；每个代理k都属于一个由Cq表示的群集,即k∈Cq，则群集Cq的大小为且

　　本实施例中，在一个连接网络中，一组代理网络V不只是连接一个群集，还会连接其他的群集，即代理k的相邻代理中有些代理属于同一个群集，有些代理会属于其它群集，因此代理k的通信邻居域Nk可分为两组，分别为和表示与代理k属于同一群集的邻居数量，示与代理k属于不同群集的邻居数量。

　　则可得到：

　　公式(1)中的意思是定义为；Nk表示与代理k通信的邻居域；Cq表示第q个群集。

　　S2：群集中的每个代理分别对应一项任务，统计执行相同任务的群集的代理。

　　本实施中，每个代理k都可访问具有L×1(表示向量的大小)的已实现标量测量值dk,i和回归向量xk,i，在时间i上具有协方差矩阵E表示期望，xk,i表示回归向量，表示转置回归向量。每个代理k有兴趣估计一个L×1的未知参数向量(未知参数向量表示系统的未知参数的预估计量)，该未知参数向量通过线性回归模型可与数据{dk,i，xk,i}相关联，得到：

　　

　　公式(2)中，dk,i表示已实现标量的测量值，表示转置回归向量；表示未知参数向量；vk,i表示时间i代理k的测量噪声，vk,i是时间上的白噪声，并且在空间上具有零均值和方差与回归向量xk,i无关。

　　本实施例中，每个代理有不同的感兴趣进行估计的目标，每个感兴趣进行估计的目标都代表一项任务，群集中的代理程序执行相同的任务：

　　

　　公式(3)中，表示未知参数向量；表示针对所有；公式(3)的意义是部署网络的位置以估计随时间变化的未知向量

　　此外，网络中的代理对目标进行估计会受到外部干扰，本发明采用一阶马尔可夫模型进行修正，即时间i的状态仅取决于时间i-1的状态，而与其余时间无关，则可得到一阶马尔可夫时变模型如下：

　　

　　公式(4)中，表示时间i代理k的最优估计，nk,i-1表示代理k在时间i-1的过程噪声，是具有零均值和相关矩阵Rn,i的白噪声；a表示一阶马尔可夫时变模型的固定参数，0＜孨＜1；nk,i-1与测量噪声vk,i和回归向量xk,i无关；权重向量可被视为过程噪声nk,i-1的来源。

　　S3：不同群集的代理在网络中共享不同的极小值，则需定义群集多任务问题。

　　本实施例中，将每个代理与一个二阶可微分的个体成本函数(Jk(w)∈R)相关联，该个体成本函数是实值的，但是由于来自不同群集的代理在网络中共享不同的极小值，因此代理的目标是通过寻找定义为总成本函数Jglob(w)的唯一极小值来处理群集多任务问题,定义为:

　　

　　公式(5)中，wq表示第q个最小化子；Q表示总数；@表示函数转换为；Jk(wq)表示第q个最小化子的个体成本函数。

　　假设群集拓扑已连接，并且可以通过在每个群集上采用扩散策略来找到相应的最小化子{wq}，则群集之间不会发生交互，并且协作适应仅在每个群集内发生。当群集Cq可用于网络中的代理程序时，群集多任务问题(公式(5))可以通过与群集相关的子网分解为未集成的优化问题，即

　　

　　公式(6)中，w表示向量；表示代价函数；Jk(w)表示个体成本函数；@表示函数转换为。

　　S4：将群集多任务问题分解为单独的优化问题，且与代理进行一一对应。

　　本实施例中，为了最小化群集多任务问题(公式(5))，仅需要在其群集内进行合作。代理可以专注于自身来解决以下问题：

　　

　　公式(7)中，wj表示代理j的参数估计；J'表示近似的代价函数；wN表示第N个最小化值；@表示函数转换为；Jk(wj)表示第j个最小化子的个体成本函数。

　　由于代理之间是不相交的，所以公式(7)可分解为单独的优化问题，每个代理对应一个优化问题：

　　

　　公式(8)中，w表示向量；Jn(w)表示分解后的代价函数；Jk(w)表示个体成本函数；@表示函数转换为。

　　S5：使用非合作式最小均方(NC-LMS)学习策略来寻求公式(8)的解：

　　

　　公式(9)中，wk,i表示代理k在i时刻的参数估计；μk表示表示梯度下降非负系数；表示表示网络中代理k在i-1时刻的参数估计代价。

　　S6：在回归向量的分布上评估期望。

　　本实施例中，基于满足公式(2)的局部测量值的量{dk,i，xk,i}代表损失函数Q(w；xi)定义中的随机数据xi和个体成本函数Jk(w)由:

　　

　　公式(10)中，Jk(w)表示个体成本函数；E表示期望；Q(w；xi)表示损失函数；dk,i表示测量值；表示转置回归向量；wk,i-1表示代理k在i-1时刻的参数估计。

　　由此可得到：

　　

　　公式(11)中，wk,i表示代理k在i时刻的参数估计，μk,i表示i时刻梯度下降非负系数；xk,i表示回归向量，表示转置回归向量；wk,i-1表示代理k在i-1时刻的参数估计。

　　S7：判断代理k及其邻居l是否属于同一集群：

　　

　　公式(12)中，||wk,i-wl,i||2表示代理k与其邻居代理l的估计方差；其中假设H0表示假设H1表示并且预设了阈值θk,l；表示代理k的最优估计。

　　S8：网络中代理通过使用群集信息来动态更新其协作群集邻居。

　　本实施例中，在迭代i时刻时，代理k∈v的邻居域由H0确定的邻居组成,因此，定义为

　　

　　公式(13)中，表示在时刻i与代理k属于同一群集的邻居域，l表示代理k的邻居代理，Nk表示代理k的通信邻居域；wk,i表示代理k在i时刻的参数估计；wl,i表示代理l在i时刻的参数估计；θk,l表示预设阈值。

　　通过上述动态发展的群集邻域，开发了一种单独的ATC扩散学习函数：

　　

　　公式(14)中，θk,i表示扩散学习函数估值公式转换，clk表示clk表示代理k与代理l的非负融合系数；表示代理l在i时刻的中间估计；wk,i-1表示代理k在i-1时刻的参数估计；μk表示表示梯度下降非负系数；表示表示网络中代理k在i-1时刻的参数估计代价；表示在代理k与时刻i-1属于同一群集的邻居域；wk,i表示代理k在i时刻的参数估计。

　　为了促进同一群集中相邻代理之间的相似性，可以使用适当的正则化，因此，ATC扩散学习策略中的个体成本函数被认为是

　　

　　公式(15)中，Jk(w)表示ATC扩散学习策略中的成本，dk,i表示时间i时代理k的测量值，表示转置回归向量，wk,i-1表示时间i-1时代理k的参数估计；表示时间i-1时代理l的邻居域，wl,i-1表示代理l在i-1时刻的参数估计；η表示非负惩罚因子参数。

　　因此，我们可以将公式(14)变换为：

　　

　　公式(16)中，θk,i表示扩散学习函数估值公式转换；μk表示表示梯度下降非负系数；xk,i表示回归向量，dk,i表示时间i时代理k的测量值，表示转置回归向量，wk,i-1表示时间i-1时代理k的参数估计；η是非负惩罚因子参数，表示时刻i-1时与代理k属于同一群集的邻居域，l表示代理k的邻居代理；表示代理l在i时刻的中间估计。

　　S9：设t为代理k的第t次行驶时间，它是代理k的最新行驶时间,则定义事件触发条件Zk,i：

　　

　　公式(17)中，Zk,i表示事件触发条件；||wk,t-wk,i||表示代理k在时刻t和时刻i的估计误差值，T表示正标量，且0＜T＜1；wk,t表示代理k在时刻t发出的参数估计，令以下随机指标变量ψk,i为：

　　

　　S10：基于ATC扩散学习策略公式(16)以及公式(17)和等公式(18)中的事件触发方案，针对代理k，可得到基于事件触发的ATC扩散学习函数：

　　

　　公式(19)中，表示代理k在i时刻的中间估计；wl,t表示代理l在时刻t发出的参数估计；ψl,i-1代理k在时刻i-1的随机指标变量；μk表示表示梯度下降非负系数；wk,i表示代理k在i时刻的参数估计；clk,i-1表示clk表示代理k与代理l在i-1时刻的非负融合系数,其中clk是非负组合系数，如果则clk＝0；此外，非负组合系数clk是矩阵C的第(l,k)项，其中C1＝1,1TC＝1T(1是矩阵。

　　但是，由于是随机的，并且可能随着迭代而变化，因此系数clk,i-1是动态随机的，由于双重随机组合策略可以从合作中受益，因此我们选择了Metropolis规则，即

　　

　　基于上述方法，本发明提供了具体的应用实施例：

　　本实施例中，如图2所示，为一个连接所有代理的基础网络V，V＝{1,2,…,80}，该基础网络可分为3个群集：(1)第一个集群C1由15个代理组成，即C1＝{1,2,3，...，15}；(2)第二个集群C2由25个代理组成，即C2＝{16，17，...,,40}；(3)第三个集群C3由40代理组成，即C3＝{41，42，...，80}。

　　则在时间的变化下，有两种情况：

　　

　　公式(21)中，Rn,kk表示代理k的过程噪声方差矩阵；表示过程噪声方差；IL表示L×1的单位矩阵。

　　情况1：代理任务随时间变化很小，并且任务没有变化，即

　　情况2：座席任务随时间波动，并且有一些任务发生变化，即

　　情况1：无任务更改。

　　网络中的所有座席开始不知道群集信息，并且座席任务随时间波动很小，并且任务没有变化，则在学习过程结束时，每个群集都已连接起来，图3显示了没有任务更改的网络的最终拓扑，大约在500次迭代后，同一群集中的邻居之间的链接处于活动状态，并且删除了不同群集中的邻居的链接。通过比较图3和图2，可以看到三个不相交的子网，从而抑制了网络之间群集的干扰。即当代理程序任务随时间波动很小并且没有任务更改时，三个集群通过同一集群中任务之间的协作来提高其MSD性能和收敛性。

　　情况2：任务更变更。

　　代理任务随时间变化并且有一些任务发生变化的情况，绘制了部分任务在学习过程结束时连接在一起的结果拓扑，如图4所示，大约在500次迭代后，同一群集中的邻居之间的链接处于活动状态，并且删除了不同群集中的邻居的链接。可以发现具有异常任务的节点是隔离的，并且三个不相交的子网本身处于稳态连接，通过比较图4和图2，可以看到三个不相交的子网，从而抑制了网络之间群集的干扰。即当代理任务随时间波动时，三个集群通过同一集群中任务之间的协作以相似的方式提高了其稳态MSD性能和平均收敛速度。

　　本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。