用于控制系统的设备和方法
技术领域
本发明总体上涉及使用机器学习技术的异常和故障检测，特别是使用神经网络的异常检测。
背景技术
在制造中监测和控制安全和质量非常重要，其中快速且强大的机器可非常高速地执行复杂的操作序列。与预期操作序列或定时的偏离可使质量劣化，浪费原材料，导致停机时间和设备损坏，降低输出。工人的危险是主要问题。为此，必须极其小心以精心设计制造工艺以使意外事件最小化，并且还需要使用各种传感器和紧急开关向生产线中设计保护措施。
制造类型包括过程制造和离散制造。在过程制造中，产品通常无法分开，例如油、天然气和盐。离散制造生成不同的物品，例如汽车、家具、玩具和飞机。
增加安全性并使材料和输出的损失最小化的一个实际方法是检测生产线何时异常操作，并且在这样的情况下如果需要则使生产线停下来。实现此方法的一个方式是使用在限定容许操作区域的可测变量(例如，温度、压力等)范围方面生产线的正常操作的描述，并检测超出该区域之外的操作点。该方法在过程制造行业(例如，炼油)中是常见的，其中通常对物理变量的允许范围有深入了解，并且常常直接根据这些变量来定义产品质量的质量度量。
然而，离散制造中的加工工艺的本质与过程制造中不同，并且与正常加工工艺的偏离可具有非常不同的特性。离散制造包括对工作单元执行的操作序列，例如机加工、钎焊、组装等。异常可包括一个或更多个任务的执行不正确或任务的次序不正确。即使在异常情况下，诸如温度或压力的物理变量常常也未超出范围之外，因此直接监测这些变量无法可靠地检测出这些异常。
例如，美国2015/0277416中公开的方法描述了一种用于离散制造的基于事件序列的异常检测。然而，该方法在制造系统具有随机操作时具有高错误率，并且可能不适合于不同类型的制造系统。另外，该方法要求一个事件在正常操作中仅可发生一次，并且没有考虑同时事件发生(这在复杂制造系统中经常发生)。
为此，需要开发适合于不同类型的制造系统中的异常检测的系统和方法。
发明内容
一些实施方式基于这样的认识：制造操作的类别或类型可包括过程制造和离散制造。例如，用于过程制造的异常检测方法可旨在检测数据的异常值，用于离散制造的异常检测方法可旨在检测操作执行的正确次序。为此，很自然地为不同类别的制造操作设计不同的异常检测方法。
然而，复杂制造系统可包括不同类型的制造，这包括过程制造和离散制造。当过程制造和离散制造在信号生产线上混合时，为不同类型的制造设计的异常检测方法可能不准确。为此，一些实施方式的目的在于提供一种适合于不同类型的制造系统中的异常检测的系统和方法。
一些实施方式基于这样的认识：机器学习技术可应用于对过程制造和离散制造二者的异常检测。使用机器学习，所收集的数据可用在自动学习系统中，其中可通过训练来学习数据的特征。训练的模型可检测实时数据中的异常以实现预测性维护和停机时间减少。
例如，神经网络是可针对包括不同类型的制造的复杂制造系统实际训练的机器学习技术之一。为此，一些实施方式将神经网络方法应用于制造系统中的异常检测。使用神经网络，可检测从领域知识并不明显的附加异常。
因此，一些实施方式提供了一种基于机器学习的异常检测方法，其可在准确性改进的情况下应用于过程制造和离散制造二者。例如，不同实施方式提供了用于制造系统的基于神经网络的异常检测方法，以通过监督学习和非监督学习检测异常。
然而，神经网络领域中的挑战之一是寻找仍满足应用要求的最小神经网络拓扑。制造系统通常具有大量数据。因此，对于复杂制造系统中的异常检测，全连接神经网络可在计算上昂贵或者甚至不切实际。
另外，一些实施方式基于这样的理解：修剪为检测复杂制造系统中的异常而训练的全连接神经网络使异常检测的性能劣化。具体地，一些实施方式基于这样的认识：神经网络修剪发生在神经网络训练过程期间，这增加了神经网络复杂度和训练时间，并且还使异常和故障检测准确性劣化。
一些实施方式基于这样的认识：神经网络基于称为人工神经元或简称为神经元的连接单元或节点的集合。人工神经元之间的各个连接可从一个到另一个发送信号。接收信号的人工神经元可处理并将所处理的信号发送到与其连接的其它人工神经元。以这种方式，对于从另一神经元接收信号的神经元，发送神经元是该信号的源。
为此，一些实施方式基于这样的认识：神经网络的至少一些层的各个神经元可与制造系统中的信号源匹配。因此，制造系统中的信号源由神经网络的层中的神经元表示。以这种方式，神经网络中的神经元的数量可被选为表示制造系统的物理结构所需的最低程度。
另外，一些实施方式基于这样的认识：神经网络是尝试将精神或行为现象表示为简单单元的互连网络的突现过程的连接主义系统。以这种方式，神经网络的结构不仅可由神经网络的各个级别的多个神经元表示，而且可表示为那些神经元之间的连接。
一些实施方式基于这样的认识：当神经网络的神经元表示制造系统中的信号源时，神经网络的神经元之间的连接可表示制造系统中的信号源之间的连接。具体地，当且仅当对应信号源连接时，神经元才可连接。
一些实施方式基于这样的认识：为了异常检测的目的，两个不同信号源之间的连接是由这两个不同信号源发起的事件随后发生的频率的函数。例如，假定信号源是可将其状态从开状态改变为关状态的开关。状态的改变和/或状态的新值是源的信号。如果当第一开关改变状态时第二开关总是改变其状态，则那两个信号源强连接，因此神经网络中与这一对开关对应的神经元也连接。相反，如果当第一开关改变状态时第二开关从不改变其状态，则那两个信号源不连接，因此神经网络中与这一对开关对应的神经元也不连接。
实际上，总是跟随或从不跟随的事件很少发生。为此，在一些实施方式中，仅当一对不同信号源中事件随后发生的概率高于阈值时，这一对不同信号源在神经网络中才连接。该阈值取决于应用，并且可基于在训练数据(例如，用于训练神经网络)中这种随后发生的频率来选择事件随后发生的概率。
以这种方式，神经元的连接表示模仿制造系统内的连接的连接主义系统。为此，一些实施方式的神经网络变为具有基于事件排序关系的拓扑的部分连接网络，这降低了神经网络复杂度和训练时间，并改进了异常检测准确性。
因此，一个实施方式公开了一种用于控制系统的设备，该系统包括导致多个事件的多个信号源，该设备包括：输入接口，其从信号源接收信号；存储器，其存储被训练以诊断系统的控制状态的神经网络，其中，神经网络包括层的序列，各个层包括节点的集合，输入层和输入层之后的第一隐藏层的各个节点与系统中的信号源对应，其中，仅当一对不同信号源中事件随后发生的概率高于阈值时，与这一对不同信号源对应的邻近层的一对节点在神经网络中才连接，使得神经网络是部分连接神经网络；处理器，其将信号提交到神经网络中以生成系统的控制状态；以及控制器，其执行根据系统的控制状态选择的控制动作。
另一实施方式公开了一种用于控制包括导致多个事件的多个信号源的系统的方法，其中，该方法使用联接到存储器的处理器，该存储器存储被训练以诊断系统的控制状态的神经网络，其中，处理器与所存储的实现该方法的指令联接，其中，所述指令在由处理器执行时执行该方法的步骤，这些步骤包括：从信号源接收信号；将信号提交到从存储器检索的神经网络中以生成系统的控制状态，其中，神经网络包括层的序列，各个层包括节点的集合，输入层和输入层之后的第一隐藏层的各个节点与系统中的信号源对应，其中，仅当一对不同信号源中事件随后发生的概率高于阈值时，在神经网络中与所述一对不同信号源对应的邻近层的一对节点才连接；以及执行根据系统的控制状态选择的控制动作。
另一实施方式公开了一种具体实现有程序的非暂时性计算机可读存储介质，所述程序可由处理器执行以用于执行一种方法，该方法包括以下步骤：从信号源接收信号；将信号提交到被训练以诊断系统的控制状态的神经网络中以生成系统的控制状态，其中，神经网络包括层的序列，各个层包括节点的集合，输入层和输入层之后的第一隐藏层的各个节点与系统中的信号源对应，其中，仅当一对不同信号源中事件随后发生的概率高于阈值时，在神经网络中与所述一对不同信号源对应的邻近层的一对节点才连接；以及执行根据系统的控制状态选择的控制动作。
附图说明
[图1]
图1是示出根据一些实施方式的制造异常检测系统100的组件的示意图。
[图2]
图2示出一些实施方式用于监督机器学习的前馈神经网络的示意图。
[图3]
图3示出一些实施方式用于非监督机器学习的自动编码器神经网络的示意图。
[图4A]
图4A示出一些实施方式所使用的事件序列生成和不同事件提取的一般过程。
[图4B]
图4B示出使用三个开关信号的图4A的事件序列生成和不同事件提取的示例。
[图5A]
图5A示出一些实施方式所使用的事件排序关系表的一般形式。
[图5B]
图5B示出图4B所示的事件序列和不同事件的事件排序关系表的示例。
[图6A]
图6A示出根据一些实施方式的从次序关系表生成的信号连接矩阵的一般形式。
[图6B]
图6B是与图5B所示的事件排序关系表对应的信号连接矩阵的示例。
[图7]
图7示出根据一些实施方式的使用信号连接矩阵将全连接时延神经网络(TDNN)转换为简化的结构化TDNN的示例。
[图8A]
图8A示出全连接自动编码器神经网络与根据一些实施方式构造的结构化自动编码器神经网络之间的实验结果比较。
[图8B]
图8B示出全连接自动编码器神经网络与根据一些实施方式构造的结构化自动编码器神经网络之间的实验结果比较。
[图9]
图9示出根据一些实施方式的用于控制包括导致多个事件的多个信号源的系统的设备900的框图。
[图10A]
图10A示出根据一个实施方式的训练神经网络的方法的框图。
[图10B]
图10B示出根据另选实施方式的训练神经网络的方法的框图。
具体实施方式
概述
图1是示出根据一些实施方式的制造异常检测系统100的组件的示意图。系统100包括制造生产线110、训练数据池120、机器学习模型130和异常检测模型140。生产线110使用传感器来收集数据。传感器可以是数字传感器、模拟传感器及其组合。所收集的数据用于两个目的，一些数据被存储在训练数据池120中并用作训练数据以训练机器学习模型130，一些数据由异常检测模型140用作操作时间数据以检测异常。机器学习模型130和异常检测模型140二者可使用相同的数据。
为了检测制造生产线110中的异常，首先收集训练数据。机器学习模型130使用训练数据池120中的训练数据来训练神经网络。训练数据池120可包括标记数据或未标记数据。标记数据已标记有标签(例如，异常或正常)。未标记数据没有标签。基于训练数据的类型，机器学习模型130应用不同的训练方法。对于标记训练数据，通常使用监督学习，对于未标记训练数据，通常应用非监督学习。以这种方式，不同实施方式可处理不同类型的数据。
机器学习模型130学习训练数据的特征和模式，其包括正常数据模式和异常数据模式。异常检测模型140使用训练的机器学习模型150和收集的操作时间数据160来执行异常检测。操作时间数据160可被标识为正常或异常。例如，使用正常数据模式155和158，训练的机器学习模型150可将操作时间数据分类为正常数据170和异常数据180。操作时间数据X1 163和X2 166被分类为正常，操作时间数据X3 169被分类为异常。一旦检测到异常，采取必要动作190。
异常检测过程可在线或离线执行。在线异常检测可提供实时预测性维护。然而，在线异常检测需要快速计算能力，这继而需要简单且准确的机器学习模型。本发明的实施方式提供了快速且准确的机器学习模型。
用于制造系统中的异常检测的神经网络
可部署神经网络以通过监督学习和非监督学习二者检测异常。一些实施方式将时延神经网络(TDNN)应用于制造系统中的异常检测。使用时延神经网络，不仅当前数据，而且历史数据用作神经网络的输入。时延步数是指定要使用的历史数据测量的数量的参数，例如，如果时延步数为3，则使用当前时间t的数据、时间t-1的数据和时间t-2的数据。因此，时延神经网络的大小取决于时延步数。时延神经网络架构探索了时域中的数据信号的关系。在制造系统中，数据信号的历史可提供重要的未来预测。
TDNN可被实现为时延前馈神经网络(TFFNN)或时延自动编码器神经网络(TDANN)。对于制造系统中的异常检测，一些实施方式应用时延前馈神经网络，一些实施方式应用时延自动编码器神经网络。
图2示出一些实施方式用于监督机器学习的前馈神经网络的示意图。前馈神经网络是人工神经网络，其中，神经元之间的连接不形成循环。对于监督学习，训练数据被标记为正常或异常。在此条件下，对训练模型应用监督学习技术。实施方式采用时延前馈神经网络来以标记训练数据检测异常。例如，图2所示的前馈神经网络包括输入层210、多个隐藏层220和输出层230。输入层210获取数据信号X 240并通过权重向量W1 260和激活函数(例如，Sigmoid函数)将所提取的特征传送到第一隐藏层。在时延前馈神经网络的情况下，输入数据X 240包括当前数据和历史数据二者。各个隐藏层220获取先前层的输出和偏置250并将所提取的特征传送至下一层。偏置的值为正1。该偏置允许神经网络将激活函数向左或向右移位，这对于成功学习可至关重要。因此，偏置起到与线性函数y＝ax+b的常数b相似的作用。在特征提取的多个隐藏层之后，神经网络到达输出层230，其获取最后隐藏层的输出和偏置250并使用特定损失函数(例如，交叉熵函数)，并用公式表示对应优化问题以生成最终输出Y 270，该输出将测试数据分类为正常或异常。
仅由于在制造系统中异常很少发生或者难以收集异常数据，可在正常操作条件下收集制造数据。在这种情况下，数据通常未标记，因此，非监督学习技术可为有用的。在这种情况下，一些实施方式应用时延自动编码器神经网络以检测异常。
图3示出一些实施方式用于非监督机器学习的自动编码器神经网络的示意图。如图3所示，自动编码器神经网络是利用由单个或多个隐藏层组成的编码器310和解码器320来重构输入数据信号X 240的特殊人工神经网络，其中
基于事件排序关系的神经网络结构
在制造系统中，使用数十至数百或数千个传感器来收集数据，这表明数据量巨大。结果，应用于检测异常的神经网络的大小会非常大。因此，确定神经网络的适当大小的问题很重要。
一些实施方式解决了确定神经网络的适当大小的问题。即使全连接神经网络可通过训练学习其权重，适当地降低神经网络的复杂度可降低计算成本并改进异常检测准确性。为此，一些实施方式的目的是减小神经网络大小而不使性能劣化。
神经网络的复杂度取决于神经元的数量和神经元之间的连接的数量。各个连接由权重参数表示。因此，降低神经网络的复杂度在于减少权重的数量和/或神经元的数量。一些实施方式旨在降低神经网络复杂度而不使性能劣化。
解决此问题的一个方法在本文中称为修剪，并且包括训练大于必要的网络，然后去除不必要的权重和/或神经元。因此，修剪是耗时的过程。
问题是哪些权重和/或神经元是不必要的。传统修剪技术通常去除具有较小值的权重。没有证据证明较小权重是不必要的。结果，由于修剪损失，与全连接神经网络相比，修剪不可避免地使性能劣化。因此，修剪候选选择至关重要。
一些实施方式提供了一种基于事件排序关系的神经网络构造方法，其基于事件排序关系信息进行修剪候选选择。此外，代替在训练过程期间去除不必要的权重和/或神经元，实施方式在训练之前确定神经网络结构。特别是，一些实施方式所确定的部分连接神经网络的这种结构优于全连接神经网络。结构化神经网络减少了训练时间并改进了异常检测准确性。更精确地，实施方式预处理训练数据以寻找事件排序关系，该事件排序关系用于确定神经网络的重要神经元连接。然后从神经网络去除不重要的连接和孤立的神经元。
为了描述基于事件排序关系的神经网络构造方法，从监测制造系统的特定性质的传感器收集的数据测量被称为数据信号，例如，电压传感器测量电压信号。传感器可测量多个数据信号。数据信号可周期性地或非周期性地测量。在周期性测量的情况下，用于测量不同数据信号的时间周期可不同。
对于数据信号，事件被定义为信号值从一个电平改变为另一电平。信号改变可在容许范围之外或在容许范围内。更具体地，事件被定义为
E＝{S,ToS,T}(1)
其中S表示导致事件的数据信号，ToS指示信号S的事件类型，T是信号值改变的时间。例如，开关信号可具有开(ON)事件和关(OFF)事件。因此，事件可对应于系统中的正常操作执行或异常事故。
对于过程制造，事件可表示异常状态(例如，所测量的数据超出容许操作范围之外)或正常状态(例如，系统从一个状态改变为另一状态)。对于离散制造，事件可表示正确次序或不正确次序的操作执行。
在训练神经网络之前，处理训练数据以提取所有训练数据信号的事件。这些事件用于构建事件排序关系(EOR)表。
假设存在M个数据信号
图4A示出一些实施方式所使用的事件序列生成和不同事件提取的一般过程。对于训练数据池120中的各个数据信号，基于信号值的改变、对应事件类型和信号值改变的对应时间来创建410事件集合。在针对所有训练数据信号生成事件之后，根据事件发生时间将事件排列成事件序列420。如果同时发生多个事件，则这些事件可按任何次序出现在事件序列中。一旦创建事件序列，从事件序列提取430不同事件。不同事件仅表示事件类型，而与事件发生时间不同。
图4B示出使用三个开关信号S1、S2和S3 440的事件序列生成的示例。这些开关信号可生成事件。如果开关信号的值从0改变为1，则生成开(ON)事件。另一方面，如果开关信号的值从1改变为0，则生成关(OFF)事件。各个开关信号在不同时间生成三个开/关事件。信号S1生成三个事件450{E11,E12,E13}，信号S2生成三个事件460{E21,E22,E23}，信号S3生成三个事件470{E31,E32,E33}。根据事件发生时间，这九个事件形成事件序列480为{E11,E21,E31,E32,E22,E12,E33,E23,E13}。该事件序列包含六个不同事件490为
图5A示出一些实施方式所使用的事件排序关系表的一般形式。具体地，使用事件序列
图5B示出图4B所示的事件序列和不同事件的事件排序关系表的示例。
一些实施方式使用事件排序关系(EOR)表500来构造神经网络连接。基于事件排序关系表，构造信号连接矩阵(SCM)。信号连接矩阵提供神经网络连接结构。
图6A示出根据一些实施方式的从事件次序关系表生成的信号连接矩阵的一般形式。在这种情况下，构造M×M信号连接矩阵(SCM)600，其中cij(i≠j)表示信号Sj的事件跟随信号Si的事件的次数。因此，cij＝0指示信号Sj的事件从不跟随信号Si的事件。cij的较高值指示信号Sj紧密地依赖于信号Si，即，信号Si的改变很有可能导致信号Sj的改变。另一方面，cij的较低值表示信号Sj松散地依赖于信号Si。可为神经网络连接配置定义阈值CTH，使得如果cij≥CTH，则信号Si可被认为影响信号Sj。在这种情况下，从与信号Si对应的神经元到与信号Sj对应的神经元的连接被认为重要。另一方面，如果cij<CTH，则从与信号Si对应的神经元到与信号Sj对应的神经元的连接被认为不重要。
另选地，还可使用信号连接矩阵来针对一对数据信号定义事件随后发生的概率。对于两个信号Si和Sj，cij表示信号Sj的事件跟随信号Si的事件的次数。因此，信号Sj的事件跟随信号Si的事件随后发生的概率可被定义为
注意，P(Si,Sj)和P(Sj,Si)可不同，即，信号Si可影响信号Sj，但信号Sj可能未必影响信号Si。利用此概率，可定义阈值PTH，使得如果P(Si,Sj)≥PTH，则信号Si可被认为影响信号Sj。因此，从与信号Si对应的神经元到与信号Sj对应的神经元的连接被认为重要。
图6B是与图5B所示的事件排序关系表对应的信号连接矩阵610的示例。信号连接矩阵(SCM)600和/或610可用于简化全连接神经网络。
图7示出根据一些实施方式的使用信号连接矩阵730将全连接TDNN 710转换为简化的结构化TDNN的示例，其中，TDNN可以是时延前馈神经网络或时延自动编码器神经网络。假设三个数据信号为{S1,S2,S3}，时延步数为2，并且连接阈值CTH＝1。si0和si1(1≤i≤3)表示在时间t和时间t-1的信号Si的测量，其在图7的神经网络中对应于节点Si0和Si1(1≤i≤3)。在此示例中，示出从神经网络的输入层到第一隐藏层的结构，因为这两个层对神经网络的拓扑的影响最大。可以看出，输入层处的节点数量为六个(即，数据信号的数量乘以时延步数)，第一隐藏层处的节点数量为三个(即，数据信号的数量)。第一隐藏层节点配置的目的是将与特定数据信号有关的特征集中到单个隐藏节点。
在此示例中，对于全连接TDNN，共有18个连接。使用信号连接矩阵730，在结构化TDNN中18个连接减少为10个连接。例如，c12＝1＝CTH指示信号S1可影响信号S2。因此，从S10和S11到H12的收集是重要的，因为H12用于收集信号S2的信息。另一方面，c13＝0<CTH指示从S10和S11到H13的连接不重要，因此可从神经网络去除。
图8A和图8B示出全连接自动编码器神经网络与根据一些实施方式构造的结构化自动编码器神经网络之间的实验结果比较。具体地，图8A示出全连接自动编码器神经网络的实验结果，图8B描绘了对应结构化自动编码器神经网络的实验结果。Y轴表示测试误差，X轴表示时间索引，其将数据收集时间转换为整数索引，使得时间索引的值与数据测量的时间唯一对应。数据收集自真实制造生产线，具有未标记训练数据集合和测试数据集合(即，操作时间数据)。在测试数据收集期间，在生产线中发生异常。需要异常检测方法来检测测试数据是否异常。如果是，则需要检测异常发生时间。
对于测试误差阈值810＝0.018，图8A示出全连接自动编码器神经网络检测到两个异常，一个与测试误差820对应，另一个与测试误差830对应。与测试误差820对应的异常是虚警，与测试误差830对应的异常是真异常。另一方面，结构化自动编码器神经网络仅检测到与测试误差840对应的真异常。因此，结构化自动编码器神经网络比全连接自动编码器神经网络更准确。图8A和图8B还示出通过两个方法检测到的真异常的异常时间索引相同，其对应于比实际异常发生时间晚2秒的时间。
示例性实施方式
图9示出根据一些实施方式的用于控制包括导致多个事件的多个信号源的系统的设备900的框图。系统的示例是制造生产线。设备900包括被配置为执行所存储的指令的处理器920以及存储可由处理器执行的指令的存储器940。处理器920可以是单核处理器、多核处理器、计算集群或任何数量的其它配置。存储器940可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器系统。处理器920通过总线906连接到一个或更多个输入装置和输出装置。
这些指令实现一种检测和/或诊断系统的多个事件中的异常的方法。设备900被配置为使用神经网络931来检测对象异常。这种神经网络在本文中被称为结构部分连接神经网络。训练神经网络931以诊断系统的控制状态。例如，可由训练器933使用训练数据离线训练神经网络931，以使用系统的操作数据934在线诊断异常。操作数据的示例包括在系统操作期间收集的来自信号源的信号，例如系统的事件。训练数据的示例包括在一段时间内收集的来自信号源的信号。该时间段可在操作/生产开始之前和/或是系统操作期间的时间间隔。
一些实施方式基于这样的认识：神经网络基于称为人工神经元或简称为神经元的连接单元或节点的集合。人工神经元之间的各个连接可从一个到另一个发送信号。接收信号的人工神经元可处理并将所处理的信号发送到与其连接的其它人工神经元。以这种方式，对于从另一神经元接收信号的神经元，发送神经元是该信号的源。
为此，一些实施方式基于这样的认识：神经网络的至少一些层的各个神经元可与制造系统中的信号源匹配。因此，制造系统中的信号源由神经网络的层中的神经元表示。以这种方式，神经网络中的神经元的数量可被选为表示制造系统的物理结构所需的最低程度。
另外，一些实施方式基于这样的认识：神经网络是尝试将精神或行为现象表示为简单单元的互连网络的突现过程的连接主义系统。以这种方式，神经网络的结构不仅可由神经网络的各个级别的多个神经元表示，而且可表示为那些神经元之间的连接。
一些实施方式基于这样的认识：当神经网络的神经元表示制造系统中的信号源时，神经网络的神经元之间的连接可表示制造系统中的信号源之间的连接。具体地，当且仅当对应信号源连接时，神经元才可连接。
一些实施方式基于这样的认识：为了异常检测的目的，两个不同信号源之间的连接是由这两个不同信号源发起的事件随后发生的频率的函数。例如，假定信号源是可将其状态从开状态改变为关状态的开关。状态的改变和/或状态的新值是源的信号。如果当第一开关改变状态时第二开关总是改变其状态，则那两个信号源强连接，因此神经网络中与这一对开关对应的神经元也连接。相反，如果当第一开关改变状态时第二开关从不改变其状态，则那两个信号源不连接，因此神经网络中与这一对开关对应的神经元也不连接。
实际上，总是跟随或从不跟随的事件很少发生。为此，在一些实施方式中，仅当一对不同信号源中事件随后发生的概率高于阈值时，这一对不同信号源在神经网络中才连接。该阈值取决于应用，并且可基于在训练数据(例如，用于训练神经网络)中这种随后发生的频率来选择事件随后发生的概率。
以这种方式，神经元的连接表示模仿制造系统内的连接的连接主义系统。为此，一些实施方式的神经网络变为具有基于事件排序关系的拓扑的部分连接网络，这降低了神经网络复杂度和训练时间，并改进了异常检测准确性。
神经网络931包括层序列，各个层包括节点(本文中也称为神经元)集合。至少输入层和输入层之后的第一隐藏层的各个节点对应于系统中的信号源。在神经网络931中，仅当一对不同信号源中事件随后发生的概率高于阈值时，与这一对不同信号源对应的邻近层的一对节点在神经网络中才连接。在许多实现方式中，神经网络931是部分连接神经网络。
为此，设备900还可包括存储装置930，存储装置930被设置为存储神经网络931和/或神经网络的结构932，包括表示受控系统中的事件序列的神经元及其连接的结构。另外，存储装置930可存储用于训练神经网络931的训练器933以及用于检测受控系统中的异常的数据939。存储装置930可使用硬盘驱动器、光盘驱动器、拇指驱动器、驱动器阵列或其任何组合来实现。
设备900包括输入接口以从受控系统的信号源接收信号。例如，在一些实现方式中，输入接口包括设备900内的人机接口910，人机接口910将处理器920连接到键盘911和指点装置912，其中，指点装置912可包括鼠标、轨迹球、触摸板、操纵杆、指点杆、手写笔或触摸屏等。
另外地或另选地，输入接口可包括网络接口控制器950，网络接口控制器950被设置为通过总线906将设备900连接到网络990。通过网络990，可下载来自受控系统的信号995并存储在存储系统930内作为训练和/或操作数据934以便于存储和/或进一步处理。网络990可以是将设备900连接到受控系统的源或受控系统的接口以用于提供可用于诊断的信号和信号的元数据的有线或无线网络。
设备900包括控制器以执行根据系统的控制状态选择的控制动作。可基于受控系统的类型来配置和/或选择控制动作。例如，控制器可渲染诊断结果。例如，设备900可通过总线906链接到被设置为将设备900连接到显示装置965的显示接口960，其中，显示装置965可包括计算机监视器、相机、电视、投影仪或移动装置等。
另外地或另选地，控制器可被配置为基于诊断结果直接或间接控制系统。例如，根据一个实施方式，设备900可连接到被设置为将设备连接到受控系统975的系统接口970。在一个实施方式中，响应于检测到异常，控制器执行停止或更改受控制造系统的制造过程的命令。
另外地或另选地，控制器可被配置为基于诊断结果来控制不同应用。例如，控制器可将诊断结果提交给不直接涉及制造工艺的应用。例如，在一些实施方式中，设备900通过总线906连接到应用接口980，总线906被设置为将设备900连接到可基于异常检测结果而操作的应用装置985。
在一些实施方式中，基于受控系统的结构来选择神经元的结构932。例如，在一个实施方式中，在神经网络931中，输入层中的节点数量等于系统中的信号源的数量的倍数。例如，如果倍数等于一，则输入层中的节点数量等于系统中的信号源的数量。以这种方式，各个节点可与源信号匹配。然而，在一些实现方式中，倍数大于一，使得多个节点可与公共信号源关联。在那些实现方式中，神经网络是时延神经网络(TDNN)，并且输入层中的节点数量的倍数等于TDNN的延迟时间步数。
另外，隐藏层中的节点数量也可基于源信号的数量来选择。例如，在一个实施方式中，输入层之后的第一隐藏层中的节点数量等于信号源的数量。此实施方式还给予输入层以物理含义以表示受控系统的物理结构。另外，此实施方式允许神经网络中第一最重要的连接层(即，输入层与第一隐藏层之间的连接)表示由节点表示的系统中的事件之间的连接。具体地，输入层基于不同信号源中事件随后发生的概率部分地连接到第一隐藏层。
在各种实施方式中，一对不同信号源中事件随后发生的概率是在一段时间内收集的信号中事件随后发生的频率的函数。例如，在一些实现方式中，在一对不同信号源中事件随后进行的发生是按照系统的所有事件的时序进行的事件的连续发生。在另选实现方式中，随后发生可允许预定数量的中间事件。此实现方式向神经网络的结构添加了灵活性，从而使得神经网络可适于异常检测的不同要求。
图10A示出根据一个实施方式的神经网络训练器933用来训练神经网络931的方法的框图。在此实施方式中，从事件随后发生的概率确定神经网络的结构932，该概率继而是事件随后发生的频率的函数。为此，实施方式评估在一段时间内收集的来自信号源的信号1005以针对成对信号源的不同组合确定1010在一段时间内事件随后发生的频率1015。例如，实施方式如图4A、图4B、图5A和图5B及其对应描述所示确定频率。
接下来，实施方式基于在一段时间内事件随后发生的频率针对成对信号源的不同组合确定1020事件随后发生的概率1025。实施方式可使用频率的各种统计分析来推导概率1025。例如，一些实现方式使用式(2)来确定一对信号的事件随后发生的概率。
此实施方式基于这样的认识：复杂制造系统可具有固有频率不同的不同类型的事件。例如，系统可被设计为使得在正常操作下，第一事件比第二事件频繁十倍。因此，第二事件仅有十分之一出现在第一事件之后的事实本身不指示第二事件对第一事件的依赖强度。统计方法可在确定随后发生的概率1025时考虑事件的自然频率。在这种情况下，随后发生的概率至多为0.1。
在确定概率之后，实施方式比较1030成对信号源的不同组合的事件随后发生的概率1025与阈值1011，以确定神经网络1035的连接结构。此实施方式允许使用单个阈值1011，这简化了其实现。连接结构的示例是图6A的连接矩阵600和图6B的610。
图10B示出根据另选实施方式的神经网络训练器933用来训练神经网络931的方法的框图。在此实施方式中，直接从随后发生的频率1015确定神经网络的连接结构1035。实施方式比较1031成对信号源的不同组合的事件随后发生的频率1015与一个或多个阈值1012，以确定神经网络的连接结构1035。此实施方式比图10A的实施方式更具确定性。
在确定神经网络的连接结构1035之后，图10A和图10B的实施方式根据神经网络的结构1035来形成1040神经网络1045。例如，神经网络包括输入层、输出层和多个隐藏层。神经网络的输入层中的节点数量等于系统中的信号源的数量的第一倍数，输入层之后的第一隐藏层中的节点数量等于信号源的数量的第二倍数。第一倍数和第二倍数可相同或不同。另外，输入层根据连接结构部分地连接到第一隐藏层。
接下来，实施方式使用在一段时间内收集的信号1055来训练1050神经网络1045。信号1055可与信号1005相同或不同。训练1050优化神经网络1045的参数。训练可使用不同方法来优化网络的权重(例如，随机梯度下降)。
本发明的上述实施方式可按许多方式中的任一种来实现。例如，实施方式可使用硬件、软件或其组合来实现。当以软件实现时，软件代码可在任何合适的处理器或处理器集合(无论设置在单个计算机中还是分布于多个计算机)上执行。这些处理器可被实现为集成电路，在集成电路组件中具有一个或更多个处理器。处理器可使用任何合适格式的电路来实现。
另外，本发明的实施方式可被具体实现为一种方法，已提供其示例。作为该方法的一部分执行的动作可按照任何合适的方式排序。因此，可构造以与所示不同的次序执行动作的实施方式，其可包括同时执行一些动作，尽管在例示性实施方式中作为顺序动作示出。
在权利要求中使用诸如“第一”、“第二”的序数词修饰权利要求元素本身并不暗示一个权利要求元素相比于另一权利要求元素的任何优先或次序或者方法动作执行的时间次序，而是仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称(但使用序数词)的另一元素相区分，以区分权利要求元素。
