用于空间系统的智能音频分析装置（IAAA）和方法
相关申请的交叉引用
本申请要求Das等人于2018年2月28日提交的题为“INTELLIGENT AUDIO ANALYTICAPPARATUS （IAAA） AND METHOD FOR SPACE SYSTEM”的美国临时申请序列号62/636,498的优先权，该美国临时申请的公开内容通过引用以其整体并入本文。
技术领域
本公开总体上涉及音频系统，并且更特别地，涉及用于空间系统的智能音频分析装置（IAAA）和方法。
背景技术
除非本文中另外指示，否则本部分中描述的材料对于本申请中的权利要求而言不是现有技术，并且不通过包括在本部分中而被承认是现有技术。
发明内容
下文阐述了本文公开的某些实施例的概述。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面不旨在限制本公开的范围。实际上，本公开可以涵盖下面可能没有阐述的各种方面。
本公开的实施例涉及用于空间系统的智能音频分析装置（IAAA）和方法。IAAA包括处理器、计算机可读介质和通信模块。存储在计算机可读介质上的指令包括音频数据处理算法，该算法被配置为使用至少一个神经网络来标识和预测与空间系统相关联的即将发生的异常。
附图说明
当参考随附附图阅读某些示例性实施例的以下详细描述时，将变得更好地理解本公开的这些和其它特征、方面和优点，在随附附图中，贯穿于附图，相同的符号表示相同的技术，其中：
图1是根据本公开所述实施例的空间系统的简化框图；
图2是根据本公开所述实施例的智能音频分析装置（IAAA）的简化框图；
图3是根据本公开所述实施例的智能处理器模块的简化框图；
图4是根据本公开所述实施例的简化自动编码器网络架构；
图5是根据本公开所述实施例的接收音频状态向量的深度循环神经网络（DRNN）的示图；
图6是根据本公开所述实施例的用于连续监控机器操作状态的深度卷积神经网络（CNN）的示图。
具体实施方式
出于促进对本公开原理的理解的目的，现在将参考在附图中图示并在以下书面说明书中描述的实施例。应当理解，并不由此旨在对本公开的范围进行限制。应当进一步理解，本公开包括对所图示实施例的任何更改和修改，并且包括如本公开所属领域普通技术人员通常会想到的本公开的原理的进一步应用。
图1是根据本公开所述实施例的空间系统100的简化框图。系统100包括航天飞机102和耦合到航天飞机102下侧的助推器104。IAAA 106、108包括音频数据处理算法，该算法被配置为标识和预测与空间系统100相关联的即将到来的异常。IAAA 106、108可以位于航天飞机102、助推器104或其组合的各处。由IAAA 106、108执行的功能允许对错误的机器操作和恶化的机器健康或状况这二者进行分类，从而促进预防或校正措施，由此降低维护成本并限制系统的停机时间。IAAA 106、108分析音频/振动数据中的时间动态，并利用最先进的机器学习算法来用于进行时间序列异常检测和预测。一旦检测到信息，就将检测到的信息通信地传输到包括通知和云网络系统110的站。
图2是根据本公开所述实施例的IAAA 106或108的简化框图。IAAA 106、108通信地耦合到音频输入阵列112。在一个实施例中，音频输入阵列112可以包括多个麦克风、多个接收器或任何合适的声学换能器。在另一个实施例中，音频输入阵列112可以包括其它非音频输入，诸如振动传感器、加速度计、运动传感器或任何合适的感测单元。为了收集用于机器学习算法的训练数据，音频输入阵列112被安装在被测系统100（DUT）上或其附近。音频输入阵列112检测信号，并且然后检测到的信号被预处理，以移除任何竞争的环境或周围噪声，等等。在一个实施例中，预处理功能可以由音频输入阵列112执行。在一些实施例中，预处理功能可以由部署在音频输入阵列112中以形成音频输入阵列112的一部分或者位于音频输入阵列112之外并且通信地耦合到音频输入阵列112的预处理器来执行。如果预处理器位于音频输入阵列112之外，则预处理器可以由IAAA 106、108携带以形成IAAA 106、108的一部分。可替代地，预处理器可以是独立的计算机模块。音频输入阵列112不仅能够捕捉音频信号，音频输入阵列112还能够使用音频输入或者其它非声学换能器来捕捉振动信号。一旦捕捉到音频和/或振动信号，IAAA 106、108就估计系统100的操作状态以确定系统100是正常的还是异常的。监控/跟踪系统100的操作状态的能力揭示了系统100如何对不同类型的大气和压力等的引入做出反应。在IAAA 106、108内，提供了处理器114、存储器118和通信模块116。取决于应用的要求，在IAAA 106、108中可以包括诸如用户界面的其它计算机模块或任何合适的模块。音频分析算法被安装在处理器114中以用于执行。下面将提供音频分析算法的进一步详细描述。处理器114从存储器118接收用于基于音频的系统状态估计的分类参数，以及经由音频输入阵列112从系统100接收实时音频和/或振动流，并输出推断的系统状态，诸如对系统操作状态的具体影响。然后，估计的系统状态或异常被传递到通信模块116，其转而被传输到外部设备以用于进一步的统计分析。
一旦跟踪到系统100的负载分布/特性的影响，外部设备——诸如通信地耦合到IAAA 106、108的通知和云计算网络系统110——就可以通过利用基于音频分析的系统状态监控算法聚合来自包括每个实例和/或位置的各种位置的结果来进一步执行负载分布对系统100的影响的大规模时空分析。在一些实施例中，通知和云计算网络系统110包括作为部署在通知和云计算网络系统110中的两个分离模块的云计算模块和通知工具。在替代实施例中，云计算模块可以位于通知和云计算网络系统110外部的云网络中。在又一实施例中，云计算模块也是云网络。诸如程序或应用程序的可视化工具可以被安装在具有显示器的计算机上，所述显示器用于向用户显示正在进行的配电处理的状态或系统100的状态。通信地耦合到云计算模块的计算机机器可以是台式计算机、便携式计算机、膝上型计算机、平板电脑、可穿戴设备或任何合适的计算机机器。在IAAA 106、108检测到系统100中的异常机器状态的情况下，使用诸如工具、程序或应用程序的通知系统来通知诸如设施经理的适当人员。通知系统可以在任何合适的计算机机器上运行。取决于应用的要求，通知可以采取文本消息、电子邮件、语音邮件、可听声音、显示器、指示器的形式或任何合适的通知形式。在一些实施例中，通知系统、可视化工具和云计算模块中的任何一个都可以在单个计算机机器、多个机器、网络、服务器或其组合上运行。在一些实施例中，通知系统、可视化工具和云计算模块可以安装在同一站点、不同站点或多个站点中。
图3是根据本公开所述实施例的智能处理器模块114的简化框图。在一个实施例中，智能处理器模块114被部署在图2的IAAA 106、108中。在一些实施例中，智能处理器模块114可以是分离且独立的模块，并且通信地耦合到音频输入阵列112和IAAA 106、108。音频分析算法由音频信号处理来安装和驱动，以用于实现音频特征表示和机器学习能力。前述音频分析能力背后的信号处理和机器学习算法在很大程度上与特定的感测模态无关，并且因此，可以取决于系统100的应用场景适用于任何可用的时间序列信号，例如陀螺仪、磁力计、电流、阻抗和电容。事实上，将算法扩展为并入多模态感觉融合将使得更深的、也许是隐藏的依赖性和相关性被利用，并且因此改进对异常的预测和检测。如图中所描绘的，处理器114包括几个计算机可执行的程序或功能，诸如场景语法、模式分类学习器、监视信号和音频特征表示。处理器114还可以包括深度学习、音频特征学习和识别特征或程序。取决于应用的要求，其它计算机可执行程序或指令可以安装在处理器114中并由处理器114运行。
图4是根据本公开所述实施例的简化自动编码器网络架构。对于异常检测，可以使用自动编码器（AE）及其几个衍生物，诸如去噪AE、深度AE等等。AE依赖于信号子空间的低维潜在表示，当信号子空间被重构并与误差阈值耦合时，可以在正常数据和异常数据之间进行区分，即异常往往具有更大的重构误差。AE的上述衍生物通过增加鲁棒性和利用数据中可能存在的更深层的结构来改进标准AE的性能。如图中所描绘的，第一层L1对应于输入信号（例如，来自配电机器的音频/振动信号的FFT），并且第三层L3是该信号的重构版本。第二层L2是低维的潜在表示。编码器可以利用机器数据来训练，其中异常操作被假定为随着时间的经过而稀疏。对于那些离群信号，第三层L3处的重构误差将会很大。该误差大小可以用作对于异常检测的提示。
图5是根据本公开所述实施例的接收音频状态向量的深度循环神经网络（DRNN）的示图。与仅利用当前数据和已知分类器/异常之间的帧差或瞬时差的AE不同。进一步地，AE不保留可以用于预测导致异常的底层结构的任何时间信息。为了充分利用时间知识以作为预防性维护进行协助，深度循环神经网络（DRNN）是基于深度学习来预测何时将出现可能的异常的方法之一。
与基于帧的方法相比，DRNN能够对音频模式的时间动态进行建模，在基于帧的方法中，每个帧与一个标签相关联（例如，正常相对于不正常），而不计及时间上下文/变化。然而，在机器操作时间序列数据上训练DRNN涉及预先将收集的音频模式注释成不同的操作模式。利用这些经注释的数据，DRNN可以学习与正常配电操作相关联的突出音频模式，以及通过标识故障模式（例如，特定的变压器单元失效）来检测何时偏离到异常。由IAAA 106、108执行的DRNN不仅示出对与人类语音相关联的音频信号进行建模的非凡能力，IAAA 106、108还能够执行监控和异常检测/预测。
图6是根据本公开所述实施例的用于连续监控机器操作状态的深度卷积神经网络（CNN）的示图。用于连续监控机器操作状态的深度CNN可以安装在IAAA 106、108上以执行异常检测。深度CNN进一步促进云网络中的统计分析，以用于数据挖掘并且优化机器操作。基于CNN的分析适用于与系统100相关联的音频/振动。在一些实施例中，CNN可以用在有监督学习框架中。例如，首先，可以为不同的机器状态收集带有时间戳的数据，并且对应的时间音频-振动分段可以被转换成声谱图用于进一步分析。声谱图从此被作为自然的2D图像对待，并通过VGG网络（为图像识别设计的非常深的CNN）馈送，以识别特定的机器状态。由IAAA106、108执行的图中提供了深度CNN架构的概述。
上面描述的实施例已经通过示例的方式示出，并且应当理解，这些实施例可以是易于进行各种修改和具有替代形式的。应当进一步理解，权利要求不旨在限于所公开的特定形式，而是相反，覆盖落入本公开的精神和范围内的所有修改、等同物和替代。
本公开范围内的实施例还可以包括用于携带或具有存储在其上的计算机可执行指令或数据结构的非暂时性计算机可读存储介质或机器可读介质。这样的非暂时性计算机可读存储介质或机器可读介质可以是能够由通用或专用计算机访问的任何可用介质。作为示例而非限制，这样的非暂时性计算机可读存储介质或机器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储装置，或者可以用于以计算机可执行指令或数据结构的形式携带或存储期望的程序代码部件的任何其它介质。上述的组合也应该被包括在非暂时性计算机可读存储介质或机器可读介质的范围内。
实施例也可以在分布式计算环境中实践，其中任务由通过通信网络（通过硬连线链接、无线链接或其组合）链接的本地和远程处理设备来执行。
计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某一功能或一组功能的指令和数据。计算机可执行指令还包括由独立或网络环境中的计算机执行的程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等。计算机可执行指令、相关联的数据结构和程序模块表示用于执行本文所公开方法的步骤的程序代码部件的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现这样的步骤中描述的功能的对应动作的示例。
尽管已经参考各种实施例描述了该专利，但是应当理解，这些实施例是说明性的，并且本公开的范围不限于这些实施例。许多变化、修改、添加和改进都是可能的。更一般地，已经在上下文或特定实施例中描述了根据本专利的实施例。在本公开的各种实施例中，功能可以以不同的方式在框中分离或组合，或者利用不同的术语来描述。这些和其它变化、修改、添加和改进可以落在如所附权利要求中限定的本公开的范围内。
