自动巡检图像风格迁移显示方法
技术领域
本发明属于一种自动巡检图像风格迁移显示方法，涉及一种以电力能源设备监控为代表的自动巡检图像风格迁移显示方法。
背景技术
电力设备巡检绝大部分都是人为方式进行巡检，但是随着科技的进步，很多巡检已经可以由远程设备进行代替，例如巡检机器人、通过固定摄像头进行巡检图像回传。通过传感器对设备进行远程检测数据的汇总等等，此类情况越来越多，通过这些技术的运用，能够有效降低设备巡检的难度，提高设备巡检的可靠性。但是，由于目前检测设备越来越多，巡检回传的数据内容也越来越多，导致，检测数据和巡检的设备外观混合之后，一张图片上存在有太多的检测数据，无法突出重点，人工在查看的过程中，需要面对太多的数据，过于复杂，不能直观清晰的进行判断，对应巡检内容造成一定的阻碍。本技术方案应用了图像风格迁移技术，使用神经网络将一张图片的语义内容与不同风格融合起来的过程被称为图像风格迁移。以下为图像风格迁移技术在国内的一些发展成果：
中国国家专利申请号CN201910230500.7，公开了一种图像风格迁移方法及系统。该发明的风格迁移方法包括如下步骤：建立艺术风格迁移网络模型；确定所述艺术风格迁移网络模型的损失函数；获取训练集；利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。该发明基于艺术风格迁移网络模型对内容图像进行艺术风格迁移提高了风格迁移的速度，并且基于损失函数对艺术风格迁移网络模型进行训练，使训练后的艺术风格迁移网络模型输出的生成图像更加有艺术性和艺术价值，解决了现有的风格迁移方法存在的艺术风格丢失或艺术风格迁移不完全的技术问题；
中国国家专利申请号CN201911141240.2，公开了一种图像的风格迁移方法、装置、终端及存储介质，属于图像处理领域，该申请实施例从终端的存储组件中获取目标图像，再获取n种图像风格各自对应的权重，根据n种图像风格中每一种图像风格对应的权重和独立风格迁移参数，生成混合风格迁移参数，根据该混合风格迁移参数对目标图像进行风格迁移，其中，n种图像风格各自对应的权重之和为1，n为不小于2的正整数。由于终端能够在获取目标图像之后，通过至少两种图像风格生成混合风格迁移参数，最终通过混合风格迁移参数处理目标图像得到多种风格混合的图像，增强了图像在风格迁移处理方式上的多样性和效果。
显然，以相关技术为基础而开发的各种图像处理软件和滤镜应用一经推出就吸引了海量用户，属于极为成功的技术。但是，目前风格迁移技术的应用仅仅局限于照片的艺术化这一领域，在工业应用场景中还缺少实质性的使用。
发明内容
本发明解决了现有技术仅仅对于数据的显示一味的堆叠，导致数据量过于巨大，容易出现较多的干扰项，在设备远程巡检等方面，反而不容易突出重点的问题，提供一种以电力能源设备监控为代表的自动巡检图像风格迁移显示方法。
本发明解决其技术问题所采用的技术方案是：一种自动巡检图像风格迁移显示方法，其特征在于：适用于电力设备自动巡检时图像采集的预处理，包括以下步骤：
步骤一，获取目标设备的实时图像形成内容图片进行采集并通信传输；
步骤二，通过目标设备处的检测传感器获取目标设备的实时检测数据并通信传输；
步骤三，将目标设备的检测数据转换成至少一张风格图片；
步骤四，在目标设备的检测数据中选择若干个数据，作为直接内容在内容图片的设定位置上进行显示，然后再利用风格图片通过神经网络的方式将内容图片根据所需的每一张风格图片都进行对应的风格化处理，风格化处理的占比由人工设定；
步骤五，根据风格化处理后的图像内容进行设备远程巡检；
在所述步骤四中，利用风格图片通过神经网络的方式将内容图片进行风格化处理包括以下步骤：
风格化子步骤一，依据检测数据的内容、计算资源以及使用资源利用率生成自适应的神经网络模型；
风格化子步骤二，对图片的风格特征和内容特征进行提取，使得图片的内容和风格的表示处于可分离状态；
风格化子步骤三，分别构造用于数据化表示迁移图片与输入图片之间的差异的内容损失表达式和风格损失表达式；
风格化子步骤四，对内容图片进行添加噪声处理，将生成的图片作为初始的迁移图片；
风格化子步骤五，将当前的迁移图片送入神经网络模型进行特征提取；
风格化子步骤六，通过内容损失表达式来评价生成的风格化图像；
风格化子步骤七，根据评价对风格化图片进行进一步修改，然后重复执行风格化子步骤五直到迭代结束；
风格化子步骤八，生成风格化的内容图片信息。
本发明的主要创造点就在于，将部分直接需要数据转换为内容图片，部分间接需要的数据转换为风格图片，利用风格化的图片的差异引起或隐藏使用者的注意，从而既能保证突出数据内容的重点，又能保证在使用时起到指示作用，迈出了风格化迁移在工业应用场景中实质性的一步。本发明使用的时候，首先拍摄的是设备的外观图片，这个拍摄的时候需要将目标设备的标号、拍摄时间等信息都进行录入，这些信息直接对应查询到拍摄到的设备的类型和型号，此时通过目标设备处的检测传感器获取目标设备的实时检测数据，这些实时监测数据中根据设定选择主要检测数据和相对不重要的检测数据，将重要的检测数据根据固定格式和位置复合到目标设备的外观图像的固定位置，例如是左上角等空白位置，而不重要的检测数据则可以转换成为风格图片。本发明中选用的较多的是热力图，可以将热力图作为底图，复合一些检测数据进行变换，形成对应的风格图，再将内容图和风格图在神经网络中进行风格化融合。融合后的图片，主要能够显示设备外观图和主要检测数据，同时内容图片的风格又与风格图片相近，此时，若热力图等次要的数据变化在一定范围内时，内容图片的风格能够保持一致，相同类型的设备都会处于同一个风格，若其中某个设备中，以热力图为代表的某个检测数据出现较大变动的时候，最终显示的图片的风格会出现较大的差异，在这个情况下，容易被人工进行检测到。因此在一般情况下，人工检测会更为突出重点的检测数据和外观完整性的内容，而在次要数据有较大变动的时候则图片的整体风格变化，能够凸显出不协调性，提醒使用者注意和进行人工审核。在本发明中，核心的技术之一就是基于平台设备分配资源的图像风格迁移，本发明在每个网络配置,可以估计每一层资源利用率,并使用它来决定是否增加或减少通道的层数。本发明可以根据输入风格图片占比，来显示风格迁移图片。通过这个技术内容在电气巡检方面的利用，最终得到一个容易突出重点，又能在必要时进行风格化变化来进行提醒的设备自动巡检图像风格迁移显示方法。
作为优选，在所述步骤一中，获取的内容图片包含有时间信息和目标设备的标号信息，目标设备处的检测传感器获取目标设备的实时检测数据通过时间信息和标号信息与内容图片进行对应关联。
作为优选，在所述步骤一和步骤二中，获取目标设备的实时图像和检测传感器获取目标设备的实时检测数据后通过分布式消息队列RabbitMQ将所有数据进行存储，当消息数量达到设定值后检测数据被写入分布式文件系统中。利用分布式消息队列RabbitMQ将实时数据进行缓存，当消息数量达到设定值后数据被写入分布式文件系统，为同时处理多批次用户图像数据提供了基础条件。
作为优选，在所述步骤四中，利用风格图片通过神经网络的方式将内容图片进行风格化处理的风格化子步骤一和风格化子步骤五中，依据检测数据的内容、计算资源以及使用资源利用率生成自适应的VGG-19神经网络模型；
在风格化子步骤七中，根据评价对风格化图片进行进一步修改，若需要修改则采用的是梯度下降算法最小化损失函数，使得白噪声图像在迭代过程中匹配风格图像的风格特征表示和内容图像的内容特征表示，最终完成图像风格迁移，即通过梯度下降算法找到一个使得损失函数最小的点，并根据这个损失函数的点对图像进行更新，然后重复执行风格化子步骤五直到迭代结束。
本发明中，分布式消息队列RabbitMQ将实时数据进行存取；依据数据以及资源大小，使用资源利用率生成平台自适应的网络结构以供平台使用。图片信息提取的特征，围绕风格特征与内容特征进行，要做到利用卷积神经网络使得图片的内容和风格的表示是可分离的。对风格图片和内容图片提取的特征，可以分别构造内容损失和风格损失表达式。损失指的是生成的迁移图片与输入图片之间的差异的数据化表示，从而衡量迁移图片和两张输入图片之间的距离，为下一步优化迁移图片做准备。本发明中需要规范建立广播和缓存特征运行数据的格式规范。本发明中通过损失函数评价系统生成的图像并根据评价结构修改图片，重复若干次直到迭代结束。最后显示生成的结果图片。本发明中的数据获取是基于用户服务的总线，采用数据接口、数据中心共享、网络隔离下的安全文件传输等方式，分布式消息队列RabbitMQ将实时数据进行存取的流程有下列几步。更具体的是：首先，客户端连接到消息队列服务器，打开一个channel。然后，客户端声明一个exchange，并设置相关属性。再次，客户端声明一个queue，并设置相关属性。更次，客户端使用routing key，在exchange和queue之间建立好绑定关系。最后，客户端投递消息到exchange。exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里。本发明为确保获取数据的准确性和一致性，对系统运行数据及设备信息的源系统包括图像风格迁移系统、图像风格迁移系统、RabbitMQ等，参考其本身描述的数据情况着手建立规范，并作为获取的数据的最终解释。另外，本发明中的资源配置方式，通过不同平台配置设置网络大小；其目标是优化资源大小(浮点运算)，并为此计算资源利用率；在网络的每一层上都定义了资源利用率，用于测量通过增加该层上的单位资源大小获得的精度增益；可以估计每个卷积层的状态，同时优化通道数；通过这种策略可以找到计算效率高的网络。
作为优选，将目标设备的检测数据中的数据类别进行区分，根据设定，存在热力图时直接将热力图作为风格图片。利用热力图作为风格图片是本发明的一种最为简单常见的利用。
作为优选，将目标设备的检测数据中的数据类别进行区分，根据设定，若需要将热力图和另外一维数据融合的，则直接将热力图作为底图，另外一维数据作为热力图的色彩调整值，将热力图进行色彩调整,调整后的热力图即为对应内容图片的风格图片。本发明的设计，除了热力图之外，还可以将油色谱中的油量等数据作为一维数据对热力图进行图像调节，调节之后形成新的风格图片，类似的同一类设备都能形成相同风格的图片显示。
作为优选，将目标设备的检测数据中的数据类别进行区分，根据设定，利用检测数据调节颜色的变化和深浅作为标图，配合底图将离散的数据通过密度云图的方式进行成像,形成风格图片。底图可以是热力图或者是通过检测数据形成渐变色图片作为底图。以上种种优选的风格图片，都是由人工根据设备特性和使用方式、方法在进行预先设定后，根据设定获取的。设定的方式包括但不局限于使用热力图作为底图以及使用时间、检测数据值的柱状色彩图、折线图作为底图、使用云图作为底图等等各种形式。一般只需要选择合适的数据作为底图、标图并形成对应的风格图片。所有功能种类相似的设备，选择的用于进行风格图片生成的检测数据应该相同或相似，在生产检测数据时应当选用同一种方式进行生成。此时，由于设备一致、选用的参数一致、使用的生产风格图片的方法一致，虽然风格图片在细节上存在较大的差异，但是只要数据差异在一定范围内，那么其整体的风格都会保持一致，因此风格图片就会形成一致性。此时，对内容图片进行风格迁移，内容图片的内容被保留，而图片显示的风格趋向一致，重要数据直接在内容图片中进行显示。而当风格不一致的图片出现时，使用者就容易有所察觉，这样就将大量次重量的信息进行了隐藏，又能够巧妙的进行提醒，实现了巡查内容的重点突出。
作为优选，将目标设备的检测数据中的数据类别进行区分，根据设定，需要频域风格分析的，将存在电压或电流的时域波形图进行傅里叶变换，然后将变换后得到的频域数值通过渐变色方式形成频域图作为风格图片；将变换后得到的频域数值与时域波形结合通过渐变色形成复频域图作为风格图片。此技术方案较为复杂，需要较强的算力支持，但是此技术方案依然是本发明所能实现的一种技术方案。
作为优选，在所述神经网络模型使用时，都需要估计每一层资源利用率，并根据资源使用率通过对应的系数对神经网络模型的网络宽度和深度进行缩放，当资源使用率要求神经网络模型的网络宽度和深度的调整数量超过阈值时，神经网络模型对输入图像的分辨率系数也进行对应的调整。本发明中，对神经网络采用了在一定比例的深度和宽度的缩放，卷积神经网络中宽度与卷积层中滤波器的数量相关联。分辨率就是输入图像的大小，深度则由叠加更多卷积层的方式来进行增加，一般情况只对网络的深度和宽度进行设定比例的调节。只有当网络宽度和深度的调整数量超过阈值时，神经网络模型才对输入图像的分辨率系数也进行对应的调整。缩放网络的宽度可以让各层了解更多细粒度的特征，但是精度的提高并不和缩放网络的宽度、深度直接呈正比。因此，估计每一层资源利用率选用合适的网络的宽度、深度，在精度选择上获得最优。本技术方案中，确定缩放模型中的所有层/阶段都将使用与基线网络相同的卷积操作且所有的图层必须以恒定的比例均匀缩放。
作为优选，所述电力设备自动巡检采用自动机器人进行巡检，巡检的拍摄位置处设置有拍摄二维码，自动机器人根据导航路线到达拍摄位置处扫描拍摄二维码后，拍摄二维码对应的内容包括目标设备的标号信息、拍摄的方向和距离以及拍摄参数，自动机器人以拍摄二维码对应的拍摄参数对电力设备进行拍摄，每个电气设备对应的一个拍摄参数是固定的；步骤一中，目标设备的实时图像形成内容图片中首先进行了一次自动调整动作，所述自动调整动作的执行以录制宏的方式进行，所述自动调整动作至少包括裁切动作，所述裁切动作的范围沿用初次拍摄时手工裁切的范围。
本发明在进行拍摄的时候需要用到机器人或者类似的巡检设备，由于本发明的拍摄需要保证拍摄的角度和位置、距离等拍摄要素，因此可以在巡检的路线上设置二维码，由二维码将目标设备的标号信息、拍摄的方向和距离以及拍摄参数进行存储，自动机器人或其他巡检设备在读取二维码后，根据二维码给出拍摄的方向和距离以及拍摄参数进行拍摄，并将目标设备的标号信息与之关联，从而形成相同构图结构的图片。此时，可以通过记录第一次人工裁剪加工信息的方式来大幅度缩减后续算力要求，记录第一次人工裁剪加工信息的方式可以是以录制宏的方式来完成。更进一步的，风格化处理的占比由人工设定，这个占比值也在可以是以宏的形式读取上一次保存的占比值。通过这样设置，可以去除大量无效信息，降低输入图片的数据量，且由于同一设备所有的外观保持一致，在出现细微差异时能够更好的进行对比。
本发明的实质性效果是：在本发明中，核心的技术之一就是基于平台设备分配资源的图像风格迁移，本发明在每个网络配置,可以估计每一层资源利用率,并使用它来决定是否增加或减少通道的层数。本发明可以根据输入风格图片占比来显示风格迁移图片，风格图片就会形成一致性。此时，对内容图片进行风格迁移，内容图片的内容被保留，而图片显示的风格趋向一致，重要数据直接在内容图片中进行显示；而当风格不一致的图片出现时，使用者就容易有所察觉，这样就将大量次要的信息进行了隐藏，又能够巧妙的进行提醒，实现了巡查内容的重点突出。通过这个技术内容在电气巡检方面的利用，最终得到一个容易突出重点，又能在必要时进行风格化变化来进行提醒的设备自动巡检图像风格迁移显示方法。
附图说明
图1为本发明中风格化迁移的一种流程示意图；
图2为本发明的一种整体流程示意图。
具体实施方式
下面通过具体实施例，对本实施例的技术方案作进一步的具体说明。
实施例1：
一种自动巡检图像风格迁移显示方法（参见附图2），适用于电力设备自动巡检时图像采集的预处理，所述电力设备自动巡检采用自动机器人进行巡检，包括以下步骤：
步骤一，获取目标设备的实时图像形成内容图片进行采集并通信传输；
本实施例中的内容图像由人工设定，主要是以设备外观为主，并以需要直接显示的设备主要检测数据为辅。
巡检的拍摄位置处设置有拍摄二维码或其他能够使得自动机器人实现按照预定参数进行拍摄的内容记录方式，本实施例中，自动机器人的巡检方式包括磁导航、二维码导航等方式，本实施例以磁导航配合二维码扫描举例。自动机器人根据导航路线到达拍摄位置处扫描拍摄二维码后，拍摄二维码对应的内容包括目标设备的标号信息、拍摄的方向和距离以及拍摄参数，自动机器人以拍摄二维码对应的拍摄参数对电力设备进行拍摄，每个电气设备对应的一个拍摄参数是固定的，即等同于上一次保存的拍摄参数；因此，步骤一中，目标设备的实时图像形成内容图片中首先进行了一次自动调整动作，所述自动调整动作的执行以录制宏的方式进行，所述自动调整动作至少包括裁切动作，即人工方式将设备主要部分的大体轮廓作为选区进行选择，从而去除多余附加内容。所述裁切动作的范围沿用初次拍摄时手工裁切的范围或者是上次保存的手工裁切范围。需要特别指出的是，本实施例中并不限定单台设备的内容图片为一张，每台设备的内容图片可以有多张。
本实施例在进行拍摄的时候需要用到机器人或者类似的巡检设备，由于本实施例的拍摄需要保证拍摄的角度和位置、距离等拍摄要素，因此可以在巡检的路线上设置二维码，由二维码将目标设备的标号信息、拍摄的方向和距离以及拍摄参数进行存储，自动机器人或其他巡检设备在读取二维码后，根据二维码给出拍摄的方向和距离以及拍摄参数进行拍摄，并将目标设备的标号信息与之关联，从而形成相同构图结构的图片，此时，可以通过记录第一次人工裁剪加工信息的方式来大幅度缩减后续算力要求，记录第一次人工裁剪加工信息的方式可以是以录制宏的方式来完成。更进一步的，风格化处理的占比由人工设定，这个占比值也在可以是以宏的形式读取上一次保存的占比值。通过这样设置，可以去除大量无效信息，降低输入图片的数据量，且由于同一设备所有的外观保持一致，在出现细微差异时能够更好的进行对比。
步骤二，通过目标设备处的检测传感器获取目标设备的实时检测数据并通信传输；
在所述步骤一和步骤二中，获取目标设备的实时图像和检测传感器获取目标设备的实时检测数据后通过分布式消息队列RabbitMQ将所有数据进行存储，当消息数量达到设定值后检测数据被写入分布式文件系统中。利用分布式消息队列RabbitMQ将实时数据进行缓存，当消息数量达到设定值后数据被写入分布式文件系统，为同时处理多批次用户图像数据提供了基础条件。
步骤三，将目标设备的检测数据转换成至少一张风格图片；本实施例中，所有的检测数据中哪些转换成风格图片、转换为几张风格图片、如何装换为风格图片，都在初次处理时由人工进行设定，设定完成之后，进行相应的记录，之后，一般情况下，日常操作即为在相同的设备上，执行相同的操作。检测数据转换成风格图片的方式较多，以下为简单的举例：
甲设备，以最高温度为主要检测数据，热力图为辅助，拍摄时，将甲设备的外观作为内容图片，将最高温度直接显示在内容图片的右上空闲处，然后将目标设备的检测数据中的数据类别进行区分，根据设定，由于存在热力图，所以直接将热力图作为风格图片。由于热力图的摄取较为简单，且自动机器人上可以配置有热成像检测装置，因此依次拍摄时，能够同步获取热力图，所以利用热力图作为风格图片是本实施例的一种最为简单常见的利用，且热力图的风格差异性较为明显，如，一般在左上角热量较低，右下角热量较高，则在图片中的显示会呈现出一种对应的图像风格，而当左上角热量异常变高时，呈现的图片风格则完全与之前不同，在进行风格转移时特别容易被发现。
乙设备，以最高温度和当前电压为主要检测数据，热力图和当前电流为辅助，将目标设备的检测数据中的数据类别进行区分，根据设定，需要将热力图和另外一维数据，即电流值进行融合的，则直接将热力图作为底图，另外一维数据即电流值作为热力图的色彩调整值，将热力图进行色彩调整，调整后的热力图即为对应内容图片的风格图片。本实施例的设计，除了热力图之外，还可以将油色谱中的油量等数据作为一维数据对热力图进行图像调节，调节之后形成新的风格图片，类似的同一类设备都能形成相同风格的图片显示。
除上述最为常见的方式外，还包括将目标设备的检测数据中的数据类别进行区分，根据设定，利用检测数据调节颜色的变化和深浅作为标图，配合底图将离散的数据通过密度云图的方式进行成像，形成风格图片。底图可以是热力图或者是通过检测数据形成渐变色图片作为底图。以上种种优选的风格图片，都是由人工根据设备特性和使用方式、方法在进行预先设定后，根据设定获取的。设定的方式包括但不局限于使用热力图作为底图以及使用时间、检测数据值的柱状色彩图、折线图作为底图、使用云图作为底图等等各种形式，一般只需要选择合适的数据作为底图、标图并形成对应的风格图片，所有功能种类相似的设备，选择的用于进行风格图片生成的检测数据应该相同或相似，在生产检测数据时应当选用同一种方式进行生成，此时，由于设备一致、选用的参数一致、使用的生产风格图片的方法一致，因此，虽然风格图片在细节上存在较大的差异，但是只要数据差异在一定范围内，那么其整体的风格都会保持一致，因此风格图片就会形成一致性。此时，对内容图片进行风格迁移，内容图片的内容被保留，而图片显示的风格趋向一致，重要数据直接在内容图片中进行显示，而当风格不一致的图片出现时，使用者就容易有所察觉，这样就将大量次要的信息进行了隐藏，又能够巧妙的进行提醒，实现了巡查内容的重点突出。
最后比较复杂的一种实现方式如下：将目标设备的检测数据中的数据类别进行区分，根据设定，需要频域风格分析的，将存在电压或电流的时域波形图进行傅里叶变换，然后将变换后得到的频域数值通过渐变色方式形成频域图作为风格图片；将变换后得到的频域数值与时域波形结合通过渐变色形成复频域图作为风格图片。此技术方案较为复杂，需要较强的算力支持，但是此技术方案依然是本实施例所能实现的一种技术方案。
步骤四，在目标设备的检测数据中选择若干个数据，作为直接内容在内容图片的设定位置上进行显示，然后再利用风格图片通过神经网络的方式将内容图片根据所需的每一张风格图片都进行对应的风格化处理，风格化处理的占比由人工设定；设定中风格化的占比越高则风格化的特征越明显，但是内容图片损失也会相应增加。
在所述步骤四中，利用风格图片通过神经网络的方式将内容图片进行风格化处理包括以下步骤：
风格化子步骤一，依据检测数据的内容、计算资源以及使用资源利用率生成自适应的神经网络模型；
风格化子步骤二，对图片的风格特征和内容特征进行提取，使得图片的内容和风格的表示处于可分离状态；
风格化子步骤三，分别构造用于数据化表示迁移图片与输入图片之间的差异的内容损失表达式和风格损失表达式；
风格化子步骤四，对内容图片进行添加噪声处理，将生成的图片作为初始的迁移图片；
风格化子步骤五，将当前的迁移图片送入神经网络模型进行特征提取；
风格化子步骤六，通过内容损失表达式来评价生成的风格化图像；
风格化子步骤七，根据评价对风格化图片进行进一步修改，然后重复执行风格化子步骤五直到迭代结束；
风格化子步骤八，生成风格化的内容图片信息。
在所述步骤四中，利用风格图片通过神经网络的方式将内容图片进行风格化处理的风格化子步骤一和风格化子步骤五中，依据检测数据的内容、计算资源以及使用资源利用率生成自适应的VGG-19神经网络模型；在风格化子步骤七中，根据评价对风格化图片进行进一步修改，若需要修改则采用的是梯度下降算法更新迁移图片的像素值，以生成内容图片的白噪声图像作为图像迭代的目标，然后重复执行风格化子步骤五直到迭代结束。在所述神经网络模型使用时，都需要估计每一层资源利用率，并根据资源使用率通过对应的系数对神经网络模型的网络宽度和深度进行缩放，当资源使用率要求神经网络模型的网络宽度和深度的调整数量超过阈值时，神经网络模型对输入图像的分辨率系数也进行对应的调整。
可选的损失函数包括绝对值损失函数、平方损失函数、感知损失函数、log对数损失函数等，在本实施例中具体的损失函数由人工进行设定，在所述神经网络模型使用时，都需要估计每一层资源利用率，并根据资源使用率通过对应的系数对神经网络模型的网络宽度和深度进行缩放，当资源使用率要求神经网络模型的网络宽度和深度的调整数量超过阈值时，神经网络模型对输入图像的分辨率系数也进行对应的调整。通过设计神经网络络宽度和深度的调整数可以形成有效的复合缩放方法来增加模型的尺寸，以达到最大的精度增益。
更为具体的是（参见附图1），分布式消息队列RabbitMQ将实时数据进行存取；依据数据，以及资源大小，使用资源利用率生成平台自适应的网络结构以供平台使用。图片信息提取的特征，围绕风格特征与内容特征进行，要做到利用卷积神经网络使得图片的内容和风格的表示是可分离的。对风格图片和内容图片提取的特征，可以分别构造内容损失和风格损失表达式。损失指的是生成的迁移图片与输入图片之间的差异的数据化表示，从而衡量迁移图片和两张输入图片之间的距离，为下一步优化迁移图片做准备。本实施例中需要规范建立广播和缓存特征运行数据的格式规范。本实施例中通过损失函数评价系统生成的图像并根据评价结构修改图片，重复若干次直到迭代结束。最后显示生成的结果图片。本实施例中的数据获取是基于用户服务的总线，采用数据接口、数据中心共享、网络隔离下的安全文件传输等方式，分布式消息队列RabbitMQ将实时数据进行存取的流程有下列几步。更具体的是：首先，客户端连接到消息队列服务器，打开一个channel。然后，客户端声明一个exchange，并设置相关属性。再次，客户端声明一个queue，并设置相关属性。更次，客户端使用routing key，在exchange和queue之间建立好绑定关系。最后，客户端投递消息到exchange。exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里。本实施例为确保获取数据的准确性和一致性，对系统运行数据及设备信息的源系统包括图像风格迁移系统、图像风格迁移系统、RabbitMQ等，参考其本身描述的数据情况着手建立规范，并作为获取的数据的最终解释。另外，本实施例中的资源配置方式，通过不同平台配置设置网络大小。其目标是优化资源大小(浮点运算)，并为此计算资源利用率。在网络的每一层上都定义了资源利用率，用于测量通过增加该层上的单位资源大小获得的精度增益。首先，可以估计每个卷积层的状态，同时优化通道数。通过这种策略可以找到计算效率高的网络。RabbitMQ分布式存储文件每一个RabbitMQ服务器都能创建虚拟消息服务器，我们称之为虚拟主机(vhost)，每个vhost本质上是一个mini版的RabbitMQ服务器，拥有自己的队列，交换器和绑定，已经自己的权限机制。vhost之于Rabbit就像虚拟机之于物理服务器一样：它既能将同一个Rabbit的众多客户区分开来，又可以避免队列和交换器的命名冲突。
默认情况下，重启RabbitMQ服务器后，那些队列(连同里面的消息)和交换器都会消失，原因在于每个队列和交换器的durable属性(默认为false)，将它设置为true，在崩溃或重启后就不需要重新创建队列(或者交换器)。但是这样不能保证消息幸免于重启。
为确保获取数据的准确性和一致性，对系统运行数据及设备信息的源系统包括图像风格迁移系统、图像风格迁移系统、RabbitMQ等，参考其本身描述的数据情况着手建立规范，并作为获取的数据的最终解释，如：
资源感知系统规范：制定接口协议方法，获取资源设备系统型号，内存大小，设备显卡型号，设备内存型号，设备最大运行速度，设备缓存区域大小，设备分辨率大小。
图像风格迁移系统规范：制定接口协议包含：获取平台内容图片数据，平台风格图片数据，平台迁移比例数据，以缓存风格图片数据，已缓存特征图信息，图片像素详细信息。
分布式消息队列RabbitMQ：制定Broker，简单来说就是消息队列服务器实体。
Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。
Queue：消息队列载体，每个消息都会被投入到一个或多个队列。
Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。
Routing Key：路由关键字，exchange根据这个关键字进行消息投递。
vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。
producer：消息生产者，就是投递消息的程序。
consumer：消息消费者，就是接受消息的程序。
channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。
步骤五，根据风格化处理后的图像内容进行设备远程巡检；在巡检的过程中发现有风格异常的图片，直接进行点击查看是能够获取内容图片、检测数据等所有原始数据的，根据原始数据，人工可以对故障与否、故障影响等内容进行后续的判断，从而获得一个较好的检测结果，若风格差异不大，则使用者会将主要注意力集中在具体的重要数据上，进行具体重要数据的对比，来进一步确定设备的状态。
实施例2：
本实施例与实施例1基本相同，不同之处在于，本实施例中，对神经网络采用了在一定比例的深度和宽度的缩放，卷积神经网络中宽度与卷积层中滤波器的数量相关联，分辨率就是输入图像的大小，深度则由叠加更多卷积层的方式来进行增加。 一般情况只对网络的深度和宽度进行设定比例的调节，只有当网络宽度和深度的调整数量超过阈值时，神经网络模型才对输入图像的分辨率系数也进行对应的调整。缩放网络的宽度可以让各层了解更多细粒度的特征。但是精度的提高并不和缩放网络的宽度、深度直接呈正比，因此，估计每一层资源利用率选用合适的网络的宽度、深度，在精度选择上获得最优。本技术方案中，确定缩放模型中的所有层/阶段都将使用与基线网络相同的卷积操作且所有的图层必须以恒定的比例均匀缩放。
综上所述，本实施例的主要创造点就在于，将部分直接需要数据转换为内容图片，部分间接需要的数据转换为风格图片，利用风格化的图片的差异引起或隐藏使用者的注意，从而既能保证突出数据内容的重点，又能保证在使用时起到指示作用，迈出了风格化迁移在工业应用场景中实质性的一步。本实施例使用的时候，首先拍摄的是设备的外观图片，这个拍摄的时候需要将目标设备的标号、拍摄时间等信息都进行录入，这些信息直接对应查询到拍摄到的设备的类型和型号，此时通过目标设备处的检测传感器获取目标设备的实时检测数据，这些实时监测数据中根据设定选择主要检测数据和相对不重要的检测数据，将重要的检测数据根据固定格式和位置复合到目标设备的外观图像的固定位置，例如是左上角等空白位置，而不重要的检测数据则可以转换成为风格图片。本实施例中选用的较多的是热力图，可以将热力图作为底图，复合一些检测数据进行变换，形成对应的风格图，再将内容图和风格图在神经网络中进行风格化融合，融合后的图片，主要能够显示设备外观图和主要检测数据，同时内容图片的风格又与风格图片相近。此时，若热力图等次要的数据变化在一定范围内时，内容图片的风格能够保持一致，相同类型的设备都会处于同一个风格，若其中某个设备中，以热力图为代表的某个检测数据出现较大变动的时候，最终显示的图片的风格会出现较大的差异，在这个情况下，容易被人工进行检测到，因此在一般情况下，人工检测会更为突出重点的检测数据和外观完整性的内容，而在次要数据有较大变动的时候则图片的整体风格变化，能够凸显出不协调性，提醒使用者进行注意和进行人工审核。在本实施例中，核心的技术之一就是基于平台设备分配资源的图像风格迁移，本实施例在每个网络配置,可以估计每一层资源利用率,并使用它来决定是否增加或减少通道的层数。本实施例可以根据输入风格图片占比，来显示风格迁移图片。通过这个技术内容在电气巡检方面的利用，最终得到一个容易突出重点，又能在必要时进行风格化变化来进行提醒的设备自动巡检图像风格迁移显示方法。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
