带宽受限下基于生成对抗网络的图片处理和传输方法
技术领域
本发明涉及图片处理领域，具体的说，涉及了一种带宽受限下基于生成对抗网络的图片处理和传输方法。
背景技术
随着互联网的发展，人们对图像分辨率的要求不断提高，数据量也越来越大，这给数据传输和存储带来越来越大的压力，在带宽受限的网络中，图片数据传输面临着高延时等问题，这对更高倍率的数据压缩和传输技术的需求日益迫切。现有图像压缩技术是把图像先进行各种变换，主要是DCT变换和小波变换，如JPEG以及JPEG2000压缩算法，这些算法的能力十分有限。
随着机器学习的再一次兴起，生成对抗网络进行非监督式学习，即通过让两个神经网络相互博弈的方式进行学习，成为了图像处理的一大研究方向。
该方法由Goodfellow等人于2014年提出。它是基于深度学习的一种强大的生成模型，在图像处理方面也有着广泛的应用，如图像生成、风格迁移、文本与图像的相互转换、图像还原与修复、高质量图像生成等。
但目前对于图片压缩传输这方面的GAN研究还没有较为成熟的解决方案。
例如专利号为CN 201911032999.7、发明名称为：基于卷积神经网络的图像压缩优化方法的发明专利，通过编码器E、解码器d和对抗网络GAN的网络模型，进行对抗训练，然后对模型进行剪枝优化、再训练，最终获得图片压缩的优化方案，其中，剪枝优化的过程过于复杂，且需要借助其它学习框架，在实际应用过程中存在兼容性等障碍，需要做的工作量巨大。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供一种提取特征的能力更强、能够在带宽受限的网络中应用、训练难度更低的带宽受限下基于生成对抗网络的图片处理方法以及图片传输方法。
为了实现上述目的，本发明所采用的技术方案是：一种带宽受限下基于生成对抗网络的图片处理方法，其特征在于：包括以下步骤：
1)获取大量的图片数据，进行预处理，为深度模型训练提供素材；
2)构建由生成器和判别器组成的生成对抗网络，使用预备好的素材训练特征还原生成器G；
3)构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，使用预备的素材训练特征提取编码器E；
训练好的特征提取编码器E用于图片特征的提取，训练好的特征还原生成器G用于解压。
基上所述，步骤2)中，所述特征还原生成器G通过下列公式进行训练：
其中，G′指生成器、D指判别器，生成器G′由特征提取编码器F和特征还原生成器G组成，z指随机噪声，x指输入图片，y是x重构的目标图片，生成器和判别器均为卷积神经网络，用于训练该特征还原生成器G的特征提取编码器F在将特征还原生成器G训练完成后弃用。
基上所述，所述特征提取编码器E通过以下公式进行训练：
其中，x指输入图片，y指重构目标图片，G指特征还原生成器，H指转换函数，df(Py，Px)是输入分布Px和重构分布Py的距离，采用Wasserstein Distance作为度量方式。
一种基于所述的带宽受限下基于生成对抗网络的图片处理方法的图片传输方法，包括以下步骤：
1)将特征提取编码器E和特征还原生成器G分别部署在带宽受限的NB-IoT数据传输网络的发送端和接收端；
2)待发送的图片由特征提取编码器E进行编码，从发送端发出；
3)接收端收到数据后，提取其中的参数，通过特征还原生成器G处理得到目标图片。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明先用一对生成器和判别器组成的对抗网络训练特征还原生成器G，然后在将特征还原生成器G剥离，构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，训练特征提取编码器。图像传输处理的场景下，在不同的压缩比率下编码器能够生成与原始数据分布一致的编码，其解码器则以零比特率生成独立同分布样本，然后随着比特率的增加逐渐产生包含更多原始图像内容的重构，最终在足够高的比特率的情况下实现完美的重建，大大提高了压缩比，且具备良好的保密性和隐藏性，在具有丰富图像的数据传输任务中尤为适用。
附图说明
图1是本发明中带宽受限下基于生成对抗网络的图片处理和传输方法的流程图。
图2是本发明中特征还原生成器的训练网络图。
图3是本发明中特征提取编码器的训练网络图。
图4是基于GAN的图片数据传输示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种带宽受限下基于生成对抗网络的图片处理方法，其特征在于：包括以下步骤：
1)获取大量的图片数据，进行预处理，为深度模型训练提供素材；
2)构建由生成器和判别器组成的生成对抗网络，使用预备好的素材训练特征还原生成器G。
所述特征还原生成器G通过下列公式进行训练：
其中，G′指生成器、D指判别器，生成器G′由编码器F和特征还原生成器G组成，z指随机噪声，x指输入图片，y是x重构的目标图片，生成器和判别器均为卷积神经网络，用于训练该特征还原生成器G的编码器F在将特征还原生成器G训练完成后弃用。
函数的第一项表明，当输入原始的图片时，判别器使目标函数尽可能大，并判断它是真实图像，函数的第二项标识在输入生成的图像时，D(G′(z，x))尽可能小，因此，损失函数的值相对较大，生成器欺骗判别器并错误地认为输入的是真实图像的同时，判别器视图将其识别为假图像，函数的两项模型进行游戏直到达到纳什均衡。
3)构建一个由特征提取编码器E和特征还原生成器G组成的AutoEncoder自编码网络，使用预备的素材训练特征提取编码器E。
所述特征提取编码器E通过以下公式进行训练：
其中，x指输入图片，y指重构目标图片，G指特征还原生成器，H指转换函数。
借助换砖函数，特征提取编码器能够实现将输入图片x编码为任意比特，编码的向量经过H映射为维度一致的向量以便解码，，df(Py，Px)是输入分布Px和重构分布Py的距离，采用Wasserstein Distance作为度量方式。
加入df(Py，Px)的原因是，传统压缩方法中，编码器和解码器具有典型确定性，因此不同的重构输入被限定，这就导致重建的y会出现降质的问题，例如引起图像的模糊、模块化等，为了解决这一问题，本方法向目标函数中增加一个约束项df(Py，Px)，即重构实例的分布遵循训练数据的分布。
训练好的特征提取编码器E用于图片特征的提取，训练好的特征还原生成器G用于解压。
在传输图片时，通过以下步骤实现：
1)将特征提取编码器E和特征还原生成器G分别部署在带宽受限的NB-IoT数据传输网络的发送端和接收端；
2)待发送的图片由特征提取编码器E进行编码，从发送端发出；
3)接收端收到数据后，提取其中的参数，通过特征还原生成器G处理得到目标图片。
该方法通过在发送端对图片数据提取特征并在接收端根据特征进行还原的方式来实现图片数据的网络中的快速传输，在窄带物联网等环境下也能有效传输。
由于采用了先训练特征还原生成器G、再训练特征提取编码器E的流程，相对于背景技术提到的现有的对抗网络训练方式而言，能够在训练特征提取编码器时以任意比特压缩，之后可以做压缩比与压缩还原质量的权衡。且在不同压缩比率下，编码器能够生成与原始数据分布一致的编码，解码器则以零比特率生成独立同分布样本，然后随着比特率的增加逐渐产生包含更多原始图像内容的重构，最终在足够高的比特率情况下实现相对完美的重构。
本方法通过构建生成对抗网络来进行模型的迭代训练，相比于传统方法，本方法利用了计算机强大的计算能力，只需加载训练好的模型，就能实现批量的图片数据的特征提取操作。该方法精简、训练方便，运行平稳、可靠，可移植性较好，可以在多种图片数据传输场景中使用。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
