|
深圳大学的研究人员最近设计了一种检测深度神经网络生成的图像的方法。他们的研究预先发布在arXiv上，确定了一组捕获彩色图像统计数据的功能，可以检测使用当前人工智能工具生成的图像。
“我们的研究受到图像生成模型的快速发展和生成的假图像的传播的启发，”进行这项研究的研究人员之一Bin Li告诉Tech Xplore。“随着先进图像生成模型(如生成对抗网络(GAN)和变分自动编码器)的兴起，深度网络生成的图像变得越来越逼真，用人眼识别它们已经不再容易了，这需要严格的安全性。风险“。 最近，一些研究人员和全球媒体平台已经表达了他们对人工神经网络培养生成图像所带来的风险的担忧。例如，诸如生成对抗网络(GAN)和变分自动编码器之类的深度学习算法可以用于生成虚假新闻的真实图像和视频，或者可以促进在线欺诈和在社交媒体上伪造个人信息。 通过试验和错误过程训练GAN算法以产生越来越逼真的图像，其中一个算法生成图像，另一个算法，鉴别器，提供反馈以使这些图像更逼真。假设，该鉴别器也可以被训练以检测来自真实图像的假图像。然而，这些算法主要使用RGB图像作为输入，并且不考虑颜色分量的差异，因此它们的性能很可能不令人满意。 在他们的研究中，Li和他的同事们分析了GAN生成的图像与真实图像之间的差异，提出了一系列可以有效帮助对其进行分类的特征。结果方法通过分析真实图像和生成图像之间的颜色分量的差异来工作。 “我们的基本想法是，真实图像和生成图像的生成管道是完全不同的，因此这两类图像应该具有一些不同的属性，”研究人员之一的Haodong Li说。“事实上，它们来自不同的管道。例如，真实图像是由成像设备(如相机和扫描仪)生成以捕获真实场景，而生成的图像是以完全不同的方式创建的，其中卷积，连接和激活来自神经网络，差异可能导致不同的统计特性。在这项研究中，我们主要考虑颜色分量的统计特性“。 研究人员发现，尽管生成的图像和真实图像在RGB色彩空间中看起来相似，但它们在HSV和YCbCr的色度分量中具有明显不同的统计特性。他们还观察到将R，G和B颜色组分组装在一起时的差异。 他们提出的特征集，包括从几个颜色分量的图像高通滤波残差中提取的共现矩阵，利用这些差异，捕获真实和生成图像之间的颜色差异。此功能集尺寸较小，即使在小图像数据集上进行训练也可以很好地执行。 Li和他的同事在三个图像数据集上测试了他们的方法的性能：CelebFaces属性，高品质CelebA和野外Labeled Faces。他们的研究结果非常有希望，这些特征在所有三个数据集上都表现良好。 “我们研究中最有意义的发现是，通过从某些颜色成分中提取特征，可以很容易地检测到深层网络生成的图像，尽管生成的图像在视觉上可能与人眼无法区分，”Haodong Li说。“当生成的图像样本或生成模型可用时，所提出的配备二元分类器的特征可以有效地区分生成的图像和真实的图像。当生成模型未知时，所提出的特征与一类分类器一起也可以达到令人满意的性能。” 该研究可能具有许多实际意义。首先，该方法可以帮助在线识别假图像。 提出的方法的总体框架。首先将输入图像分解成不同的颜色分量，然后计算每个颜色分量的残差。为了计算共现，组装R，G和B分量，而独立地处理H，S，Cb和Cr分量。最后，将所有同现矢量连接起来并馈送到分类器以获得判定结果。图片来源：李等人。 他们的发现也暗示了现有生成模型尚未有效复制真实图像的几种固有颜色特性。将来，这些知识可用于构建能够生成更逼真图像的新模型。 最后，他们的研究证明，用于产生真实图像和生成图像的不同生成管道反映在所生成图像的属性中。颜色分量仅包括这两种图像的不同方式之一，因此进一步的研究可以集中于其他属性。 “未来，我们计划通过将这项研究成果应用于图像生成模型来提高图像生成性能，”其中一位研究人员表示。“例如，将真实和生成图像的颜色分量的视差度量包括在GAN模型的目标函数中可以产生更逼真的图像。我们还将尝试利用来自真实图像生成管道的其他固有信息，例如传感器模式噪声或滤色器阵列的特性，以开发更有效和稳健的方法来识别生成的图像。“ |
