人工智能“艺术范” 人工智能的艺术作品

在去年的NIPS 2015 Deep Learning Symposium论文中有一篇火了，它就是《A Neural Algorithm of Artistic Style》，这个工作被人们称为neural art，后面出现了继承其思路的Prisma APP应用产品。它利用当下流行的深度神经网络的方法，让机器模仿艺术家的绘画风格，对目标图片进行风格转化，下面我们来简单介绍下该方法的基本原理。

通过学习风格生成新的图片

Neural art的这个工作主要是基于卷积神经网络（CNN）来展开的。对CNN有过了解的同学其实知道，它主要是通过卷积提取图片的抽象特征，然后再利用这些特征对图片进行分类、识别等其他的工作。

CNN中的卷积层所提取到的抽象特征在这里被作者借用来描述成所谓的“绘画风格”。它通过实验发现，经过多层卷积神经网络抽象之后，图片会失去像素级的特征，而保留更高级的绘画风格。下图引用自原论文图1。在文章里，作者定义了一个5层的CNN网络，从图中可以看到梵高的星空在通过第一二三层的时候保留了一些原图的细节，但是在第四第五层的时候，就变成了“看起来是梵高星空的样子”：

于是作者想到了，如果把一张梵高照片和目标照片同时放到这个神经网路中去，于是我们可以分别得到它们在各个卷积层中的抽象特征，然后我们再学习目标照片在CNN中前几层的抽象特征以及梵高照片在CNN中四五层的抽象特征，使得我们所学习的图片既能保留目标图片的细节，又能保留梵高照片的艺术风格，经过合适的调整那么就可以将目标照片转换成梵高的风格了。也就是说我们让一张图片的内容表示（第一二三层）接近于目标照片，而风格表示（第四五层）接近于梵高照片即可。

下图是作者根据上述思路所绘画出的几种不同艺术家风格的作品。

其实，在实现中会遇到一个问题，就是选择哪几层的卷积特征作为内容表示，哪几层的作为风格表示呢？

作者在文章中也没有给出理论依据，那么解决的办法就是通过做实验，看绘画出来的效果。下图是作者选择的不同的卷积特征组合画出来的作品：

观察上图，其中纵向标号“Conv1_1 ”、“Conv2_1”等表示的是不同的卷积层，而横向标号“10 ^-5”、“10 ^-4”等是指内容表示与风格表示权重（这里的权重下文会介绍）的比值。对比图中的每行，我们可以看到局部的图像结构会随着卷积层层数的增大而增大，并且看起来更加平滑和连续，这个是可以用CNN神经网络中的感知野和特征图的知识来解释的，因此从视觉上看，我们会倾向于选择较深层的卷积特征作为风格表示。对比图中的每列，当内容与风格的权重比值较大时图片原来的内容信息会很明显，但是却体现不出图片的艺术风格；而当上面的比重较小时，图片的会看不出原看来内容。根据实验结果显示这个比重大约取在0.01左右会有一个不错的效果。

具体实现细节

作者为了沿用了CNN的特征抽象能力使用了CNN作物体识别的VGG模型。具体来说作者用了19层VGG-Network中的16个卷积以及5个池化层，并且将其中的max-pooling替换成了average-pooling。大致结构如下：

{

'conv1_1', 'relu1_1', 'conv1_2', 'relu1_2', 'pool1',

'conv2_1', 'relu2_1', 'conv2_2', 'relu2_2', 'pool2',

'conv3_1', 'relu3_1', 'conv3_2', 'relu3_2', 'conv3_3',

'relu3_3', 'conv3_4', 'relu3_4', 'pool3',

'conv4_1', 'relu4_1', 'conv4_2', 'relu4_2', 'conv4_3',

'relu4_3', 'conv4_4', 'relu4_4', 'pool4',

'conv5_1', 'relu5_1', 'conv5_2', 'relu5_2', 'conv5_3',

'relu5_3', 'conv5_4', 'relu5_4'

}

然后作者用一个白噪声的图片生成一个接近于内容图的图片，以及另一个白噪声图片生成一个接近与绘画风格的图片。

其中内容表示的损失函数如下：

其中, F表示原图在第l层的卷积中第i个滤波通道中的第j个位置的卷积值，P而对应地表示加了白噪声的图相应位置的值。

在风格表示中，作者定义了一个用于描述纹理特征的 Gram matrix：

其中每层的风格表示的损失函数定义如下：

这里的G、A与（1）类似，代表对应位置的值。N、M分别表示特征图的长和宽。

总的风格表示的损失函数如下：

其中w为权重因子，表示每层对总的损失函数的贡献值。

然后作者将内容表示和风格表示的两个损失函数加权平均作为优化目标函数：

其中两个参数分别是内容和风格表示的权重因子。

最后利用优化算法（SGD、L-BFGS等）对目标函数进行优化，进而得到最后的输出结果。需要说明的是，作者在实验过程中的风格表示尝试了多种组合：

conv1_1

conv1_1，conv2_1

conv1_1，conv2_1，conv3_1

conv1_1，conv2_1，conv3_1，conv4_1

conv1_1，conv2_1，conv3_1，conv4_1，conv5_1

依次对应了图1中风格表示的（a）、（b）、（c）、（d）、（e）

这个工作已经有相当多开源代码，在线应用，也被集成在各种 NN 框架中。大家有兴趣可以找来把玩下。