铜灵 编译整理

量子位 出品 | 公众号 QbitAI

一个风格迁移模型可以有多小？

17KB足矣。

事实证明，你可以用1.7M的参数训练出风格迁移模型，然后只留下11868个参数，生成迁移图像。将模型量化后，原本7M的模型压缩到只有17KB，而迁移效果和原本模型差别不大：

17KB是什么概念？一个模糊得不行的小头像，word中的10个文字，迅雷0.01秒内下载的文件……

整波操作效果明显——

原始模型：

• 大小：7M
• 权重数量：1.7M
• iPhoneX上的运行速度：18 FPS

缩减后的模型：

• 大小：17KB
• 权重数量：11868
• iPhoneX上的运行速度：29 FPS

这到底怎么做到的？

只需两步

这项研究的作者、AI部署解决方案Fritz的联合创始人Jameson Toole在博客中表示，缩小模型真的“pretty easy”，只要你：

一是要毫不留情地修剪层数和权重，二是要通过量化的方式，将32位的浮点权重转换成8位整数。下面分别细讲。

修剪策略

神经网络的训练期间需要调整数百万甚至数亿个权重，一般来讲更多的权重意味着更高的准确性，但非常低效。

假设一个神经网络可以大多数权重都没那么有用，可以删除，应该在什么层面去删？Toole认为主要有三种选择：修剪单个权重、层和模块等。

权重方面：指一些网络中绝大多数（可能会>95%）训练过的权重对结果没有帮助，确定哪些权重能提升网络准确性，将无用权重删去。

层级方面：每个层中都有权重，2D的卷积层具有的权重张量被称为一个卷积核（kernel），包含宽度、高度和深度信息，缩小卷积核也是缩小模型的一种方法。

模块方面：层通常会被组合在一起，形成可重复使用的子图，也就是一个模块。在这个层面的修剪会一次删除多个层，从而减小模型体积。

具体操作

作者引入了宽度乘数（width multiplier）当作超参数，这种方法是谷歌首次在论文MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications中提出的。

论文地址：

https://arxiv.org/abs/1704.04861

宽度乘数能调整每个卷积层中滤波器的数量。如果层和宽度乘数alpha已经给定，那将滤波器的数量F改成F×alpha即可。

通过这个超参数，我们能够利用李飞飞团队曾经发表的方法，生成架构相同但权重数量不同的连续网络，就像下面这样：

李飞飞论文Perceptual Losses for Real-Time Style Transfer and Super-Resolution：

https://arxiv.org/abs/1603.08155

当alpha=1.0时，生成网络的权重为1.7M，当alpha=0.5时，得到权重数量为424102个的一个网络。

此时可以使用低宽度乘数制作构建一些小网络，但里面也有很多重复模块。

作者发现，没有办法大刀阔斧地修剪这些重复模块，参数数量固定时，更深的网络产生的结果更好。作者最终将五个残差块中删去了两个，并将每层的默认滤波器减少到32个。

看起来是这样的：

用上述架构，作者在反复试验后将宽度乘数调整到了0.3，每层中有9个滤波器，最终生成一个只有11868个权重的神经网络。

量化

神经网络训练完成后进入最后的压缩环节。

通常大家会将网络权重存储成64位或32位的浮点数，所谓量化，就是将每一个浮点权重映射成位宽较低的整数。

从32位到8位的映射能将存储空间减少4倍，并且目前每个主流移动端框架都支持量化，包括TensorFlow Mobile、TensorFlow Lite、Core ML和Caffe2Go。

结果展示

最终，用11868个参数构建的这个微型网络架构原始大小为1.7M，当用Google的移动端框架CoreML量化后，最终大小为17KB，仅为原始大小的0.25%。

这个超小型的迁移模型，可以将所见场景转化成梵高名画《星空》的风格。

作者还发现，尽管模型大小缩小了400倍，但在iPhoneX上的运行速度只提高了50%，原因尚不明确。

用简单两步操作将风格迁移模型大小减少99.75%的方法，这次你学会了吗？

传送门

可进一步阅读博客原文：

https://heartbeat.fritz.ai/creating-a-17kb-style-transfer-model-with-layer-pruning-and-quantization-864d7cc53693

GitHub上可下载模型的代码+Demo：

https://github.com/fritzlabs/fritz-style-transfer

— 完 —

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

?'?' ? 追踪AI技术和产品新动态