深度学习模型压缩方法集合学习笔记

1.before 目前深度网络模型压缩方法主要有以下几个方向：

更精细的模型设计：SqueezeNet、MobileNet等
模型裁剪：队训练好的模型找到一种评价手段，剔除不重要的 connections 和 filrers
核稀疏：训练过程中对权重更新进行诱导，让其稀疏。使用稀疏矩阵在硬件上效果不明显

2.基于核稀疏方法 【深度学习模型压缩方法集合】核的稀疏分为 regular 和 irregular ，regular 稀疏后，裁剪更容易， irregular的稀疏化后，参数需要特定的存储方式，或者需要平台上稀疏矩阵操作库的支持，
可以参考的论文有：

Learning Structured Sparsity in Deep Neural Networks

提出Structured Sparsity Learning的学习方式，能够学习一个稀疏的结构来降低计算消耗，所学到的结构性稀疏化能够有效的在硬件上进行加速

文章图片

该方法是regular的方法，压缩粒度较粗，可以适用于各种现成的算法库，但是训练的收敛性和优化难度不确定。
源码

Dynamic Network Surgery for Efficient DNNs

一种动态的模型裁剪方法，包括以下两个过程：pruning和splicing，其中pruning就是将认为不中要的weight裁掉，但是往往无法直观的判断哪些weight是否重要，因此在这里增加了一个splicing的过程，将哪些重要的被裁掉的weight再恢复回来

文章图片

在W上增加一个T来实现，T为一个2值矩阵，起到的相当于一个mask的功能，当某个位置为1时，将该位置的weight保留，为0时，裁剪。

文章图片

接相结合、训练与压缩相同步的策略完成网络压缩任务。通过网络嫁接操作的引入，避免了错误剪枝所造成的性能损失，从而在实际操作中更好地逼近网络压缩的理论极限。属于irregular的方式，但是ak和bk的值在不同的模型以及不同的层中无法确定，并且容易受到稀疏矩阵算法库以及带宽的限制源码、

Training Skinny Deep Neural Networks with Iterative Hard Thresholding Methods

文章图片
正常训练网络s1轮，然后Ok(W)表示选出W中数值最大的k个数，而将剩下的值置为0，supp(W,k)表示W中最大的k个值的序号，继续训练s2轮，仅更新非0的W，然后再将之前置为0的W放开进行更新，继续训练s1轮，这样反复直至训练完毕。同样也是对参数进行诱导的方式，边训练边裁剪，先将认为不重要的值裁掉，再通过一个restore的过程将重要却被误裁的参数恢复回来。也是属于irregular的方式，边训边裁，性能不错，压缩的力度难以保证。