我们把能改的都改了。

　　论文标题：ConnectionistTemporalClassification:LabellingUnsegmentedSequenceDatawithRecurrentNeuralNetworks

　　tfint8

　　论文标题：QuantizationandTrainingofNeuralNetworksforEfficientInteger-Arithmetic-OnlyInference

　　核心解读：这是google发布的8bit的定点方案，几乎又是祖师爷级别的论文。深度学习部署落地才是根本，撑起部署三件套的量化、剪枝、蒸馏三竿大旗中最高的一竿。模型部署的时候，你可以没有剪枝和蒸馏，但是不可以不用量化（土豪用户忽略。不管是TensorFlow的方案，还是pytorch的方案，或者是GPU端扛把子的tensorrt，其后端精髓都来源于此。

　　network-slimming

　　论文标题：LearningEfficientConvolutionalNetworksthroughNetworkSlimming

　　核心解读：CNN网络部署有三个难题：模型大小、运行时间和占用内存、计算量。论文利用BN中的gamma作为通道的缩放因子，因为gamma是直接作用在特征图上的，值越小，说明该通道越不重要，可以剔除压缩模型。为了获取稀疏的gamma分布，便于裁剪。论文将L1正则化增加到gamma上。本文提出的方法简单，对网络结构没有改动，效果显著。因此成为了很多剪枝任务的首选。

　　KD

　　论文标题：DistillingtheKnowledgeinaNeuralNetwork

　　插图：APPRENTICE:USINGKNOWLEDGEDISTILLATIONTECHNIQUESTOIMPROVELOW-PRECISIONNETWORKACCURACY

　　核心解读：知识蒸馏的开山之作。我们可以先训练好一个teacher网络，然后将teacher的网络的输出结果

　　作为student网络的目标，训练student网络，使得student网络的结果

　　接近

　　为了传递给student网络平滑的概率标签，也就是不能置信度太高，太接近onehot。文章提出了softmax-T。实验证明是可以有效提高小模型的泛化能力。

　　CAM