模型压缩与数据蒸馏（笔记）

目的：使得network变小，用于较小的设备当中。

模型压缩（Network Pruning）：因为模型中有的权重或神经元没有起到作用。

1.训练一个大的网络。

2.评价网络中weight和neruon的重要性。

可以利用 L1,L2评价weight。如果该weight接近于0则说明该weight重要性不大。如果神经元的输出为0，也可以理解为该神经元不重要。

3.移除不重要的weight和不重要的neruon。

4.移除之后，拿到原来的数据集下进行fine-tune

神经网络模型可以理解为多个小模型的集合，可以把它看作一个继承模型。大的模型效果好主要是其中存在一个小模型可以实现很好的效果。因此模型压缩可以理解为在找大模型中效果最好的小模型。

知识蒸馏（Knowledge Distillation）:一个大的网络（teacher net）,一个小的网络（student net).让小网络的输出尽量和大网络的输出相同。

为了让 student net 更轻易的学到 teacher net 的输出分布，在两个网络的最后一层不使用 softmax(因为通过softmax的输出和label一样的，对student net 没有意义)。

减少模型参数的trick: 在两层之间插入一个线性层，但这样可能会限制网络的能力。

总结：

Network Pruning: 将network不重要的weight和neuron进行删除，再重新train一次。

原因：大的NN有很多冗余的参数，而小的NN很难train，那就用大NN删成小NN就好了。

Knowledge Distillation：利用一个已经学好的大model来教小model如何做好任务。

原因：让学生直接作对题太难，让学生看老师如何做题的

应用：通常只用在classification, 而且学生只能从头学起。

Architecture Design: 利用更少的参数达到原本某些layer的效果。

原因：有些layer可能参数很冗余，比如DNN

应用：直接套新的model,或利用新的layer来模拟旧的layer。

Parameter Quantization(参数量化)：将原本NN常用的计算单位：float32/float64压缩为更小的单位。

原因：对于NN来说，小数点后面好多位的数字其实意义不大。

模型压缩与数据蒸馏（笔记）相关推荐

【AI不惑境】模型压缩中知识蒸馏技术原理及其发展现状和展望
大家好,这是专栏<AI不惑境>的第十一篇文章,讲述知识蒸馏相关的内容. 进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考.如果说学习是一个从模仿,到追随,到创造的过程,那 ...
模型压缩一-知识蒸馏
一.知识蒸馏简介知识蒸馏是模型压缩方法中的一个大类,是一种基于"教师-学生网络(teacher-student-network)思想"的训练方法, 其主要思想是拟合教师模型(te ...
深度学习模型压缩之知识蒸馏
知识蒸馏知识蒸馏蒸馏方式离线蒸馏在线蒸馏自我蒸馏蒸馏算法对抗蒸馏多教师蒸馏跨模态蒸馏图蒸馏无数据蒸馏量化蒸馏深度交互学习(Deep Mutal Learning) Demo ...
模型压缩之量化入门笔记||量化基本公式的理解||量化过程可视化||LSQ公式理解
文章目录公式介绍量化零点 z z z 在离散化过程中的作用量化尺度 s s s 在离散化过程中的作用量化尺度 s s s 和量化零点 z z z 联合作用公式介绍本人初入模型量化的坑, ...
【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述
前言模型部署优化这个方向其实比较宽泛.从模型完成训练,到最终将模型部署到实际硬件上,整个流程中会涉及到很多不同层面的工作,每一个环节对技术点的要求也不尽相同.但本质的工作无疑是通过减小模型大小,提高 ...
【模型压缩】谷歌高被引知识蒸馏论文笔记
论文名称:Distilling the Knowledge in a Neural Network 论文下载:https://arxiv.org/abs/1503.02531 论文作者:Geoffre ...
模型压缩与蒸馏！BERT家族的瘦身之路
点击上方,选择星标,每天给你送干货! 作者 | 许明整理 | NewBeeNLP公众号之前我们讨论了『模型压缩与蒸馏!BERT的忒修斯船』,算是一个开篇.本文继续讨论关于模型蒸馏(Distilli ...
【视频课】深度掌握模型剪枝+模型量化+知识蒸馏3大核心模型压缩技术理论！...
前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...
知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例
1.任务简介基于ERNIE预训练模型效果上达到业界领先,但是由于模型比较大,预测性能可能无法满足上线需求. 直接使用ERNIE-Tiny系列轻量模型fine-tune,效果可能不够理想.如果采用数据 ...

模型压缩与数据蒸馏（笔记）

模型压缩与数据蒸馏（笔记）相关推荐

最新文章

热门文章