文章转载自：模型压缩 | 知识蒸馏经典解读。

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作：Distilling the Knowledge in a Neural Network

阅读全文