MEAL V2:餐V2 源码

餐食-V2 这是我们论文的正式pytorch实施: 大学的和 将ImageNet上的 。 在本文中,我们介绍了一种简单而有效的方法,该方法无需任何技巧即可将ImageNet上的原始ResNet-50精度提高到80%+ Top-1。 通常,我们的方法基于最近提出的 ,即通过鉴别器进行整体知识蒸馏。 我们通过1)仅在最终输出中采用相似度损失和鉴别器,以及2)使用来自所有教师组的softmax概率的平均值作为对蒸馏的更强监督,来进一步简化它。 我们方法的一个关键观点是,在蒸馏过程中不应使用单热/硬标签。 我们证明了这样一个简单的框架可以实现最新的结果,而不会涉及任何常用技巧,例如:1)架构修改; 2)ImageNet以外的外部培训数据; 3)autoaug / randaug; 4)余弦学习率; 5)混音/混音训练; 6)标签平滑; 等等。 引文 如果您发现我们的代码对您的研究有所帮助,请引