MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks

无需额外数据、Tricks、架构调整，CMU开源首个将ResNet50精度提升至80%+新方法

代码可用：/szq0214/MEAL-V2

摘要:本文介绍了一种简单而有效的方法，该方法可以提高 ImageNet 上的普通 ResNet-50-80%+ Top-1的准确性，而无需任何技巧。我们的方法是基于最近提出的 MEAL ，即通过鉴别器的集成知识蒸馏。我们进一步简化了这一过程：

仅对最终输出采用相似性损失和判别损失；使用来自所有教师集成的平均 softmax 概率作为更强的监督信息进行蒸馏。

作者提出了一个观点：在蒸馏过程中不应使用one-hot方式的标签编码。实验证明：这样一个简单的方案可以在不涉及任何常用技术的情况下获得SOTA的性能。如：（1）架构修改；（2）额外的训练数据；（3）autoaug/randaug;（4）cosine learning rate;（5）mixup/cutmix 数据增强训练；（6）标签平滑。

我们证明，这样一个简单的框架可以实现最佳的结果，而不涉及任何常用的技术，如：1)架构修改；2)超出 ImageNet 的训练数据；3) autoaug / randomaug ；4) cosine 学习率；5) mix / cucumix 训练；6)标签平滑；等等。

在ImageNet数据集上，