无需额外数据、Tricks、架构调整,CMU开源首个将ResNet50精度提升至80%+新方法
代码可用:/szq0214/MEAL-V2
摘要:本文介绍了一种简单而有效的方法,该方法可以提高 ImageNet 上的普通 ResNet-50-80%+ Top-1的准确性,而无需任何技巧。我们的方法是基于最近提出的 MEAL ,即通过鉴别器的集成知识蒸馏。我们进一步简化了这一过程:
仅对最终输出采用相似性损失和判别损失;使用来自所有教师集成的平均 softmax 概率作为更强的监督信息进行蒸馏。
作者提出了一个观点:在蒸馏过程中不应使用one-hot方式的标签编码。实验证明:这样一个简单的方案可以在不涉及任何常用技术的情况下获得SOTA的性能。如:(1)架构修改;(2)额外的训练数据;(3)autoaug/randaug;(4)cosine learning rate;(5)mixup/cutmix 数据增强训练;(6)标签平滑。
我们证明,这样一个简单的框架可以实现最佳的结果,而不涉及任何常用的技术,如:1)架构修改;2)超出 ImageNet 的训练数据;3) autoaug / randomaug ;4) cosine 学习率;5) mix / cucumix 训练;6)标签平滑;等等。
在ImageNet数据集上,