博客

Facebook提出DeiT：通过注意力来训练数据高效的图像Transformer和蒸馏

  • Post author:
  • Post category:其他


本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！


注：文末附【Transformer】学习交流群


在这里插入图片描述


Training data-efficient image transformers & distillation through attention


在这里插入图片描述

  • 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一
  • 代码（不到一天，已经近200 star了）：https://github.com/facebookresearch/deit
  • 论文：https://arxiv.org/abs/2012.12877


版权声明：本文为amusi1994原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。