deit模型的简单复现

  • Post author:
  • Post category:其他



一、模型介绍

deit模型研究提出了一种用于视觉任务的 transformer in transformer(TNT)网络结构。TNT 将图像均匀分割为图像块序列,并将每个图像块视为像素序列。本文还提出了一种 TNT block,其中外 transformer block 用于处理 patch embedding,内 transformer block 用于建模像素嵌入之间的关系。在线性层投影后,将像素嵌入信息加入到图像块嵌入向量中。通过堆叠 TNT block,构建全新 TNT 架构。与传统的视觉 transformer(ViT)相比,TNT 能更好地保存和建模局部信息,用于视觉识别。在 ImageNet 和下游任务上的大量实验都证明了所提出的 TNT 架构的优越性。

接下来我们一起看看如何快速进行论文复现吧!


二、创建实例

首先打开极链AI云的官网,选择模型创建实例:


模型列表 – 极链AI云平台

由于平台已经配置了deit的模型库,所以能够

一键创建实例

,轻松又便捷~


三、论文复现

1、在/root/deit/路径下,输入训练代码:

2、训练效果如下

到这里,我们就已经完成了deit的整个复现成果~具体的模型简介和代码可以在

模型详情页

查看👍

为了使复现更加方便高效,我们为每一个模型都配置了专属的模型详情页。

模型详情页详细展现了模型的使用方法(包含训练和推理的

使用方式



测试案例

)在证明模型

配置的完整性

和方便用户

直接测试模型效果

上,为用户进一步开发和训练模型

提供便利

极链AI云平台现在更新了大量模型和数据库!省去了繁琐冗长的上传时间,让论文复现

一步到位

!快去官网试试吧~



版权声明:本文为m0_60673947原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。