自编码器(auto-encoder)

  • Post author:
  • Post category:其他




self-supervised learning Framework

在这里插入图片描述

已知大量无标注数据,使用不需要标注数据的任务去预训练模型,进行微调再将其应用在下游任务中



basic idea of auto-encoder

在这里插入图片描述

encoder读入一张图片并将其变成一个vector,作为decoder的输入产生一张图片

训练目标:encoder输入和decoder输出越接近越好

more dimension reduction:PCA;t-SNE



why auto-encoder

由于图片的变化是有限的,因此可以用更低维度的变化情况去表示有限的变化

在这里插入图片描述



De-noising Auto-encoder

在这里插入图片描述
类比于BERT——de-noising auto-encoder

在这里插入图片描述



feature disentanglement

解耦:disentanglement 一句话概括就是:解耦的特征中,每一个维度都表示具体的、不相干的意义

在这里插入图片描述
feature disentangle就是想要知道中间生成的vector中哪些维度表示某些信息

在这里插入图片描述

应用——voice conversion(领结变声器)


在这里插入图片描述

经过encoder之后的vector将内容与语音模式维度分开再拼接



discrete latent Representation

经过encoder得到的vector与codebook中的vector计算相似度,并使用最相似的vector经过decoder生成

如在语言识别中应用:codebook中可以学习到最基本的发音音标,每个vector对应一个音标

在这里插入图片描述

摘要生成

auto-encoder+GAN ——>cycle GAN
在这里插入图片描述
在这里插入图片描述
效果如下:

在这里插入图片描述

在这里插入图片描述



more application



generator

在这里插入图片描述

在这里插入图片描述
异常检测:输入X判断与训练数据相比是否正常

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述



版权声明:本文为qq_39848541原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。