迁移学习
简单的将就是举一反三,是将已经学习到的知识迁移到另一种未知的知识的学习,即从源域迁移到目标域。
小故事
从前有一个商人,在帝都以卖猫的玩偶为生,他叫CNN,很厉害,是一个分辨高手,擅长区分不同的猫咪,如果有人拿猫咪想要坑他,基本是不可能的。名贵的猫咪的玩偶也就卖的贵一些。突然有一天,他不想卖猫了,想要卖狗狗和老虎的玩偶(只是比喻啦~保护小动物人人有责,违法乱纪的事坚决不能干)。
本以为老虎和猫长的比较像,区分种间不同的种类的时候,也是比较容易的。可是,事实并非如此,或者说,并没有他想象的那么容易。这突然间一下子的转行,却使他的生意远不如从前了,因为他经常会对不同的种类的老虎和狗狗的玩偶种类做出错误的判断,会误以为名贵的为廉价的,而卖出的时候以一个低价卖出,导致自己的利润大大降低。
这时候,他只能重新开始学习大量的不同的种类的狗狗和老虎的细节特征,来尽量提升自己的利润。
后来,功夫不负有心人,凭借他以往积累的客户和他的努力,又重新打开了一片市场,获取了高额的利润,最终,他开开心心的打开某抢票软件,开通VIP抢票包,顺利的抢到了元旦回家的车票。
好吧,故事就是这样的,好像并不怎么好玩,接下来是正题了:
模型
商人:不管他是叫是CNN,还是RNN,还是GAN,商人是迁移学习中需要用到的模型~
源域
猫咪
源域:具体地,在迁移学习中,我们已有的知识叫做源域(source domain)
目标域
狗狗和老虎的玩偶
目标域:要学习的新知识叫目标域(target domain)。
多任务学习
同时学习不同种类的狗狗和老虎的玩偶的特点。
负迁移
从猫迁移到狗,它们之间的相似度不高,即同一模型,对于数据的相似度不高的情况下,迁移的效果会出现副作用的情况,为负迁移。
产生负迁移的原因主要有:
1、源域和目标域压根不相似,谈何迁移?——数据问题(猫和狗的玩偶)
2、源域和目标域是相似的,但是,迁移学习方法不够好,没找到可迁移的成分。 ——–方法问题(毛和老虎的玩偶)
推荐阅读
https://www.zhihu.com/question/41979241