修改模型后载入预训练权重

  • Post author:
  • Post category:其他


我们知道预训练权重是一个字典,里面是网络encoder每一层的权重,拿Resnet34来说,第一层是7×7的卷积权重,最后一层是fc层,之前看到一篇文章Bag of tricks for image classification中提到,将input stem可以替换为其他几种格式可以提高performance,相当于一个trick。

对于(b),我们将7×7卷积替换为3个3×3卷积,但是我们替换完之后,新的模型就和原始的权重不匹配,就会报错“missing key:”“unexpected key:”之类的。当时我想着载入部分权重,将权重中7×7的key和value删除掉,但是仍然会报错,即:没有3个3×3模型的key。

经过导师的指导,只要把load_state_dict参数里面的strict参数设置为False即可。

在nn.Module中strict函数默认为True,即


模型与预训练模型参数的key是完全对应才可以导入

,当你修改模型仍要使用预训练权重时候就要设置为False,只有key匹配的层才载入,不匹配的层就会默认初始化。

因此我们在找到model载入的地方进行修改:在resnet代码中,以及在模型总的代码中修改。

model.load_state_dict(weights, strict=False)

之后可以正常运行:



版权声明:本文为qq_43733107原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。