记录使用NNI进行模型剪枝,压缩。

  • Post author:
  • Post category:其他


之前利用微软的

nni的Model compress

工具,剪枝,压缩一些简单的网络模型,也尝试了剪枝带LSTM的CRNN网络,需要修改一点点它的源码。


调用API也得到的小模型文件,实测小模型文件在较大batch推断时候是有加速效果

。但是保存的pytorch的pth模型如果没有保存网络结构,

换了项目目录之后会存在load失败的情况,而NNI是会使用一些操作替换掉大模型的,这样的话保存带结构的网络模型就比较麻烦。

忘记了自己当时具体怎么解决的,有时间了,重新拾起,详细记录。

生成小模型需要用到NNI的模型压缩的API:

ModelSpeedup



版权声明:本文为qq_36276587原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。