之前利用微软的
nni的Model compress
工具,剪枝,压缩一些简单的网络模型,也尝试了剪枝带LSTM的CRNN网络,需要修改一点点它的源码。
调用API也得到的小模型文件,实测小模型文件在较大batch推断时候是有加速效果
。但是保存的pytorch的pth模型如果没有保存网络结构,
换了项目目录之后会存在load失败的情况,而NNI是会使用一些操作替换掉大模型的,这样的话保存带结构的网络模型就比较麻烦。
忘记了自己当时具体怎么解决的,有时间了,重新拾起,详细记录。
生成小模型需要用到NNI的模型压缩的API:
ModelSpeedup
。
版权声明:本文为qq_36276587原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。