使用thop计算FLOPs和Params的大致流程

from thop import profile
from thop import clever_format
input = torch.randn(1, 3, 224, 224)
model = MODEL() # your model here
?, params = profile(model, inputs=(input, )) # “问号”内容使我们之后要详细讨论的内容，即是否为FLOPs
?, params = clever_format([flops, params], "%.3f") 


重大误区注意


目前，

CSDN或简书等中文平台的大部分thop使用教程

都直接将上述代码段中返回的

第一个元素即‘?’

当作FLOPs来使用，然而这是

错误的!


thop返回的第一个element不是

FLOPs

，而是

Macs

.而

FLOPs实际上是Macs的两倍！！！


上面这一点要尤其注意，现在

百度上所查到的基本所有有关thop计算FLOPs的文章都是错误的！！！


所以最终的FLOPs = profile(model, inputs=(input, ))[0]

*2

，

记住要乘以2才是FLOPs


拓展说明与支持链接

Macs的定义为：

一次加法和一次乘法

等于

一个Mac


FLOPs的定义为：

一次加法

算

一个FLOP

，而

一次乘法

也算

一个FLOP


所以最终FLOPs = 2 * Macs

PS：当然

实际上FLOPs是近似于Macs的两倍

，具体还是跟模型设计有关

具体FLOPs以及Macs的介绍，以及thop的返回请见

这里