博客

Non-Local是王小龙在CVPR2018年提出的一个自注意力模型。Non-Local Neural Network和Non-Local Means非局部均值去燥滤波有点相似的感觉。普通的滤波都是3×3的卷积核，然后在整个图片上进行移动，处理的是3×3局部的信息。Non-Local Means操作则是结合了一个比较大的搜索范围，并进行加权。
在Non-Local NN这篇文章中的Local也与以上有一定关系，主要是针对感受野来说的，一般的卷积的感受野都是3×3或5×5的大小，而使用Non-Local可以让感受野很大，而不是局限于一个局部领域。

优点：
即插即用，
以ResNet50为例，测试加在不同stage下的结果。可以看出在res2,3,4部分得到的结果相对baseline提升比较大，但是res5就一般了
添加越多的non-local 模块，效果提升越明显，但是会增大计算量

缺点：
缺点是参数多，计算量大
之后GCNet等工作对Non-Local Neural Network结构进行改进，能够大幅降低Non-Local NN的计算量，更具有实用价值。

注意力机制论文:Non-Local neural networks及其Pytorch实现

写写non local network

这里讲解的比较清楚
CV中的Attention机制】Non-Local Network的理解与实现