一句话：


在你的一个batch的数据都没加载进GPU内存前，你的GPU可能已经被占用了好几个G了，这几个G的数据就是你的model本身所需要的内存。

在你代码启动的那一刻，pytorch开始加载model，你的模型的复杂程度导致所需要的参数数量不一致，而这些参数所占用的内存不是用的系统内存，而是用你的GPU内存（即显存）。

先不讲其它文章提到的batch_size 、num_workers等等参数的调整。如果你的model够复杂，可能根本等不到加载到batch的那一刻内存就已经所剩无几了。所以为什么GPU Memory Usage都快满了，但是GPU-Util一点没反应，就是因为你可能一个batch的数据都没传进来，传进来的都是model本身需要的参数，GPU当然不用去计算喽。