博客

首先在代码终端输入：CUDA_VISIBLE_DEVICES=’X1,X2,X3 ‘

X1,X2,X3为当前可用显卡序号比如4，5，6

然后在训练代码中调用模型.cuda时使用torch.nn.DataParallel函数，如下图

注意函数的第二个参数device_ids=[0,1,2] 

这里面要填的是使用几块卡，必须是从0开始然后依次往下，比如调用两块就是[0,1]，以此类推。

原理：终端输入的那段话意思是让代码只可以识别X1,X2,X3这三块显卡，而且还会默认X1为第一块显卡也就是位置为0 的显卡。所以后面调用时我们输入的[0，1，2]对应的就是第一块第二块第三块卡，这时候我们只能识别4，5，6卡 而且顺序是4，5，6所以第一个位置0上对应的就是显卡id=4的卡，以此类推。

如果训练时使用多卡训练加入上述代码，则在验证集验证的时候也要加入上述代码，验证的时候不知道可不可以用多卡验证，但是代码要进行上述修改，然后只需要用一块卡验证即可。