博客

dl初学菜狗，轻喷

在运行BiLSTM代码的时候遇到的错误，因为使用cpu跑太慢了，改用gpu加速，遇到的问题。

因为BiLSTM里面含有隐藏层hidden-layer，BiLSTM和其他网络相比特殊之处在于隐藏层初始化是在网络的前向传播处发生的，这就意味着即使使用model.to(device)也不会对后面在网络内部的新初始化的变量位置产生什么影响（即变量还是在cpu上），所以当tensor一部分在cpu上一部分在gpu上的时候就会报错：



报错信息

：

RuntimeError: Input and hidden tensors are not at the same device, found input tensor at cuda:0 and hidden tensor at cpu



解决方案


对于隐藏层初始化变量将其移动到device上

def init_hidden(self):
    return (torch.randn(2, self.batch, self.hidden_dim // 2)).to(self.device)

def init_hidden_lstm(self):
    return (torch.randn(2, self.batch, self.hidden_dim // 2).to(self.device),
            torch.randn(2, self.batch, self.hidden_dim // 2).to(self.device))

重要的事情说三遍：


所有的

tensor变量

都需要保持在一个设备上面，不能一部分在GPU上一部分在CPU上



所有的

tensor变量

都需要保持在一个设备上面，不能一部分在GPU上一部分在CPU上



所有的

tensor变量

都需要保持在一个设备上面，不能一部分在GPU上一部分在CPU上