博客

以下均为单向RNN。

0. RNN模型结构

网上教程的标准RNN结构如下图，其实是有输入层x、隐藏层h和输出层y三层结构的。

但是在Pytorch中定义的RNN，其实是没有y这个输出层的。例如下图中，Pytorch版本的两个输出，output=[h1, h2, h3, h4], hn = h4。如果想要得到输出层y，可以自行加一个全连接层。

1. 初始化RNN

rnn = nn.RNN(input_size, hidden_size, num_layers)

2. RNN的输入

• input：(seq_len, batch_size, input_size)
• h0：(num_layers, batch_size, hidden_size)

注：

a. h0如果没有被提供，则默认设置为全0

b. 实际上h0维度是(num_layers*num_directions, batch_size, hidden_size)，如果RNN是单向的，则num_directions=1；如果RNN是双向的，则num_directions=2，此处取单向RNN。

3. RNN输出

• output：(seq_len, batch_size, hidden_size)
  
  为每个时间步得到的hidden_state
• hn：(num_layers, batch_size, hidden_size)
  
  为最后一个时间步的hidden_state

注 ：

a. 实际output维度是(seq_len, batch_size, num_directions * hidden_size)

b. 实际hn维度是(num_layers * num_directions, batch_size, hidden_size)

4. 实例

#########定义模型和输入#########
# (input_size, hidden_size, num_layers)
rnn = nn.RNN(10, 20, 1)
# (seq_len, batch_size, input_size)
input = torch.randn(5, 3, 10)
# (num_layers, batch_size, hidden_size)
h0 = torch.randn(1, 3, 20)

#########将输入喂入模型#########
output, hn = rnn(input, h0)

#########查看模型参数#########
rnn._parameters

5. 参考

Pytorch-RNN官方文档完整参数



知乎-Pytorch实现RNN