博客

1.查看模型的参数、参数量、参数的梯度

  params=list(model.parameters())
  print(params[0])
  print(params[1])
  print(params[2])
  print(params[3])
  loss=model.loss(o1,o2)
  print(params[0].grad)

调试的时候可以通过params查看网络每一层的参数、以及参数的梯度

还可以结合该代码模块，输出网络的部分参数、梯度。

for parameters in net.parameters():
    print(parameters)

2.把网络某一部分参数，固定，不让其被训练

可以使用requires_grad.

for p in model.parameters():
      p.requires_grad = False

当调用backward函数时，只有requires_grad为true以及is_leaf为true的节点才会被计算梯度，即grad属性才会被赋予值。

3.神经网络权重参数初始化

https://blog.csdn.net/victoriaw/article/details/72872036

torch.nn.init.constant(tensor, val)
torch.nn.init.normal(tensor, mean=0, std=1)
torch.nn.init.xavier_uniform(tensor, gain=1)