博客

为什么使用ReLU而不是sigmoid

  • Post author:
  • Post category:其他


  1. sigmoid计算复杂，需要计算指数
  2. 梯度弥散：

    对于每层只有一个神经元的网络，考虑每一层的偏导数，我们发现





















    ∂




    C










    ∂







    b






    1



















    =





    σ








    ′







    (


版权声明：本文为PKU_Jade原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。