登录注册

激活函数

2 引用 • 261 浏览

参与讨论

关注

关注分享

梯度爆炸

1 引用
深度学习

深度学习（Deep Learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。
53 引用 • 40 回帖 • 1 关注
CNN

4 引用 • 5 回帖
relu

1 引用
梯度消失

1 引用

默认热议好评优选最近回帖关注者查看所有标签

梯度消失和梯度爆炸
1 是什么首先，BP 神经网络基于梯度下降策略，以目标的负梯度方向进行权重更新，\omega \leftarrow \omega + \Delta\omega, 给定学习率\alpha, \Delta \omega = -\alpha \times \frac {\partial{Loss}}{\partial \o ..

275 5 年前
如何选择激活函数；关于激活函数，你想要知道的都在这
激活函数对于神经网络，网络的每一层计算可以理解为f(wx+b)=f(w\'x)，每一层可以认为是每个权重矩阵W 乘输入特征矩阵X。根据矩阵乘法，如果是线性激励，即激活函数为f(x) = x，多层网络相当于一层网络。比如：f(W_1*f(W_2x))=W_1 W_2x=Wx 。因此，需要引入非线性激活函数，对特征进行 ..

539 5 年前