登录注册

激活函数

2 引用 • 261 浏览

参与讨论

关注

关注分享

梯度爆炸

1 引用
深度学习

深度学习（Deep Learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。
53 引用 • 40 回帖 • 2 关注
CNN

4 引用 • 5 回帖
relu

1 引用
梯度消失

1 引用

默认热议好评优选最近回帖关注者查看所有标签

关于 SiYuan v3.1.12 后默认自动清理超过 180 天快照的调查
目前思源加入了自动的快照清理功能，触发时机如下：手动触发同步每 24 小时执行一次默认的配置是保留 180 天内的快照，每天保留两份。在启动、退出时的同步不会触发，但是 30s 的自动同步会触发。我个人不喜欢这个设计，因此以下的描述可能会有偏颇。不喜欢的原因如下：清理功能是自动的且没有开关默认开启，这导致假 ..

406 15 小时前
梯度消失和梯度爆炸
1 是什么首先，BP 神经网络基于梯度下降策略，以目标的负梯度方向进行权重更新，\omega \leftarrow \omega + \Delta\omega, 给定学习率\alpha, \Delta \omega = -\alpha \times \frac {\partial{Loss}}{\partial \o ..

274 5 年前
如何选择激活函数；关于激活函数，你想要知道的都在这
激活函数对于神经网络，网络的每一层计算可以理解为f(wx+b)=f(w\'x)，每一层可以认为是每个权重矩阵W 乘输入特征矩阵X。根据矩阵乘法，如果是线性激励，即激活函数为f(x) = x，多层网络相当于一层网络。比如：f(W_1*f(W_2x))=W_1 W_2x=Wx 。因此，需要引入非线性激活函数，对特征进行 ..

537 5 年前