先盗一图
总体来说,定义很明确:
假设我们有一个数组,V,Vi 表示 V 中的第 i 个元素,那么这个元素的 Softmax 值就是
也就是说,是该元素的指数,与所有元素指数和的比值
为什要有 softmax?
我们知道 max,假如说我有两个数,a 和 b,并且 a>b,如果取 max,那么就直接取 a,没有第二种可能
但有的时候我不想这样,因为这样会造成分值小的那个一直取不到。所以我希望分值大的那一项经常取到,分值小的那一项也偶尔可以取到,那么我用 softmax 就可以了 现在还是 a 和 b,a>b,如果我们取按照 softmax 来计算取 a 和 b 的概率,那 a 的 softmax 值大于 b 的,所以 a 会经常取到,而 b 也会偶尔取到,概率跟它们本来的大小有关。所以说不是 max,而是 Soft max
把max的0-1 问题转变为概率问题
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于