概念
正则化(Regularization) 是机器学习中对原始损失函数引入额外信息,以便防止过拟合和提高模型泛化性能的一类方法的统称。正则化是在经验风险上面加了一个正则化项或者惩罚项,正则化函数一般是模型法则度的单调增函数,模型越负责,正则化值就越大.
正则化的一般形式:
第一项是经验风险,第二项就是正则化项,\lambda \ge 0 为调整两者之间的关系.
L1 正则化和 L2 正则化可以看做是损失函数的惩罚项。所谓惩罚是指对损失函数中的某些参数做一些限制。对于线性回归模型,使用 L1 正则化的模型叫做 Lasso 回归,使用 L2 正则化的模型叫做 Ridge 回归(岭回归)。
线性回归 L1 正则化损失函数:
线性回归 L2 正则化损失函数:
可以看到正则化项是对系数做了限制。L1 正则化和 L2 正则化的说明如下:
- L1 正则化是指权值向量w中各个元素的绝对值之和,通常表示为∥w∥^1
- L2 正则化是指权值向量w中各个元素的平方和然后再求平方根(可以看到 Ridge 回归的 L2 正则化项有平方符号),通常表示为∥w∥^2_2。
- 一般都会在正则化项之前添加一个系数λ。
未完待续....
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于