深度学习中的归一化(normalization)和正则化(regularization)_qq_26697045的博客-CSDN博客_权重归一化

1.L1和L2的区别

在机器学习中：

-L1 regularization是指向量中各个元素绝对值之和，通常表述为,线性回归中使用L1正则的模型也叫Lasso regularization

-L2 regularization指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为，线性回归中使用L2正则的模型又叫岭回归(Ringe regularization)。

也就是：

L1范数: 为x向量各个元素绝对值之和。L2范数: 为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或者Frobenius范数Lp范数: 为x向量各个元素绝对值p次方和的1/p次方.

下图为p从无穷到0变化时，三维空间中到原点的距离（范数）为1的点构成的图形的变化情况。以常见的L-2范数（p=2）为例，此时的范数也即欧氏距离，空间中到原点的欧氏距离为1的点构成了一个球面

2.参数正则化作用

L1：为模型加入先验， 简化模型， 使权值稀疏，由于权值的稀疏，从而过滤掉一些无用特征，防止过拟合L2：根据L2的特性，它会使得权值减小，即使平滑权值，一定程度上也能和L1一样起到简化模型，加速训练的作用，同时可防止模型过拟合

3.深度学习中的正则化

我们所谓的正则化，就是在原来 Loss Function 的基础上，加了一些正则化项，或者叫做模型复杂度惩罚项。以我们的线性回归为例子。

上图中的黄色圆点为我们训练的数据，使用黄色曲线可以很好的拟合这些点，但是会形成过拟合。相对来说，蓝色的实线才更符合实际。

具体的运算可以从以下三方面来看：

从梯度角度来看，L1使得某些W的值变为0，从而满足了前面的例子，把和前的系数变成了0，从而防止过拟合。

更据上面三种方式的推到可以得出：L1会使得权重稀疏，而L2会使得权值平滑