网站建设gzzctyi,北京网站排行,wordpress自动标签页,大同工程造价信息网1 有监督学习的损失函数
1.1 分类问题
对二分类问题#xff0c; Y{1,−1}#xff0c; 我们希望sign f(xi,θ)yi#xff0c; 最自然的损失函数是0-1损失#xff0c;
函数定义特点0-1损失函数非凸、非光滑#xff0c;很难直接对该函数进行优化Hinge损失函数当fy≥1时 Y{1,−1} 我们希望sign f(xi,θ)yi 最自然的损失函数是0-1损失
函数定义特点0-1损失函数非凸、非光滑很难直接对该函数进行优化Hinge损失函数当fy≥1时 该函数不对其做任何惩罚。 Hinge损失在fy1处不可导 因此不能用梯度下降法进行优化 而是用次梯度下降法Logistic损失函数该损失函数对所有的样本点都有所惩罚 因此对异常值相对更敏感一些交叉熵损失函数 1.2回归问题
希望 最常用的损失函数是平方损失函数
函数定义特点平方损失函数对异常点比较敏感绝对损失函数在fy处无法求导数Huber损失函数在 2 梯度下降法
梯度下降算法发展过程
3 L1正则化与稀疏性
稀疏性就是模型中的很多参数为0相当于对模型进行了特征选择只留下了重要的特征。提高了模型的泛化能力降低了过拟合的可能。 为什么L1正则化能让模型具有稀疏性
3.1 从解空间形状来看 黄色的部分是L2和L1正则项约束后的解空间 绿色的等高线是凸优化问题中目标函数的等高线L2正则项约束后的解空间是圆形 而L1正则项约束的解空间是多边形。显然 多边形的解空间更容易在尖角处与等高线碰撞出稀疏解。
3.2 从函数叠加来看 首先 考虑加上L2正则化项 目标函数变成L(w)Cw2 其函数曲线为黄色。此时 最小值点在黄点处 对应的w*的绝对值减小了 但仍然非0。 然后 考虑加上L1正则化项 目标函数变成L(w)C|w| 其函数曲线为绿色。此时 最小值点在红点处 对应的w是0 产生了稀疏性。
在一些在线梯度下降算法中 往往会采用截断梯度法来产生稀疏性 这同L1正则项产生稀疏性的原理是类似的。
3.3从贝叶斯实验来看
从贝叶斯的角度来理解L1正则化和L2正则化 简单的解释是 L1正则化相当于对模型参数w引入了拉普拉斯先验 L2正则化相当于引入了高斯先验 而拉普拉斯先验使参数为0的可能性更大。
