徐州哪有做网站的,WordPress qinmei影视主题,中国建设银行网站是什么,网站建设报价新鸿儒目录#xff1a;前言#xff1a;1、什么是目标函数#xff1f;2、损失函数3、正则化总结#xff1a; 目录#xff1a;
前言#xff1a;
今天看到一篇很精简的文章来说明目标函数、损失函数以及正则项是什么。以下是文章正文。 转自#xff1a;https://xiaozhuanlan.…目录前言1、什么是目标函数2、损失函数3、正则化总结 目录
前言
今天看到一篇很精简的文章来说明目标函数、损失函数以及正则项是什么。以下是文章正文。 转自https://xiaozhuanlan.com/topic/7504682391
1、什么是目标函数
定义是指所关心的目标与相关的因素的函数关系。举个例子假如我们想要预测公司楼下手抓饼店明天能卖多少张手抓饼已知过去10天每天卖多少以及每天的天气情况是否有节假日和手抓饼店老板和老板娘的感情状况这几项数据都统计好了。对应到目标函数的解释就是
关心的目标是明天能卖多少手抓饼未知量。相关因素是每天数量天气情况节假日老板老板娘感情状况已知量。目标函数按照一定的思路把这些已知条件利用起来去求解未知量的函数关系式。
2、损失函数
也叫代价函数是同一个东西。是用来评估模型的预测值f(x)与真实值Y的差距它是一个非负实值函数。稍等一下为什么是非负的呢举个例子比如上面说的手抓饼模型预测第一天是30真实值是29差距30-29是1预测第二天是35真实值是36差距35-36是-1如果把它们直接加起来就是1-1 0难到没有差距非常明显是错误的差距是0人家还以为都预测对了呢其实都预测错了所以不能有负值可以用绝对值平方或者一些其它的数学运算。 常用的损失函数有
LR逻辑回归log对数损失函数 参考 https://xiaozhuanlan.com/topic/7491865230最小二乘法平方损失函数 参考 https://xiaozhuanlan.com/topic/3129560874Adaboost指数损失函数
好的现在我们再来看一下目标函数通常的定义形式
Obj(Θ)L(Θ)Ω(Θ)
中文翻译一下是
目标函数 损失函数 正则项
目标函数和损失函数我们都理解了那么正则项是干什么的呢
3、正则化
回到我们前面举的那个例子如果第五天有个人中彩票了然后兴奋的来买了1百张手抓饼比几天的量都多很明显这个情况会影响我们的模型训练这个情况就是过拟合。而加入正则项的目的就是使模型避免过拟合。 常用的有L1L2正则化很熟悉对不对前面讲过的线性代数中的L1L2范数有些类似。其实本质是一样的在机器学习里叫正则化线性代数叫范数统计学里叫惩罚项。 机器学习里L1使用的是绝对值距离也叫曼哈顿距离L2使用的是平方距离也叫做欧式Euclidean距离 线性代数L1 范数计算的是向量所有元素绝对值的和L2 范数计算的是通常意义上的向量长度 参考https://xiaozhuanlan.com/topic/4961780352
总结
介绍了目标函数损失函数和正则项的作用优化损失函数使模型避免欠拟合使损失函数最小化优化正则项使模型避免过拟合。
