pc网站建设是什么意思,申请自己的网站空间,互联网风格网站,wordpress柚子皮5.31 .zip转载自https://blog.csdn.net/chaipp0607/article/details/73662441
SVM算法在在1995年正式发表#xff0c;在针对中小型数据规模的分类任务上有着卓越的效果#xff0c;同时有着完整的理论证明#xff0c;在20世纪末的几年和21世纪初的10年完胜神经网络#xff0c;吴恩达…转载自https://blog.csdn.net/chaipp0607/article/details/73662441
SVM算法在在1995年正式发表在针对中小型数据规模的分类任务上有着卓越的效果同时有着完整的理论证明在20世纪末的几年和21世纪初的10年完胜神经网络吴恩达在其2003年的《Machien learning》公开课上用两节课的时间对其进行讲解而神经网络讲解了20min左右。就是这个算法把神经网络按在地上摩擦了大概15年的时间直到深度学习的兴起。但即便这样现在SVM算法依旧被广泛的使用。 SVM大概的可以不确切的分为三个程度理解 1线性可分情况下的线性分类器这是最原始的SVM它最核心的思想就是最大的分类间隔margin maximization 2线性不可分情况下的线性分类器引入了软间隔soft margin的概念 3线性不可分情况下的非线性分类器是SVM与核函数kernel function的结合。
什么是最大分类间隔
SVM最大分类间隔的灵感来自于一个非常符合直觉的观察如果存在两类数据数据的特征是二维的那么我们就可以把数据画在一个二维平面上此时我想找到一个决策面决策边界去将这两类数据分开。如下图所示 理论上这个决策边界有无数种选择就像图中画出的四条黑色的线都能实现分类但是哪一种是最好的分类方式呢SVM算法认为在上图中靠近决策平边界的点正负样本与决策边界的距离最大时是最好的分类选择 上图中红色的线就是要优化的目标它表征了数据到决策边界的距离这个距离就是所谓的最大分类间隔。同时在上面的几个数据如果靠近两侧的数据少了几个除了红色框住的数据其他数据的多少完全不影响也不会影响决策边界的确定而被红色框框出来三个数据才决定了最终的决策边界所以这三个数据被称之为支持向量。
线性分类器
支持向量机算法如何实现最大分类间隔的任务呢我们可以先从线性分类器开始理解它支持向量在没有引入核函数的时候就是一个线性的分类器我们假设与决策边界垂直的向量决策面的法向量为V 黑色的线是假设的决策边界X1和X2是决策边界两侧的两个点Xt1和Xt2是两个点在法向量V上面的投影那么可以很直观看到原点到Xt1的距离原点到Xt2的距离而且可以推广延伸到只要数据点在决策边界的两侧那么在决策边界左侧的数据点在法向量上面的投影距离永远比右侧的距离短这就是支持向量机实现分类预测的依据。那么怎么用公式表征出这个点到直线投影的距离呢
如上图中的情况所示要求向量b在向量a上的投影距离d向量的内积可以表示为 于是角度的余弦为 距离d可以表示为 而在SVM的特征空间中a是决策边界的法向量那么a为单位法向量的时候其模为1所以就有 最后我们把a和b换成上面设定的值就会有 有了这个东西我们总能找到一个常数C分开两类数据也就是说 到了上面的公式后问题就非常的清晰了法向量V其实就是决策边界的系数这是解析几何里面的知识那么大家肯定见过一种和它非常像的公式叫做样本空间下的超平面线性方程 线性分类器就是这个样子 不经过sigmoid函数的Logistic模型也是这个样子 不激活的神经网络中的单个神经元还是这个样子
如何实现最大分类间隔
从上面可以看到此时的支持向量机没有加核函数就是个线性的分类器它的卓越性能就体现在在线性分类器基础上的最大分类间隔。 所以本质上SVM要训练的参数只有w和b关键就在于SVM如何在优化中体现最大分类间隔的思想 针对所有的训练数据traindataSVM都希望 这里的正负1就体现的最大分类间隔这里是选择用正负1是为了计算方便因为无论间隔是多少都可以依靠伸缩w和b约为1。上述公式就是SVM的最大间隔假设。如下图 在这个图中决策边界两边的线之间的距离最大间隔为 它是这样求出来的数据中的支持向量在影响着最大间隔那么假设两个支持向量x1和x2分别为正负最大间隔就应该是x2-x1在法向量上的投影 所以求取d的过程为 这就是SVM的优化目标它想要找到max(d)然后大家可能发现了这个目标里面没有b之和w有关那么是不是任意的b都可以呢 显然不是的这个优化有一个约束条件因为推导的过程就有假设条件是两个支持向量要求在两侧所以这个约束条件可以写成 所以最终的目标为 或者为 需要注意的是约束条件中的i1…….nn为样本的个数。
其中约束条件为n个这是一个关于w和b的最小值问题。
根据拉格朗日乘子法就是求函数f(x1,x2,…)在g(x1,x2,…)0的约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联系到一起使能配成与变量数量相等的等式方程从而求出得到原函数极值的各个变量的解。即可以求得
其中a就是拉格朗日乘子法进入的一个新的参数也就是拉格朗日乘子。 那么问题就变成了 所谓的对偶问题就是 做这种转换是为了后面的求解方便因为最小值问题求导就可以啦 下面对w和b分别求偏导这里是纯数学计算直接给结果了 在这里求出了两个结果带入到L(w,b,a)中 所以问题被转化成为 注意这里的约束条件有n1个之后只需要根据DataxLabely求解出满足条件的拉格朗日系数a并将a带回求得w和b于是就有了最后的决策边界。wbxya都是向量 注意在上面b的公式中i1,2,…,n。但是j却没有给值这是因为j是任意一个支持向量都可以。
在这里对w和b的公式的推导做一个简短说明w是通过拉格朗日求偏导后推出的在学习SVM二 如何理解支持向量机的最大分类间隔中我们知道最大间隔为 那么支持向量到决策边界的距离为 同时根据点到直线的距离公式有 超平面w,b能够将训练样本正确分类即对于 因此去掉绝对值可以得到关于b的公式。
而非支持向量的数据就在求解参数awb的过程中前面的参数w求得的结果会为0这样就满足了之前的说法只有支持向量在影响着决策边界的确定。 转载自https://blog.csdn.net/chaipp0607/article/details/73662441
https://blog.csdn.net/chaipp0607/article/details/73716226
