拉格朗日函数法求解SVM的具体形式（实例演示）

首先，我们将样本点表示为：$x_1=(1,1), x_2=(1,0), x_3=(0,1)$，对应的标签为$y_1=y_2=1, y_3=-1$。/n/nSVM的决策函数可以表示为：/n$$ f(x) = w^Tx+b $$ /n其中，$w$为权重向量，$b$为偏置项。/n/n我们的目标是求解$w$和$b$，使得对于所有的样本点$x_i$，满足以下约束条件：/n$$ y_i(w^Tx_i+b) /geq 1 $$ /n同时，我们要最小化$w$的范数，即：/n$$ //min_{w,b}//frac{1}{2}||w||^2 $$ /n/n根据拉格朗日乘数法，我们可以构建拉格朗日函数：/n$$ L(w,b,//alpha) = //frac{1}{2}||w||^2 - //sum_{i=1}^m//alpha_i[y_i(w^Tx_i+b)-1] $$ /n其中，$//alpha_i$为拉格朗日乘数，$m$为样本数。/n/n我们的目标是最小化$L(w,b,//alpha)$，即：/n$$ //min_{w,b}//max_{//alpha}// L(w,b,//alpha) $$ /n/n求解过程如下：/n/n1. 求$L(w,b,//alpha)$关于$w$的偏导数，并令其等于0，得到：/n$$ w = //sum_{i=1}^m//alpha_iy_ix_i $$ /n/n2. 求$L(w,b,//alpha)$关于$b$的偏导数，并令其等于0，得到：/n$$ //sum_{i=1}^m//alpha_iy_i = 0 $$ /n/n3. 将$w$代入$L(w,b,//alpha)$中，得到原问题的对偶问题：/n$$ //max_{//alpha}//sum_{i=1}^m//alpha_i - //frac{1}{2}//sum_{i,j=1}^m//alpha_i//alpha_jy_iy_jx_i^Tx_j $$ /n$$ s.t. // //alpha_i //geq 0, //sum_{i=1}^m//alpha_iy_i = 0 $$ /n/n4. 使用SMO等算法求解上述对偶问题，得到$//alpha$的解。/n/n5. 根据$//alpha$的解，可以求出$w$和$b$的解：/n$$ w = //sum_{i=1}^m//alpha_iy_ix_i $$ /n$$ b = y_j - //sum_{i=1}^m//alpha_iy_ix_i^Tx_j $$ /n其中，$j$为任意一个支持向量的下标。/n/n因此，我们的SVM的具体形式为：/n$$ f(x) = //sum_{i=1}^m//alpha_iy_ix_i^Tx + b $$ /n/n注：以上求解过程中，我们假设样本是线性可分的。如果线性不可分，则需要使用核函数将样本映射到高维空间中，求解对应的SVM。