Soft-SVM

由于随机噪声或者误差等问题，因此允许一些点不符合不等式约束条件。


理想条件下(hard-svm), 优化问题如下:

我们允许其存在一定的违规量，这里引入松弛变量 , 优化问题变为:

$$
\begin{aligned}
& \min_{w,b} \frac{w^Tw}{2} + C\sum_i^n \eta_i \
s.t. \quad & y_i(w^Tx_i + b) - 1 + \eta_i >= 0\
& \eta_i >= 0\ \tag{2}

\end{aligned}$$

其中 C > 0 ,成为惩罚参数，当C比较大时对误分类的惩罚较大，C较小时对误分类的惩罚较小，其值通常由应用决定。


优化问题 (2) 其实也是个凸二次规划问题，其求解与Hard-SVM一样

1. Lagrange Multiplier

对应的拉格朗日乘法公式为

则优化问题（2）可以写作：

其对偶问题为：

证明见Hard-SVM


求解过程

1. 求解 , 分别对w和b求导，并令其偏导数为0

2. 将(6)带入到 L 中，得到 G