机器学习面试001—支持向量机SVM

1. 关于min和max交换位置满足的 d* <= p* 的条件并不是KKT条件 Ans:这里并非是KKT条件,要让等号成立需要满足strong duality(强对偶),之后有学者在强对偶下提出了KKT条件。KKT条件成立需要满足constraint qualifications,而constraint qualifications之一就是Slater条件——即:凸优化问题,如果存在一个点x,使得所有等式约束都成立(即取严格不等号,不包括等号),则满足Slater条件。SVM中此处,满足Slater条件,等号可以成立
2. 核函数是从高维空间构造超平面,是否会带来高维计算代价的问题? Ans:并不会。在线性不可分的情况下,SVM首先在低维空间中完成计算,然后通过核函数将输入空间映射到高维特征空间,最终在高纬度空间中构造出最优分离超平面。
3. 高斯核函数在方差参数δ上选取有什么影响? Ans:如果δ选的很大,高次特征上的权重会衰减的非常快,此时相当于一个低维度的子空间;如果δ选的很小,则可以将任意的数据映射为线性可烦,但可能带来非常严重的过拟合问题。
4. 核函数的本质是什么? Ans:①解决线性不可分问题 ②在低维上先进行计算,将实质的分类效果在高维上呈现,巧妙地避免了高维计算复杂性的问题。
5. 在目标函数中,拉格朗日的参数α的取值有什么特点? image 【机器学习面试001—支持向量机SVM】Ans:对于远离平面的点为0;在边缘线的值在 [0, 1/N]之间;对于outlier数据的值为1/N

    推荐阅读