支持向量机在模式识别中的核函数特性分析

优点:1 。它有严格的数学理论支持,有很强的可解释性 , 2.它可以找出对任务至关重要的关键样本(即support 向量),3.使用核技术后,它可以处理非线性分类/回归任务,4.最终决定函数只得到少数人支持-1 。计算的复杂度取决于支持数向量,而不是样本空间的维数,从某种意义上避免了“维数灾难”的缺点:1 , 培训时间长;2.使用核技能时,如果需要存储核矩阵,空间复杂度大;3.预测模型时,支持数向量较大,预测计算的复杂度很高,本文重点介绍基于硬区间向量机的线性可分支撑、基于核函数 向量机的非线性支撑和基于软区间向量机的线性支撑三种类型 。
1、SVM的类型和核 函数选择线性分类:线性可分性、损失函数(lossfunction)、经验性风险和结构性风险 。选择kernel 函数需要满足Mercer的定理,即样本空间中kernel 函数的任何文法矩阵都是半正定矩阵 。
扩展数据SVM于1964年提出,90年代后迅速发展,并衍生出一系列改进和扩展的算法,应用于人像识别和文本分类识别(模式识别)问题 。Kernel 函数具有以下属性:1 。kernel 函数的引入避免了“维数灾难”,大大减少了计算量 。而输入空间的维数n对kernel 函数 matrix没有影响,因此kernel 函数方法可以有效处理高维输入 。
2、支持 向量机(SVM【支持向量机在模式识别中的核函数特性分析】SVM是一个二元分类模型 。其基本模型是在特征空间中寻找一个线性分类器来分离具有最大间隔的超平面 。(最大区间就是它的唯一性),通过这个超平面实现未知样本集的分类 。意义:原始样本空间中可能不存在一个能正确将样本分为两类的超平面,但我们知道,如果原始空间的维数有限,即属性个数有限,那么一定存在一个能划分样本的高维特征空间 。
kernel 函数的真正意义在于,它并没有真正映射到高维空间而是实现了映射的功能,也就是减少了大量的映射计算 。选择:利用专家的先验知识选择内核函数 。比如我们知道问题是线性可分的,我们可以用线性核代替非线性核 。如果特征的数量与样本的数量一样大,则选择线性核函数SVM或LR 。如果特征数较少,样本数正常,则选择高斯核函数SVM 。
3、什么是核 函数?常见的核 函数有哪些?姓名:何学号:Kernel 函数通常定义为空间中任意一点X与一个中心xc之间的欧式距离的单调性函数可以记为k (k(||xxc||),其作用往往是部分的,即当X远离xc时 , Kernel 函数不仅在SVM使用,也是将低维数据映射到高维数据的工具 。【嵌入牛鼻子】Kernel 函数【嵌入牛问】如何实现Kernel 函数【嵌入牛正文】1 .内核1.1简介是一个用于模式分析的算法或者识别,最著名的用途是在支持 。
核方法将数据映射到一个更高维的空间 , 希望在这个更高维的空间中,数据可以变得更容易分离或者更好结构化 。这种映射的形式没有任何约束 , 甚至可能导致无限维空间 。但是这个映射函数几乎不需要计算,可以说是一个在低维空间计算高维空间内积的工具 。1.2内核技巧内核技巧是一个非常有趣且强大的工具 。

    推荐阅读