个人技术分享

概念

支持向量机(SVM)是一种二分类模型,它的目的是寻找一个超平面(线性、非线性)来对样本进行分割,分割的原则是间隔最大化,最终转化为一个凸二次规划问题来求解。

线性支持向量机:寻找一个线性特征空间来对样本进行分割,分割的原则是间隔最大化,此时返还能力最强

非线性支持向量机:当原始样本空间不是线性可分的情况,可将样本从原始空间映射到一个更高维的特征空间,使得样本在这个特征空间内线性可分

非线性支持向量机可能会用到核函数

核函数:将原始空间中的向量作为输入向量,并返回特征空间(转换后的数据空间,可能是高维)中向量的点积的函数称为核函数

SVM的优缺点

优点:SVM的决策函数只由少数的支持向量所决定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了维数灾难,可以解决非线性问题、避免神经网络结构选择、局部极小值点问题

缺点:SVM算法对大规模训练样本难以实施,(原始)仅适用于处理二分类问题,对缺失数据敏感,对参数调节和核函数的选择敏感