最小化类内距离和分类算法

Iroiman

摘 要：支持向量机分类算法引入惩罚因子来调节过拟合和线性不可分时无解的问题，优点是可以通过调节参数取
: Z" L. u2 H* s; P7 u6 _4 |得最优解，但带来的问题是允许一部分样本错分。错分的样本在分类间隔之间失去了约束，导致两类交界处样本杂
乱分布，并且增加了训练的负担。为了解决上述问题，该文根据大间隔分类思想，基于类内紧密类间松散的原则，
提出一种新的分类算法，称之为最小化类内距离和(Intraclass-Distance-Sum-Minimization, IDSM)分类算法。该算
# s: i' u- f8 d. V/ p1 X' {8 a法根据最小化类内距离和准则构造训练模型，通过解析法求解得到最佳的映射法则，进而利用该最佳映射法则对样
本进行投影变换以达到类内间隔小类间间隔大的效果。相应地，为解决高维样本分类问题，进一步提出了该文算法
4 n' p3 G% p' n0 @! \% B. j& _的核化版本。在大量 UCI 数据集和 Yale 大学人脸数据库上的实验结果表明了该文算法的优越性。
关键词：支持向量机；惩罚因子；大间隔分类思想；类内距离和；映射法则
1 G! N* d2 \& ?0 a- [0 M" J1 引言
分类一直是人工智能和模式识别等领域研究的
- \( x9 o* R/ F7 F& w热点，分类算法广泛应用于数据挖掘、图像处理、
% @( i6 `3 j* c视频跟踪与检测、智能收索、推荐系统、识别系统
$ p- S! W1 H5 L0 z  i
# Y8 `0 q/ W3 Y) H+ i等领域，所以分类算法的发展与进步改变着人们的
生产和生活方式。 目前常用的分类算法有决策树算
法、贝叶斯分类器、K 近邻算法、fisher 判别分析法，
4 Z! l* s2 |$ w0 b! @$ W/ t5 `神经网络算法和 SVM 等分类算法。决策树[1,2]是通
过一定的规则对样本已知属性进行选择达到分类目
+ A4 m; x6 b; S: [( z9 z" e的的算法。主要的决策树算法有 ID3, C4.5 等。ID3
算法的目的在于减少树的深度，但不能处理具有连
续值和具有缺失的数据属性。C4.5 算法在 ID3 算法
2 M0 B1 E+ V+ _2 W的基础上对于预测变量的缺值等方面作了较大的改



; m1 |, x7 l4 g
4 `( L. a7 X+ K" Z
附件下载：

游客，如果您要查看本帖隐藏内容请回复

/ @6 x; }/ _: \2 ]& P% o7 A# k! a

wozuishuai

谢谢分享