基于弱分类器调整的多分类 Adaboost 算法

BillScot2

摘 要：Adaboost.M1 算法要求每个弱分类器的正确率大于 1/2，但在多分类问题中寻找这样的弱分类器较为困难。
8 t9 T6 o. D3 M' j$ _有学者提出了多类指数损失函数的逐步添加模型(SAMME)，把弱分类器的正确率要求降低到大于 1/k (k 为类别
数)，降低了寻找弱分类器的难度。由于 SAMME 算法无法保证弱分类器的有效性，从而并不能保证最终强分类器
正确率的提升。为此，该文通过图示法及数学方法分析了多分类 Adaboost 算法的原理，进而提出一种新的既可以
; `1 Y2 e. L" x; B& c1 ?2 b; ?降低弱分类器的要求，又可以确保弱分类器有效性的多分类方法。在 UCI 数据集上的对比实验表明，该文提出的
算法的结果要好于 SAMME 算法，并达到了不弱于 Adaboost.M1 算法的效果。
关键词：多类分类器；多类指数损失函数的逐步添加模型；Adaboost.M1
% Y/ g9 n/ |1 R" g/ g7 Q1 引言
8 B/ K1 g. @9 U" r5 v* kAdaboost算法的思想起源于VALIANT提出的
PAC(Probably Approximately Correct)学习模型[1]。
: \8 P* b) W. {SCHAPIRE 提出了 Boosting[2]算法，Boosting[3 5]
4 q( g) j$ o. O( T* ?% D算法是一种通过结合多个弱分类器提高最终分类准确
率的方法。基于 Boosting 算法，1995 年，FREUND
: D. P$ P7 }- G: q提出的 Boost-by-majority 算法[3]，在某种意义上说
5 w: B! u+ _' }' p4 u是最佳的 Boosting 算法，而 1997 年 FREUND 和
SCHAPIRE 提出的 Adaboost 算法[6]是更面向于实
际应用的方法。Boosting 方法一般只适用于二分类
( r8 y; H1 B% u! R$ J0 m问题，在实际应用中，大多数的应用场景会多于两


8 a) z% m/ C0 b2 g3 |( b" d  O
" ~( o3 k* l9 @
) D2 A, T2 e/ s1 P; k/ E# z附件下载：

游客，如果您要查看本帖隐藏内容请回复

: S$ J* ?! M% o* h# h' y# `


, e. V; G9 `3 F" X% ^  C% e

vava

来看看