|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
' \. d$ h' |+ F4 B+ H
在做特征选择时，可能面临两个问题：特征与类别预测有多大相关性，特征之间有多大冗余度。在特征选择中，“最好的m个特征不一定是m个最好的特征”，从相关度与冗余度来看，最好的m个特征是指与分类最相关的特征，但由于最好的m个特征之间可能存在冗余，因此最相关的m个特征并不一定比其他m个特征产生更好的分类准确率。可以看出，特征选择可以分为两个过程：1、怎样度量特征相关性。2、怎样解决特征之间的冗余。
0 t* F+ e7 b* t# }
. t! P" B1 E* c3 i# W8 p2 j4 w" I$ C互信息0 W; z$ h2 e4 o5 T
# t4 n# |* Y% D6 i) ~
9 \3 g' _- ^0 S. X( g互信息可以度量两个变量x，y之间的相关关系。如下图所示：
& \9 l/ [6 L/ m
) V1 E( h+ c% a, v& |# V! @
0 r' |+ D; |7 \4 X0 a D3 O/ D
# B; c/ ?& a$ y4 H考虑特征x与分类目标c，计算I（x，c），I（x，c）的大小代表了x与c之间的关联度的大小。从所有特征中选出与c之间互信息最大的m个特征，就可以得到与c最相关的m个特征。7 \+ F% _1 [% A# Q& _8 m
5 k3 z% B# v' I, k( {+ @% @
最大相关度与最小冗余度0 K/ H# i$ g; ~; l) T, ]- d0 h
# j Z) z3 a1 J- j设S表示特征{xi}的集合，|S|=m. 为了选出m个最相关特征，使得S满足如下公式：
0 z$ N4 [/ d z
7 D$ B2 l8 x% F4 l8 l, |
5 Y% x6 C5 ?+ k+ D5 ~* a8 U
) `' g9 q, {! u; [
可见目标是选出m个平均互信息最大的集合S。
& j$ I3 A7 S N. ~; b1 f. tS很可能包含相关度很大的特征，也就是说特征之间存在冗余。集合S的冗余度如下式所示：5 Q+ X N7 C" }% T
, F# B! a2 S* X% G2 K
' Y( m! _) y- C4 I
. ^& T, q. S. j最终目标是求出拥有最大相关度-最小冗余度的集合S，直接优化下式：
& l1 D3 ^( h8 l) _. q# F! \9 o" V T& l1 p! ~
! l3 w+ x+ W* J0 D* k$ _9 V! {( V2 `
直观上说D的增大，R的减小都会使得目标函数增大。7 o5 P9 F( j) n d
假设现在S中已有m-1个特征，现在需要从余下的特征中选择第m个特征。8 G F; \0 e$ \
8 K) Q5 m4 k0 ^7 |' _$ K& p! c6 Z1 _
l1 [! {) e$ t( h. q特征选择过程
0 [/ o# _% m, t8 m" h* b( O8 w9 k) b M3 F
特征选择的目的是选择出一个具有很好分类效果的精简特征集。为了达到此目的，可以分两步进行：第一步，利用mrmr选出候选特征集；第二步，利用其它方法选出精简特征集。- [1 m: x6 Z! I& B7 C) f
e: C/ B7 n5 @9 I
" G6 _: S0 S2 _( h3 ^主要步骤：3 Z( C4 ~) `) X2 d; ]4 ]
4 m1 ~7 J' P3 c) {) k1 Q) T- f1 [0 r, i
- 将数据进行处理转换的过程（注：为了计算两个特征的联合分布和边缘分布，需要将数据归一化到[0,255]之间，并且将每一维特征使用合理的数据结构进行存储）
- 计算特征之间、特征与响应变量之间的分布及互信息
- 对特征进行mrmr得分，并进行排序
& M( a0 O) |& S" ]# k
. P& k/ @. ~, ^2 G |
|
/1 
发表于 2021-7-13 13:54
收藏
淘帖
支持！
反对！