EDA365电子论坛网

标题: SFS与SBS特征选择算法 [打印本页]

作者: mutougeda    时间: 2020-11-6 15:18
标题: SFS与SBS特征选择算法
4 W2 _# F: x5 r8 R
(1)序列前向选择( SFS , Sequential Forward Selection )
% i) ]3 V  h1 \( S& t( w0 b4 y. l- {" H% f
算法描述:特征子集X从空集开始,每次选择一个特征x加入特征子集X,使得特征函数J( X)最优。简单说就是,每次都选择一个使得评价函数的取值达到最优的特征加入,其实就是一种简单的贪心算法。
3 o( d$ C8 a" i9 `' @9 P( o
' ]$ J/ M3 N0 @1 q5 A 6 W5 |7 l8 a# a
- v" P- F6 T. y/ [/ G" ^0 n
7 M. z' c  B; S* O! b

- A. `8 N* ?7 V/ R- B" O3 r算法评价:缺点是只能加入特征而不能去除特征。例如:特征A完全依赖于特征B与C,可以认为如果加入了特征B与C则A就是多余的。假设序列前向选择算法首先将A加入特征集,然后又将B与C加入,那么特征子集中就包含了多余的特征A。  R' E+ @& p6 N

( [( U1 Y" p' J0 z8 q0 \代码:
3 ~& D) X9 N+ ?4 y& n; L0 K$ m3 b9 }
           - d" [; B' ~( n2 ~/ p) g6 T/ M

; ]9 i! L9 \$ f/ U6 T% L4 d" |( n(2)序列后向选择( SBS , Sequential Backward Selection )
3 W  u# E& d8 i9 P; M
! v# K. N2 `6 {; [& I0 V' E算法描述:从特征全集O开始,每次从特征集O中剔除一个特征x,使得剔除特征x后评价函数值达到最优。
2 _) k0 ]) y6 I4 w7 d
: S4 l) |& a) {; |算法评价:序列后向选择与序列前向选择正好相反,它的缺点是特征只能去除不能加入。  u5 q; e, A. H& P. m

0 r7 m% S: g  G" E % D; h4 v; b. F' R3 m5 q! R' [0 c
% T" a+ g7 A. P; j
代码:3 s0 D! i+ G) ^. h% T' d

2 V# ^$ F7 {5 r) U7 M. q         : P- a* t  G9 u& x9 t. ], A3 T$ @
, w1 d2 {) o) |+ S; b9 \# c6 t
另外,SFS与SBS都属于贪心算法,容易陷入局部最优值。
作者: younicp    时间: 2020-11-6 16:14
SFS与SBS特征选择算法




欢迎光临 EDA365电子论坛网 (https://bbs.eda365.com/) Powered by Discuz! X3.2