|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
, _3 R7 @9 ~3 ^0 \5 }4 M2 P6 ~% K在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。1 x, [& K! N! c3 ^0 {4 {. f
1 H1 N( P: D$ S互信息的定义
9 b: J/ L# U9 A B正式地，两个离散随机变量 X 和 Y 的互信息可以定义为：
9 ]: V- n8 z* }: z% a0 T4 D$ \3 O% v" Q
其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。* F2 t5 n3 B& e" q& N
: s* B4 z' a# T/ A, N
9 l9 A$ ~, K3 _4 E
# r2 E Q3 P+ X" C7 I
在连续随机变量的情形下，求和被替换成了二重定积分：
* s1 h6 J9 m; Z! H3 o# u( f' n. ?7 ?2 h
9 f! b& U1 q7 G* C& k+ V, l! o* w, E% ]/ T+ v& F
其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。
" U+ X+ r, |$ H- T* p& e1 J
4 j) ^5 r' `/ Q互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底，互信息的单位是bit。 j8 t% [: y. Z6 ? P% U8 {
7 f- T5 U8 n4 W% V9 ~% s" U
直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 X 和 Y 相互独立，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 X 是 Y 的一个确定性函数，且 Y 也是 X 的一个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。因此，在此情形互信息与 Y（或 X）单独包含的不确定度相同，称作 Y（或 X）的熵。而且，这个互信息与 X 的熵和 Y 的熵相同。（这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。）
8 w V; U# M0 m/ ^8 B
2 Z, L' L5 D& d) j% N互信息是 X 和 Y 联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性：I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出：当 X 和 Y 独立时，p(x,y) = p(x) p(y)，因此：' M4 N- Y+ W+ U* |
. \2 K# Z* C1 z! o/ v! n. Z
1 H" t3 F0 D; |0 d- |! m6 P9 ]; o# o5 G) }% H. b" n3 t9 j
此外，互信息是非负的（即 I(X;Y) ≥ 0; 见下文），而且是对称的（即 I(X;Y) = I(Y;X)）。- ]$ ^7 E! X/ K) B' d; |% e! {
) \( [- r. h: I/ O
互信息特征选择算法的步骤- n- o: U1 n! r _ ~
- ①划分数据集
- ②利用互信息对特征进行排序
- ③选择前n个特征利用SVM进行训练
- ④在测试集上评价特征子集计算错误率) q j) P* U# S# U% J* W# y
缺点5 x" ]' W$ Q% E6 P* u
此种特征选择方法是最大化特征与分类变量之间的相关度，就是选择与分类变量拥有最高相关度的前k个变量。但是，在特征选择中，单个好的特征的组合并不能增加分类器的性能，因为有可能特征之间是高度相关的，这就导致了特征变量的冗余。
! V4 a/ D1 ~$ _$ E9 d4 G+ h. J+ h! N% W U+ A u' Q
代码 F, r$ [% t- I, L# J
注意使用的数据集是dlbcl，大概五千多维，可以从UCI上下载，最终选择前100特征进行训练。* P0 U! L7 x' R g( B# Z& [
4 a* C* c2 m5 U" b
主函数代码： F2 L. V( P9 f2 a
" q2 u# f: u! R; m: a6 d( @- clear all
- close all
- clc;
- [X_train,Y_train,X_test,Y_test] = divide_dlbcl();
- Y_train(Y_train==0)=-1;
- Y_test(Y_test==0)=-1;
- % number of features
- numF = size(X_train,2);
- [ ranking , w] = mutInfFS( X_train, Y_train, numF );
- k = 100; % select the Top 2 features
- svmStruct = svmtrain(X_train(:,ranking(1:k)),Y_train,'showplot',true);
- C = svmclassify(svmStruct,X_test(:,ranking(1:k)),'showplot',true);
- err_rate = sum(Y_test~= C)/size(X_test,1); % mis-classification rate
- conMat = confusionmat(Y_test,C); % the confusion matrix
- fprintf('\nAccuracy: %.2f%%, Error-Rate: %.2f \n',100*(1-err_rate),err_rate);
2 Q' [) `- v6 g& L% j
, h. E; y2 _: z" X. u0 |3 l+ L# U6 U5 g; v; {4 Z1 Q% k2 F0 T
mutInfFS.m
. \. V0 g/ t0 ^. l7 g
) b7 z6 k" x% C+ t. q- function [ rank , w] = mutInfFS( X,Y,numF )
- rank = [];
- for i = 1:size(X,2)
- rank = [rank; -muteinf(X(:,i),Y) i];
- end;
- rank = sortrows(rank,1);
- w = rank(1:numF, 1);
- rank = rank(1:numF, 2);
- end
% q6 t; W4 O3 T K
# g& h* v6 r5 B* `1 Y3 v8 J% A8 T! B
- ~& T$ g5 }. D) R) ]* v! ~/ w
muteinf.m& ` c |+ H! y- j
- q: L- v/ v. {1 S) R9 B8 \
- function info = muteinf(A, Y)
- n = size(A,1);%实例数量
- Z = [A Y];%所有实例的维度值及标签
- if(n/10 > 20)
- nbins = 20;
- else
- nbins = max(floor(n/10),10);%设置区间的个数
- end;
- pA = hist(A, nbins);%min(A)到max(A)划分出nbins个区间出来，求每个区间的概率
- pA = pA ./ n;%除以实例数量
- i = find(pA == 0);
- pA(i) = 0.00001;%不能使某一区间的概率为0
- od = size(Y,2);%一个维度
- cl = od;
- %下面是求实例不同标签的的概率值，也就是频率
- if(od == 1)
- pY = [length(find(Y==+1)) length(find(Y==-1))] / n;
- cl = 2;
- else
- pY = zeros(1,od);
- for i=1：od
- pY(i) = length(find(Y==+1));
- end;
- pY = pY / n;
- end;
- p = zeros(cl,nbins);
- rx = abs(max(A) - min(A)) / nbins;%每个区间长度
- for i = 1:cl
- xl = min(A);%变量的下界
- for j = 1:nbins
- if(i == 2) && (od == 1)
- interval = (xl <= Z(:,1)) & (Z(:,2) == -1);
- else
- interval = (xl <= Z(:,1)) & (Z(:,i+1) == +1);
- end;
- if(j < nbins)
- interval = interval & (Z(:,1) < xl + rx);
- end;
- %find(interval)
- p(i,j) = length(find(interval));
- if p(i,j) == 0 % hack!
- p(i,j) = 0.00001;
- end
- xl = xl + rx;
- end;
- end;
- HA = -sum(pA .* log(pA));%计算当前维度的信息熵
- HY = -sum(pY .* log(pY));%计算标签的信息熵
- pA = repmat(pA,cl,1);
- pY = repmat(pY',1,nbins);
- p = p ./ n;
- info = sum(sum(p .* log(p ./ (pA .* pY))));
- info = 2 * info ./ (HA + HY);%计算互信息: Z; p% [$ ]5 y" D# d/ Z
$ w- H, x3 L( g. b9 P6 C: } J; ?- l
3 A6 f! J5 z( o* K: Q8 s: X前100个特征的效果：
: G2 h! m& m) J6 s" d2 \# `) |- ?
8 M) S- `3 \* ]3 d3 wAccuracy: 86.36%, Error-Rate: 0.14- K h$ e+ j' d$ j
/ u0 n6 X. [* Y2 G选择前两个特征进行训练（压缩率接近100%,把上述代码中的K设为2即可）的二维图：
0 ^7 z3 U1 s$ j# [. k' b3 [+ L; t2 W0 Q7 e9 ~5 G6 n0 O7 v1 |
# u" x2 O* V2 R r" o: s
( X' h O* b) O2 U: P" M9 T6 F
Accuracy: 75.00%, Error-Rate: 0.25 |
|
/1 
发表于 2020-11-4 13:43
收藏
淘帖
支持！
反对！