列向量互信息计算通用MATLAB代码

haidaowang

互信息的定义
% Z6 \# t" ?; T9 e; h正式地，两个离散随机变量 X 和 Y 的互信息可以定义为：

$ p$ N- J* q0 o) L其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。

其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。

$ n3 f& D) p/ a4 x+ E互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底，互信息的单位是bit。
" _. @' @  j' T: S8 r
直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 X 和 Y 相互独立，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 X 是 Y 的一个确定性函数，且 Y 也是 X 的一个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。因此，在此情形互信息与 Y（或 X）单独包含的不确定度相同，称作 Y（或 X）的熵。而且，这个互信息与 X 的熵和 Y 的熵相同。（这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。）
/ B1 @2 ~5 w+ x" y7 I. t
  O6 K5 S# z4 B: P/ {' X! _此外，互信息是非负的（即 I(X;Y) ≥ 0; 见下文），而且是对称的（即 I(X;Y) = I(Y;X)）。

/ W9 q& \9 k2 L& T* f通用MATLAB代码
2 a. U/ r. q1 u7 c主函数main.m

clc
u1 = rand(4,1);
( X" q0 {. _% ]% W" \4 {5 |9 iu2 = [2;32;6666;5];
* [' j, M6 c0 D; l& ~wind_size = size(u1,1);
" e6 _3 Y! |* gmi = calmi(u1, u2, wind_size);

0 _$ e" N$ ]) |) `0 @- z6 Q. {calmi.m
$ o; {# w) F& ^+ }2 _* ]! A( s
%计算两列向量之间的互信息
9 ]1 Y' j& A8 Z. {%u1：输入计算的向量1
%u2：输入计算的向量2
. Z5 w2 o9 M% c8 x" c7 |& o; S%wind_size：向量的长度
function mi = calmi(u1, u2, wind_size)
x = [u1, u2];
n = wind_size;
[xrow, xcol] = size(x);
7 c4 e* T! x; K% Nbin = zeros(xrow,xcol);
5 O: t+ w/ C$ `pmf = zeros(n, 2);
+ r/ H" w5 A. Z0 `- K% Kfor i = 1:2
    minx = min(x(:,i));
    maxx = max(x(:,i));
1 Y( o. _  j( N7 S# ?    binwidth = (maxx - minx) / n;
    edges = minx + binwidth*(0:n);
    histcEdges = [-Inf edges(2:end-1) Inf];
    [occur,bin(:,i)] = histc(x(:,i),histcEdges,1); %通过直方图方式计算单个向量的直方图分布
    pmf(:,i) = occur(1:n)./xrow;
end
%计算u1和u2的联合概率密度
jointOccur = accumarray(bin,1,[n,n]);  %（xi，yi）两个数据同时落入n*n等分方格中的数量即为联合概率密度
4 n2 `# d, A# B0 N# ^' Y) K9 o" ~jointPmf = jointOccur./xrow;
! C* P. N1 w) n: WHx = -(pmf(:,1))'*log2(pmf(:,1)+eps);
Hy = -(pmf(:,2))'*log2(pmf(:,2)+eps);
Hxy = -(jointPmf(: ))'*log2(jointPmf(: )+eps);
* y% F0 `' k% o2 }# v7 WMI = Hx+Hy-Hxy;
) P  g2 r7 b' t8 C  ~mi = MI/sqrt(Hx*Hy);
/ f7 L" e" u5 s
$ ?) {3 X/ p: K# o4 R
2 H" g8 ?( C4 k. W+ J
( _8 R- C" g" S$ E1 Y& h+ K

NingW

列向量互信息计算通用MATLAB代码