1. 概述

首先信息熵的计算公式如下

其中I(X)表示X的信息量

注：这里对数所使用的底，通常是 2, 自然常数e，或是10。当b = 2，熵的单位是bit；当b = e，熵的单位是nat；而当 b = 10,熵的单位是dit。

p(xi)是xi发生的概率英文里面叫做probability mass function，一个随机产生的事件所包含的信息本体数量，只与事件发生的机率相关。事件发生的机率越低，在事件真的发生时，接收到的信息中，包含的信息本体越大。含义是概率为 0 的事件对应的信息大, 反之信息量少，取对数的原因是使得乘积变为求和。信息熵即为信息量的数学期望。

则X，Y的联合信息量可以表示为

平均互信息为互信息的数学期望

则公式可以推出

2. 代码

用的MATLAB 2012b，发现没有这个函数，官网提供的information theory包，需要编译cpp，编译cpp又需要安装SDK，然而试了安装SDK好多次都不成功，一套流程真让人奔溃。。

于是网上搜索代码整理成MATLAB可以用的计算函数VectorMI

-------------------------------------------------------------------------------------------------------

function [MI,mi] = VectorMI(u1,u2,wind_size)

% Calculate the mutual information of two vector

% the size of u1 and u2 must be equal

% wind_size:size of the window

if nargin<2

disp('Error: please input at least two parameters:u1, u2');

return

end

if nargin==2

wind_size=floor(power(length(u1),1/3)+0.5);

end

x = [u1, u2];

n = wind_size;

[xrow, xcol] = size(x);

bin = zeros(xrow,xcol);

pmf = zeros(n, 2);

for i = 1:2

minx = min(x(:,i));

maxx = max(x(:,i));

binwidth = (maxx - minx) / n;

edges = minx + binwidth*(0:n);

histcEdges = [-Inf edges(2:end-1) Inf];

[occur,bin(:,i)] = histc(x(:,i),histcEdges,1);

pmf(:,i) = occur(1:n)./xrow;

end

% Calculate the joint probability density of u1 and u2

jointOccur = accumarray(bin,1,[n,n]);

%(xi?yi) The number of two data falling into the n * n aliquot is the joint probability density

jointPmf = jointOccur./xrow;

Hx = -(pmf(:,1))'*log2(pmf(:,1)+eps);

Hy = -(pmf(:,2))'*log2(pmf(:,2)+eps);

Hxy = -(jointPmf(:))'*log2(jointPmf(:)+eps);

MI = Hx+Hy-Hxy;

mi = MI/sqrt(Hx*Hy);

--------------------------------------------------

3. MI可以解答非线性的关系

今天计算了一个例子，是概率书上对于皮尔逊相关系数不能解决线性关系的例子：

n=1:1000;

x=cos(n');

y=cos(n'+pi/2);

[MI,zMI] = x_calcelateMI([x,y],30)

C=corr(x,y)

结果：

zMI =

0.5719

C =

-9.0316e-04

其中 x_calcelateMI是我自己计算MI的函数zMI是标准化的互信息，c是相关系数，理论上c是0，结果也是十分接近于0，但可以看出互信息很高，说明互信息可以很好的衡量非线性关系，验证了我的想法。

4. 遇到的问题

增加路径界面方式：

另外一点要提示的是，如果自己写的函数要运行的话，需要在面板上 add path

首 先把主界面调出来，有两种方式，一种是在命令窗口输入pathtool，另一种是在matlab菜单调用(File -> Set Path…)。打开主界面后，相信不用太多解释了。Add Folder… 或者 Add with subfolders… 就可以了，添加完毕后，如果需要保存该路径，则在close前save一下就可以了。

这种方式的好处是如果路径有问题，matlab会马上报错，告诉用户添加失败。

找不到m文件的问题：

但是不是里面生效，所以还得rehash toolbox

如 果你已经把工具箱正确添加到搜索路径下，这种情况一般不会发生。也就是说，通过“文件夹copy -> 运行matlab ->添加路径”步骤后，该文件夹下所有文件应该都可以访问到。但是，当你对该文件夹下的m文件更新(包括修改和新增)了以后，此时如果你不重启 matlab，则可能会出现找不到m文件的问题(特别是该工具箱中的文件没有依赖关系，它们只是被放在一起方便调用，当你新增一个m文件到该文件夹下而不 重启matlab的时候，会造成这一新增m文件访问失败)。解决这个问题的方法之一显然是重启matlab，如果你不想重启，也可用第二个方法：在命令窗 口输入: rehash toolbox，“强制”matlab刷新toolbox目录下的所有文件，这样就可以正确访问了。