最小描述长度（MDL）

最小描述长度( MDL) 原理是 Rissane 在研究通用编码时提出的。其基本原理是对于一组给定的实例数据 D ，如果要对其进行保存，为了节省存储空间，一般采用某种模型对其进行编码压缩，然后再保存压缩后的数据。同时，为了以后正确恢复这些实例数据，将所用的模型也保存起来。所以需要保存的数据长度( 比特数) 等于这些实例数据进行编码压缩后的长度加上保存模型所需的数据长度，将该数据长度称为总描述长度。最小描述长度( MDL) 原理就是要求选择总描述长度最小的模型。
如果将贝叶斯网络作为对实例数据进行压缩编码的模型， MDL原理就可以用于贝叶斯网络的学习。该度量被视为网络结构的描述长度和在给定结构下样本数据集的描述长度之和。一方面，用于描述网络结构的编码位随模型复杂度的增加而增加；另一方面，对数据集描述的编码位随模型复杂度的增加而下降。因此，贝叶斯网络的 MDL总是力求在模型精度和模型复杂度之间找到平衡。构建贝叶斯网络首先定义一个评分函数，该评分函数描述了每个可能结构对观察到的数据拟合，其目的就是发现评分最大的结构，这个过程连续进行到新模型的评分分数不再比老模型的高为止。

最小描述长度（MDL）相关推荐

最小描述长度MDL(Minimum Description Length）及信息论介绍
信息论介绍信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化.它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息,例如通过无线电传输来通信.在这种情况下,信息 ...
最小描述长度( MDL)原则
https://blog.csdn.net/xiaoyu714543065/article/details/8445221 最小描述长度( MDL) 原理: 其基本原理是对于一组给定的实例数据 D , ...
ESL第七章模型评估及选择【期望】测试误差、模型偏差估计偏差、【平均】乐观、AIC、参数有效数、BIC、最小描述长度、VC/结构风险最小化、一标准误差准则/广义交叉验证、【留一】自助/.632估计
目录 7.2 偏差.方差和模型复杂度 7.3 偏差-方差分解 7.3.1 例子:方差-偏差权衡 7.4 训练误差率的"乐观optimism" 7.5 样本内预测误差的估计.Cp和A ...
为什么以太网的最小数据帧长度为64字节？
为什么以太网的最小数据帧长度为64字节? CSMA/CD冲突避免的方法:先听后发.边听边发.随机延迟后重发.一旦发生冲突,必须让每台主机都能检测到.关于最小发送间隙和最小帧长的规定也是为了避免冲突. ...
最小帧长度的计算公式_网络工程师考试常用计算公式汇总(二)
十一.操作系统虚存地址转换 (((基号)+ 段号) +页号) * 2n(注:这里是指2的N次方) +页内偏移十二.网络流量与差错控制技术最高链路利用率 a : 帧计数长度 a 可以是传播延迟/ ...
为什么最小帧长度是64字节
我们来看一下,假设A检测到网络是空闲的,开始发数据包,尽力传输,当数据包还没有到达B时,B也监测到网络是空闲的,开始发数据包,这时就会发生碰撞,B首先发现发生碰撞,开始发送碰撞信号,所谓碰撞信号,就是 ...
server2008密码不满足密码策略的要求，检查最小密码长度、密码复杂性和密码历史的要求”的解决办法...
由于域的规约而导致的问题,问题在于密码设定不符合策略组的规约.此时需要到域策略中设置响应选项来降低密码的复杂度.(默认的复杂度需要至少7字符,且包含多个字母和数字) Windows Server 20 ...
在一个采用CSMA/CD协议的网络中，传输介质是一根完整的电缆，传输速率为1Gbps，电缆中的信号传播速度是200 000km/s。若最小数据帧长度减少800比特，则最远的两个站点之间的距离至少需要（
1.传输时延>2*最远两个站点间的传播时延 2.传输时延=数据包的大小/数据包的发送率 3.传播时延=站点间距离/信号传播速率 1式为最远站点发出的数据产生冲突后,能被远端站点感知的最短时间,保 ...
深度神经网络是否过拟合？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达作者:Lilian Weng 编译:ronghuaiyang 导读 ...

最小描述长度（MDL）

最小描述长度（MDL）相关推荐

最新文章

热门文章