还剩6页未读,继续阅读
文本内容:
信息论基础熵这个演示文稿将介绍信息论基础熵的概念以及它在通信和信息学中的应用熵的概念定义单位一个系统不确定性的度量,即一个系统的无序以比特()作为单位bit程度性质计算公式熵在一个系统中总是增加它对系统有一种类₂H=-Σpxlog px似于温度的模糊感觉离散概率变量的熵定义性质计算公式离散概率变量表示只有离散值的离散概率变量熵的范围是到₂0H=-Σpxlog px情况熵是一个离散变量分布的₂log n不确定性的度量连续概率变量的熵定义1连续概率变量表示有无限多个值的情况熵是一个连续变量分布的不确定性的度量性质2连续概率变量熵是无限大的计算公式3₂H=-∫pxlog pxdx条件熵定义性质计算公式给定随机变量或事件的条件条件熵一定小于等于原熵HY|X=ΣpxHY|X=x下另一个事件的熵(指未给定条件下的熵)信息增益与条件熵定义1信息增益表示随着已知一件事情,我们对另一件事情的不确定性减少了多少性质2信息增益越高,用于编码所需的位数越少计算公式3信息增益=HY-HY|X信息熵的应用无损压缩的基本原理编码的基本思想实例演示Huffman利用熵的概念压缩数据,采用的利用概率较小的符号采用较短的一个演示无损压缩字符Unicode编码方案是编码编码,概率较大的符号采用较长串的例子Huffman的编码总结熵的重要性1熵是整个信息论的基础,也是最基本和最重要的信息度量熵的应用范围2通信、数据压缩、密码学、数据采集和质量控制、机器学习等领域熵的未来研究方向3如何提高对于大规模多媒体数据的处理和通信效率,以及网络安全方面的研究。