平均条件互信息量
文章图片
含义：事件yj发生后提供的关于集X的平均信息量
联合集XY上的平均条件互信息量I(X;
yj)>=0
等号成立的条件为集X中的各个xi都与yj相互独立（即X与Y相互独立）
平均互信息量
文章图片
说明： I(X;
Y)表示收到集Y所获得关于集X的平均信息量，即收到Y后，所消除的关于X的平均不确定性，对于整个集X和Y来说，是固定值
平均互信息量和各类熵的关系：
I(X;
Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)
I(X;
Y)=H(X)+H(Y)-H(XY)
文章图片
说明：
H(X):信源X的平均不确定性（先验熵)
H(Y): Y的平均不确定性
H(X|Y):收到Y后，X剩余的不确定性，表示信道损失，又称为信道疑义度，这个X尚有的不确定性是由于干扰引起的损失，又称为损失熵。
I(X; Y):收到Y后，所帮助消除X的平均不确定性。
由图也可看出：H(X|Y)≤H(X)，H(Y|X)≤H(Y)，取等号充要条件是，X与Y相互独立。
后熵不增性：
信息在信道的传输过程中，后验熵绝对不能多于先验熵，最多等于先验熵。熵总是向减小的方向发展，最多维持不变，熵的减小的过程就是信道传递信息的过程。
极值性：
I(X; Y)<=H(X); I(X; Y)<=H(Y)
凸函数性：
I(X; Y)是信源分布p(xi)和信道传递概率p(yj|xi)的凸函数。
文章图片
【学在信息——牛刀小试】
文章图片
推荐阅读
- 信息论与编码|学在信息——渐露锋芒
- Chrome中Cookie提取工具教程
- 大唐杯学习|大唐杯5G考前冲刺篇（回顾全文重点必看）
- MySQL|MySQL进阶之存储引擎【InnoDB、MySAM、Memory】
- #HTML|javascript------＞对象数据类型
- mysql|面试必备，MySQL InnoDB MVCC机制
- PCIE_DMA（xapp1052学习笔记）
- C语言进阶|【C语言进阶7——数组和指针的练习（1） - 学习sizeof 和 strlen，看完这一篇就够了】
- C语言进阶|【C语言进阶6——指针的进阶（3）-总结数组和指针】