文章图片
文章图片
文章图片
文章图片
N次扩展信源的熵
离散无记忆信源X的N次扩展心愿X^N的熵等于信源X熵的N倍，即H(X^N)=NH(X)
平均符号熵
文章图片
表示N长信源输出符号序列中，平均每个符号所携带的信息量（即N长信源每发一个符号提供的平均信息量），用于评估离散平稳有记忆信源每发一个符号提供的平均信息量。
文章图片
1.各维条件熵H(XN|X1X2X3...XN-1)随N的增加是非递增的
文章图片
2.N给定时，平均符号熵大于等于条件熵
文章图片
3.平均符号熵随着N的增加是非递增的
文章图片
极限熵
信源输出为N长符号序列，当N——>∞，则极限熵H(∞)为
【信息论与编码|学在信息——渐露锋芒】
文章图片
极限信息量（熵率）
即作为一个离散平稳有记忆信源X=X1X2…XN提供信息能力的衡量标准。
文章图片
含义：对于离散平稳信源，当N→∞时（即依赖关系为无限长时），平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵（极限熵）。
实际中常取有限N下的条件熵作为H∞的近似值。因为取N不是很大时，就能得到非常接近H∞的值，常取N=7,8,9
平稳信源的记忆长度有限时，如马尔科夫信源。设记忆长度为m(即某时刻发出什么符号只与前m个符号有关），则离散平稳份信息的极限熵等于有限记忆长度m的条件熵
文章图片
推荐阅读
- 学在信息——牛刀小试
- Chrome中Cookie提取工具教程
- 大唐杯学习|大唐杯5G考前冲刺篇（回顾全文重点必看）
- MySQL|MySQL进阶之存储引擎【InnoDB、MySAM、Memory】
- #HTML|javascript------＞对象数据类型
- mysql|面试必备，MySQL InnoDB MVCC机制
- PCIE_DMA（xapp1052学习笔记）
- C语言进阶|【C语言进阶7——数组和指针的练习（1） - 学习sizeof 和 strlen，看完这一篇就够了】
- C语言进阶|【C语言进阶6——指针的进阶（3）-总结数组和指针】