信息论与编码|学在信息——渐露锋芒

信息论与编码|学在信息——渐露锋芒
文章图片

信息论与编码|学在信息——渐露锋芒
文章图片

信息论与编码|学在信息——渐露锋芒
文章图片

信息论与编码|学在信息——渐露锋芒
文章图片

N次扩展信源的熵
离散无记忆信源X的N次扩展心愿X^N的熵等于信源X熵的N倍,即H(X^N)=NH(X)
平均符号熵
信息论与编码|学在信息——渐露锋芒
文章图片

表示N长信源输出符号序列中,平均每个符号所携带的信息量(即N长信源每发一个符号提供的平均信息量),用于评估离散平稳有记忆信源每发一个符号提供的平均信息量。
信息论与编码|学在信息——渐露锋芒
文章图片

1.各维条件熵H(XN|X1X2X3...XN-1)随N的增加是非递增的
信息论与编码|学在信息——渐露锋芒
文章图片

2.N给定时,平均符号熵大于等于条件熵
信息论与编码|学在信息——渐露锋芒
文章图片
3.平均符号熵随着N的增加是非递增的
信息论与编码|学在信息——渐露锋芒
文章图片

极限熵
信源输出为N长符号序列,当N——>∞,则极限熵H(∞)为
【信息论与编码|学在信息——渐露锋芒】信息论与编码|学在信息——渐露锋芒
文章图片

极限信息量(熵率)
即作为一个离散平稳有记忆信源X=X1X2…XN提供信息能力的衡量标准。
信息论与编码|学在信息——渐露锋芒
文章图片

含义:对于离散平稳信源,当N→∞时(即依赖关系为无限长时),平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵(极限熵)。

实际中常取有限N下的条件熵作为H∞的近似值。因为取N不是很大时,就能得到非常接近H∞的值,常取N=7,8,9
平稳信源的记忆长度有限时,如马尔科夫信源。设记忆长度为m(即某时刻发出什么符号只与前m个符号有关),则离散平稳份信息的极限熵等于有限记忆长度m的条件熵
信息论与编码|学在信息——渐露锋芒
文章图片

    推荐阅读