熵
熵
又称自信息，描述一个随机变量的不确定性的数量。
联合熵
一对随机变量平均所需要的信息量。
条件熵
给定随机变量X的条件下，随机变量Y的条件熵。
互信息
知道了Y的值以后X的不确定性的减少量。
相对熵
又称KL距离，衡量相同事件空间里两个概率分布相对差距的测度。
交叉熵
【熵】衡量估计模型与真实概率分布之间差异情况。
困惑度
代替交叉熵衡量语言模型的好坏。
推荐阅读
- 熵定律
- 相对熵和交叉熵及其联系和区别
- 《繁凡的深度学习笔记》|一文绝对让你完全弄懂信息熵、相对熵、交叉熵的意义《繁凡的深度学习笔记》第 3 章 分类问题与信息论基础（中）（DL笔记整理
- softmax损失函数-交叉熵
- 交叉熵损失函数原理详解
- 原创|通俗易懂！详解Softmax及求导过程、Python实现、交叉熵
- 如何制作好吃的春卷
- 信息熵，KL散度，JS散度
- 欧几里德算法
- 日照汉唐|日照汉唐 霁蓝之_唯独