softmax损失函数-交叉熵 softmax损失函数-交叉熵

softmax常用来进行多分类，假如有一个4x1向量=[5，2，-1，3]，softmax的计算过程如下所示

文章图片
输入向量和中间向量t
文章图片
softmax输出向量，结果的所有元素和为1

下式中是标签，是输出预测值。假设=[0，1，0，0]，=[0.3，0.4，0.1，0.2]

单个训练样本损失函数(，)=—
此损失函数本质上是交叉熵

酷文章：交叉熵

KL散度（相对熵）

说交叉熵之前，先引出KL散度，KL散度用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。 KL散度的值越小表示两个分布越接近。
1、对于离散事件我们可以定义事件A和B的差别为(2.1)：

文章图片
公式（2.1）

2、对于连续事件，那么我们只是把求和改为求积分而已(2.2)。

文章图片
公式（2.2）

从上两式中可以看出：1、如果,那么AB的Kl散度等于0
2、KL散度不具有对称性，即

交叉熵

那既然我们默认了用KL散度来计算两个分布间的不同，那还要交叉熵做什么？
事实上交叉熵和KL散度的公式非常相近，其实就是KL散度的后半部分(公式2.1)：
A与B的KL散度= -A的熵 + A和B的交叉熵
机器学习中，我们常常使用KL散度来评估predict和label之间的差别，但是由于KL散度的前半部分是一个常量，所以我们常常将后半部分的交叉熵作为损失函数，其实二者是一样的