锐客网

  1. 首页 > it技术 > >

信息熵与基尼指数的关系

序
熵的概念中有信息熵、信息增益、信息增益比、基尼指数，这些统统作为决策树分裂的依据，其中，我们需要知道信息熵与基尼指数的关系。
信息熵与基尼指数的关系

  1. 首先看二者的定义：

    信息熵与基尼指数的关系
    文章图片

    将 f(x) = ?lnx 在 x = 1 处进行一阶泰勒展开（忽略高阶无穷小）：

    信息熵与基尼指数的关系
    文章图片

    因此，熵可近似转化为：
    信息熵与基尼指数的关系
    文章图片

    信息熵与基尼指数的关系
    文章图片

    基尼指数是信息熵中﹣logP 在P = 1处一阶泰勒展开后的结果！所以两者都可以用来度量数据集的纯度，用于描述决策树节点的纯度！
【信息熵与基尼指数的关系】转载注明：https://www.jianshu.com/p/75518e6a5c64

    推荐阅读


    上一篇：Python|Python 简明教程 --- 0，前言

    下一篇：请开始你的即兴表演