我们假设训练集合包含10个样本:
文章图片
其中s、m和l分别表示小、中和大。
设L、F和H表示日志密度、好友密度、是否使用真实头像,下面计算各属性的信息增益。
# 从目标值看 信息的分布熵是多少
# 3个no 7个yes
info_D = -(.3*np.log(0.3)+.7*np.log(0.7))
info_D
输出:0.6108643020548935
# 从日志密度这一个特征来看账号是否真实 有多难 熵是多少
# s 2+1
# l 0+3
# m 1+3
info_log = -.3*(1/3*np.log2(1/3)+2/3*np.log2(2/3)) -\
.4*(3/4*np.log2(3/4)+1/4*np.log2(1/4))
info_log
输出:0.6
# 信息是有增益的
# 不带任何信息 - 带有信息
info_D - info_log
输出:0.010864302054893527
# 从好有密度这一个特征来看账号是否真实 有多难 熵是多少
# s m l 3+1 0+4 0+2
info_f = -.4*(3/4*np.log2(3/4)+1/4*np.log(1/4))
info_f
输出:0.26314068589564216
info_D - info_f
输出:0.34772361615925135
# 从是否使用真实头像这一个特征来看账号是否真实 有多难 熵是多少
# no yes 2+3 1+4
info_t = -.5*(2/5*np.log(2/5)+3/5*np.log(3/5)) - .5*(1/5*np.log(1/5)+ 4/5*np.log(4/5))
info_t
【python|决策树——id3算法】输出:0.5867070452737222
info_D - info_t
输出:0.02415725678117131
注意:哪条信息增益比较大 哪条信息更具有价值
推荐阅读
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- Python|Win10下 Python开发环境搭建(PyCharm + Anaconda) && 环境变量配置 && 常用工具安装配置
- Python绘制小红花
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- OpenCV|OpenCV-Python实战(18)——深度学习简介与入门示例
- python|8. 文件系统——文件的删除、移动、复制过程以及链接文件
- 爬虫|若想拿下爬虫大单,怎能不会逆向爬虫,价值过万的逆向爬虫教程限时分享
- 分布式|《Python3网络爬虫开发实战(第二版)》内容介绍
- java|微软认真聆听了开源 .NET 开发社区的炮轰( 通过CLI 支持 Hot Reload 功能)