python|决策树——id3算法 python|决策树

我们假设训练集合包含10个样本：

文章图片

其中s、m和l分别表示小、中和大。
设L、F和H表示日志密度、好友密度、是否使用真实头像，下面计算各属性的信息增益。

# 从目标值看信息的分布熵是多少 # 3个no 7个yes info_D = -(.3*np.log(0.3)+.7*np.log(0.7)) info_D

输出：0.6108643020548935

# 从日志密度这一个特征来看账号是否真实有多难熵是多少 # s 2+1 # l 0+3 # m 1+3 info_log = -.3*(1/3*np.log2(1/3)+2/3*np.log2(2/3)) -\ .4*(3/4*np.log2(3/4)+1/4*np.log2(1/4)) info_log

输出：0.6

# 信息是有增益的 # 不带任何信息 - 带有信息 info_D - info_log

输出：0.010864302054893527

# 从好有密度这一个特征来看账号是否真实有多难熵是多少 # s m l 3+1 0+4 0+2 info_f = -.4*(3/4*np.log2(3/4)+1/4*np.log(1/4)) info_f

输出：0.26314068589564216

info_D - info_f

输出：0.34772361615925135

# 从是否使用真实头像这一个特征来看账号是否真实有多难熵是多少 # no yes 2+3 1+4 info_t = -.5*(2/5*np.log(2/5)+3/5*np.log(3/5)) - .5*(1/5*np.log(1/5)+ 4/5*np.log(4/5)) info_t

【python|决策树——id3算法】输出：0.5867070452737222

info_D - info_t

输出：0.02415725678117131
注意：哪条信息增益比较大哪条信息更具有价值

python|决策树——id3算法

推荐阅读

鸿蒙可以做电脑系统吗

山菜的做法

热玛吉适合什么样的人

松下空调lfe13km1怎么样,看完这些差不多就明白了

如果小孩子不听话怎么办如果小孩子不听话怎么教育

蜈蚣怕风油精的气味吗

oppo手机怎么关闭软件广告

息肉|息肉切除后，被查出肠癌，是咋回事？反复长息肉，是啥原因？

平安银行信用卡怎么申请提高额度平安银行信用卡怎么申请

mysql教程哪个好 mysql学习看谁的视频好

mysql怎么设置并发 mysql数据库并发问题

虎眼万年青放在家里哪个位置虎眼万年青的摆放风水禁忌

Android开始之Checkboxs

健康喝水五要点一定要牢记

自动挡刹车怎样防点头自动挡车刹车防点头

建造师资格证丢失怎么补办

iqoo3玩游戏卡顿怎么办

腐烂国度2巨霸版建筑师机制介绍建筑师可解锁建筑说明

高情商回复别人的表白

网易有道词典怎么去除广告？网易有道词典去除广告的方法