python|决策树——id3算法 python|决策树

我们假设训练集合包含10个样本：

文章图片

其中s、m和l分别表示小、中和大。
设L、F和H表示日志密度、好友密度、是否使用真实头像，下面计算各属性的信息增益。

# 从目标值看信息的分布熵是多少 # 3个no 7个yes info_D = -(.3*np.log(0.3)+.7*np.log(0.7)) info_D

输出：0.6108643020548935

# 从日志密度这一个特征来看账号是否真实有多难熵是多少 # s 2+1 # l 0+3 # m 1+3 info_log = -.3*(1/3*np.log2(1/3)+2/3*np.log2(2/3)) -\ .4*(3/4*np.log2(3/4)+1/4*np.log2(1/4)) info_log

输出：0.6

# 信息是有增益的 # 不带任何信息 - 带有信息 info_D - info_log

输出：0.010864302054893527

# 从好有密度这一个特征来看账号是否真实有多难熵是多少 # s m l 3+1 0+4 0+2 info_f = -.4*(3/4*np.log2(3/4)+1/4*np.log(1/4)) info_f

输出：0.26314068589564216

info_D - info_f

输出：0.34772361615925135

# 从是否使用真实头像这一个特征来看账号是否真实有多难熵是多少 # no yes 2+3 1+4 info_t = -.5*(2/5*np.log(2/5)+3/5*np.log(3/5)) - .5*(1/5*np.log(1/5)+ 4/5*np.log(4/5)) info_t

【python|决策树——id3算法】输出：0.5867070452737222

info_D - info_t

输出：0.02415725678117131
注意：哪条信息增益比较大哪条信息更具有价值

python|决策树——id3算法

推荐阅读

烤鸭免费吃一周

古人对晚霞的雅称古人对晚霞的雅称一个字

杨凌蘸水面汤汁做法杨凌裤带面

redis分布式锁使用 redis分片分布式锁

2024年成都少儿互助金涨了吗？涨了多少？

酷狗如何添加好友？酷狗添加好友教程

煮菱角要放盐吗

12个最基本礼仪告诉你如何培养孩子餐桌礼仪

ssd源码分析,SSD分析

ai绘制餐饮标识的方法

第一条跨海铁路叫什么

夜尿多是什么原因

立秋的来历故事

身份证到期换证流程需要本人去吗

成语故事会——鸡犬相闻鸡犬相闻是什么意思

编辑多少到10086换话费 10086积分怎么兑换话费

人类祖先源自非洲,非洲为何没有诞生一个强大的帝国？

鸡肉与芹菜相克吗

服务器部署环境怎么看服务器的运行环境怎么查看

小孩晕车怎么办