眼前多少难甘事,自古男儿当自强。这篇文章主要讲述#yyds干货盘点# 使用Python分析网易云歌曲评论信息,通过可视化处理我发现了这些有趣的规律相关的知识,希望能为你提供帮助。
大家好,我是python进阶者。
前言
前几天有个学生娃子找我帮忙做点可视化的作业,作业内容包括采集网易云音乐热评评论内容,数据量1W作业足够,然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫,有数据分析和数据处理,还有可视化,算是一个大实验了,还需要上交实验报告。这里拿出来部分知识点,给大家分享。学生娃的作业,参考了这个文章:??网易云音乐评论爬取??。
数据来源
首先是数据来源,来自网易云音乐热评,代码这里就不放出来了,调用了API获取的,抓取难度就少了许多,这里不在赘述了。
分析过程
时间处理下面的代码主要是评论时间分布,主要是针对时间列做了数据处理,常规操作,你也对照的去以日期和月份去挖掘下有意思的事情。
import pandas as pd
from pyecharts import Line
# 读取数据
df = pd.read_csv(music_comments.csv, header=None, names=[name, userid, age, gender, city, text, comment, commentid, praise, date], encoding=utf-8-sig)
# 根据评论ID去重
df = df.drop_duplicates(commentid)
df = df.dropna()
# 获取时间
df[time] = [int(i.split( )[1].split(:)[0]) for i in df[date]]
# 分组汇总
date_message = df.groupby([time])
date_com = date_message[time].agg([count])
date_com.reset_index(inplace=True)
# 绘制走势图
attr = date_com[time]
v1 = date_com[count]
line = Line("歌曲被爆抄袭后-评论的时间分布", title_pos=center, title_top=18, width=800, height=400)
line.add("", attr, v1, is_smooth=True, is_fill=True, area_color="#000", is_xaxislabel_align=True, xaxis_min="dataMin", area_opacity=0.3, mark_point=["max"], mark_point_symbol="pin", mark_point_symbolsize=55)
line.render("歌曲被爆抄袭后-评论的时间分布.html")
运行之后,得到的效果图如下所示:
用户评论数量代码和上面差不多,只需要更改下数据即可。
import pandas as pd
# 读取数据
df = pd.read_csv(music_comments.csv, header=None, names=[name, userid, age, gender, city, text, comment, commentid, praise, date], encoding=utf-8-sig)
# 根据评论ID去重
df = df.drop_duplicates(commentid)
df = df.dropna()
# 分组汇总
user_message = df.groupby([userid])
user_com = user_message[userid].agg([count])
user_com.reset_index(inplace=True)
user_com_last = user_com.sort_values(count, ascending=False)[0:10]
print(user_com_last)
运行之后,得到的结果如下所示:
可以看到有忠粉,狂粉,评论数据上百,恐怖如斯。
评论词云【#yyds干货盘点# 使用Python分析网易云歌曲评论信息,通过可视化处理我发现了这些有趣的规律】词云这个老生常谈了,经常做,直接套用模板,改下底图即可,代码如下:
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import pandas as pd
import random
import jieba
# 设置文本随机颜色
def random_color_func(word=None, font_size=None, position=None, orientation=None, font_path=None, random_state=None):
h, s, l = random.choice([(188, 72, 53), (253, 63, 56), (12, 78, 69)])
return "hsl(, %, %)".format(h, s, l)
# 读取信息
df = pd.read_csv(music_comments.csv, header=None, names=[name, userid, age, gender, city, text, comment, commentid, praise, date], encoding=utf-8-sig)
# 根据评论ID去重
df = df.drop_duplicates(commentid)
df = df.dropna()
words = pd.read_csv(chineseStopWords.txt, encoding=gbk, sep=\\t, names=[stopword])
# 分词
text =
for line in df[comment]:
text +=.join(jieba.cut(str(line), cut_all=False))
# 停用词
推荐阅读
- ORTC与SIP融合通信服务架构
- #展望我的2022Flag# 微服务你学明白了吗(火的一塌糊涂的Spring Cloud到底是什么?)
- WordPress中的page.php与index.php
- 从主题覆盖插件函数
- 覆盖子主题中的类和函数
- 在链接上,单击在同一页面上的div中显示帖子内容
- 一页wordpress模板-将所有页面重定向到首页
- “NetworkError(找不到404″/style.ccs)
- WordPress Admin中没有自定义字段表单