微博热搜的历史查看和趋势分析,吃瓜利器
微博热搜的历史查看和趋势分析,吃瓜利器
最近微博前阵子的瓜有点多,突然有个想法,想写一个热搜的趋势变化查看,还有历史热搜的查看。主要是想看一下热搜数据是否不正常,比如某些明星的不良影响热搜直接被买下热搜等,还有我想分析一下这些热搜数据,比如某位明星上热搜的次数啥的。
先看下现在完成的进度和效果:
文章图片
文章图片
图源是github有可能加载不出来,直接访问hot-search可以预览。
我的主要思路就是先收集数据,有了原始数据就可以进行后续的数据展示。所以我写的几个东西如下:
- 微博热搜爬虫,用go 语言编写,使用了colly这个爬虫框架。15分钟爬取一次,存入influxdb。 go-crawler
- 微博热搜API, 这个API是我查找自己爬取的热搜数据,也是go 语言编写,gin框架实现。weibo-hot-search
- 热搜展示,前端界面是用React编写的,为了让界面看起来没那么丑,用了 Ant Design 的UI库。weibo-hot-search-react
- 热搜界面快照,用wkhtmltopdf 进行网页转图片,我想着这热搜上了得有个证据吧,就搞了这个,保存了图片和PDF。(嵌入到爬虫)
现在demo可以在线预览了,感兴趣的朋友可以看下 hot-search ,预览下效果,有什么意见也可以分享一下啊。
这几个模块的源码github上都有,大家感兴趣的可以点个start。一起互相 followe 啊, 我的github链接放在这 akazwz
【微博热搜的历史查看和趋势分析,吃瓜利器】做的这个demo都是些基础的东西组合到一起,也是我这段时间自学go 和react 的一个实践,虽然是个简单的小东西但是也遇到了不少问题,后续我会挨个分享一下遇到的问题和解决的思路。感谢大家阅读。
推荐阅读
- 热闹中的孤独
- JAVA(抽象类与接口的区别&重载与重写&内存泄漏)
- 放屁有这三个特征的,请注意啦!这说明你的身体毒素太多
- 一个人的旅行,三亚
- 布丽吉特,人生绝对的赢家
- 慢慢的美丽
- 尽力
- 一个小故事,我的思考。
- 家乡的那条小河
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量