微博热搜的历史查看和趋势分析,吃瓜利器

微博热搜的历史查看和趋势分析,吃瓜利器
最近微博前阵子的瓜有点多,突然有个想法,想写一个热搜的趋势变化查看,还有历史热搜的查看。主要是想看一下热搜数据是否不正常,比如某些明星的不良影响热搜直接被买下热搜等,还有我想分析一下这些热搜数据,比如某位明星上热搜的次数啥的。
先看下现在完成的进度和效果:

微博热搜的历史查看和趋势分析,吃瓜利器
文章图片

微博热搜的历史查看和趋势分析,吃瓜利器
文章图片

图源是github有可能加载不出来,直接访问hot-search可以预览。
我的主要思路就是先收集数据,有了原始数据就可以进行后续的数据展示。所以我写的几个东西如下:

  1. 微博热搜爬虫,用go 语言编写,使用了colly这个爬虫框架。15分钟爬取一次,存入influxdb。 go-crawler
  2. 微博热搜API, 这个API是我查找自己爬取的热搜数据,也是go 语言编写,gin框架实现。weibo-hot-search
  3. 热搜展示,前端界面是用React编写的,为了让界面看起来没那么丑,用了 Ant Design 的UI库。weibo-hot-search-react
  4. 热搜界面快照,用wkhtmltopdf 进行网页转图片,我想着这热搜上了得有个证据吧,就搞了这个,保存了图片和PDF。(嵌入到爬虫)
实际上整体大概就这些,现在完成了个小demo,现在实现了当前热搜的查看,历史热搜的查看和热搜的热度和排名趋势变化。
现在demo可以在线预览了,感兴趣的朋友可以看下 hot-search ,预览下效果,有什么意见也可以分享一下啊。
这几个模块的源码github上都有,大家感兴趣的可以点个start。一起互相 followe 啊, 我的github链接放在这 akazwz
【微博热搜的历史查看和趋势分析,吃瓜利器】做的这个demo都是些基础的东西组合到一起,也是我这段时间自学go 和react 的一个实践,虽然是个简单的小东西但是也遇到了不少问题,后续我会挨个分享一下遇到的问题和解决的思路。感谢大家阅读。

    推荐阅读