本案例是基于RPC的抖音web直播数据采集。还原protobuf协议的可以参考《抖音web-protobuf》。
文章内容仅供参考学习,如有侵权请联系作者进行删除
可采集内容和页面呈现内容相同,包括用户评论、关注、谁来了、送礼物等数据。
抖音web直播数据采集
-
- 接口分析
- 文件覆盖
- RPC调用
- 运行源码
- 运行示例
- 交流群
RPC(Remote Procedure Call)是远程调用的意思。
在Js逆向时,我们本地可以和浏览器以服务端和客户端的形式通过websocket协议进行RPC通信,这样可以直接调用浏览器中的一些函数方法,不必去在意函数具体的执行逻辑,可以省去大量的逆向调试时间。
像抖音直播间的数据传输采用的是protobuf,如果完全解析的话实在是浪费时间,不适合做案例教程。
还有重要的一点是,通过RPC的方法可以不用搞加密参数signature,开一个页面就可以了。
接口分析 【爬虫案例合集|抖音web直播数据采集】首先通过控制台进行抓包,普通的get请求
推荐阅读
- 爬虫|爬虫逆向学习进阶路线
- PythonKnowledge|Python之quote()使用
- SpiderCrawl|JS逆向-Protobuf逆向解析
- 爬虫总结|通过JS逆向ProtoBuf 反反爬思路分享
- java|工作log
- #|二进制粒子群算法的配电网故障定位(Python&Matlab实现)
- #|美团外卖——物流论文小笔记(Python实现)
- 算法|一个月读完6本书(这些烧脑神书,你能读完1本,就是学霸!)
- Python|爬虫学习日记第六篇(异步爬虫之多进程、线程池和实战项目爬取新发地价格行情)