爬虫案例合集|抖音web直播数据采集

本案例是基于RPC的抖音web直播数据采集。还原protobuf协议的可以参考《抖音web-protobuf》。

文章内容仅供参考学习,如有侵权请联系作者进行删除
可采集内容和页面呈现内容相同,包括用户评论、关注、谁来了、送礼物等数据。

抖音web直播数据采集
    • 接口分析
    • 文件覆盖
    • RPC调用
    • 运行源码
    • 运行示例
    • 交流群

RPC(Remote Procedure Call)是远程调用的意思。
在Js逆向时,我们本地可以和浏览器以服务端和客户端的形式通过websocket协议进行RPC通信,这样可以直接调用浏览器中的一些函数方法,不必去在意函数具体的执行逻辑,可以省去大量的逆向调试时间。
像抖音直播间的数据传输采用的是protobuf,如果完全解析的话实在是浪费时间,不适合做案例教程。
还有重要的一点是,通过RPC的方法可以不用搞加密参数signature,开一个页面就可以了。
接口分析 【爬虫案例合集|抖音web直播数据采集】首先通过控制台进行抓包,普通的get请求

    推荐阅读