求教(如何破解反爬虫策略获取动态json数据)
场景描述:最近自己搞了一个爬虫项目,爬的是LG的网站,这个网站的列表上数据是通过ajax动态获取的json填充到页面的,如下
http请求:
文章图片
返回结果:
文章图片
本以为已经可以爬取数据了,但是等到真正开始爬的时候,发现这个接口的数据在单独调用的时候会返回一个错误提示的json,我觉得这个网站网站应该是有反爬虫策略的,单独调用这个接口的时候就会出现这种情况,现在不知道该如何破解这个反爬虫策略了,所以想请各位爬虫界的大牛集思广益,给点建议。
代码如下:
文章图片
【求教(如何破解反爬虫策略获取动态json数据)】返回错误提示:
文章图片
推荐阅读
- 考研英语阅读终极解决方案——阅读理解如何巧拿高分
- 如何寻找情感问答App的分析切入点
- mybatisplus如何在xml的连表查询中使用queryWrapper
- MybatisPlus使用queryWrapper如何实现复杂查询
- 如何在Mac中的文件选择框中打开系统隐藏文件夹
- 漫画初学者如何学习漫画背景的透视画法(这篇教程请收藏好了!)
- java中如何实现重建二叉树
- Linux下面如何查看tomcat已经使用多少线程
- thinkphp|thinkphp 3.2 如何调用第三方类库
- 2019女表什么牌子好(如何挑选女士手表?)