抓取网页报403错误,爬虫解决403禁止访问错误方法
抓取网页报403错误,爬虫解决403禁止访问错误方法
一般就是被禁止了,加上对应的header参数就可以了,要具体分析正常访问时需要那些头信息
其中User-Agent是浏览器特有的属性,通过浏览器F12调试器就可以看到
以下是Python示例,java也类似
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.3;
WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36")
req.add_header("GET",url)
req.add_header("Host","blog.xxx.net")
req.add_header("Referer","http://www.xxx.net/")
获取浏览器类型的User-Agent信息,在自定义函数中需要写出自己的Host,Referer,GET信息等,
解决这几个问题,就可以顺利访问了,不再出现403禁止访问了
如果访问频率过快的话,需要用到代理IP的方法。
【抓取网页报403错误,爬虫解决403禁止访问错误方法】转载于:https://www.cnblogs.com/zdz8207/p/java-wget-http-403.html
推荐阅读
- 参保人员因患病来不及到指定的医疗机构就医,能否报销医疗费用()
- 【1057快报】深入机关,走下田间,交通普法,共创文明
- 调取接口时报404错误(ID:16)
- 使用协程爬取网页,计算网页数据大小
- 2019年第22周报
- web网页模板|如此优秀的JS轮播图,写完老师都沉默了
- 东望志愿者的精神
- 接口|axios接口报错-参数类型错误解决
- 深夜碎碎念,权当解压
- Filecoin挖矿投资报告