金鞍玉勒寻芳客,未信我庐别有春。这篇文章主要讲述#yyds干货盘点#Python - 爬虫_请求伪造相关的知识,希望能为你提供帮助。
一、伪装自己
- 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作
- 其中
User-Agent
代表用的哪个请求的浏览器
- 代码如下:
from urllib.request import urlopen
from urllib.request import Requesturl = http://www.server.com/login
user_agent = Mozilla/4.0 (compatible;
MSIE 5.5;
Windows NT)
headers = { User-Agent : user_agent }request = Request(url, headers=headers)
response = urlopen(request)
page = response.read()
- 对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer
- 代码如下:
headers = {
User-Agent : Mozilla/4.0 (compatible;
MSIE 5.5;
Windows NT),
Referer:http://www.zhihu.com/articles
}
提示
import urllib.request
import random
ua_list = [
"Mozilla/4.0 (compatible;
MSIE 8.0;
Windows NT 6.0)",
"Mozilla/5.0 (Windows;
U;
Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
"Mozilla/5.0 (Windows;
U;
Windows NT 5.2) AppleWebKit/525.13 (Khtml, like Gecko) Version/3.1",
"Mozilla/5.0 (Windows;
U;
Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27",
"Mozilla/4.0 (compatible;
MSIE 8.0;
Windows NT 5.1;
Trident/4.0;
Mozilla/4.0 (compatible;
MSIE 6.0;
Windows NT 5.1;
SV1) ;
QIHU 360EE)"
]
user_agent = random.choice(ua_list)
request = urllib.request.Request("http://www.baidu.com")
request.add_header("User-Agent",user_agent)
#区分大小写
print(request.get_header("User-agent"))
举个例子
- 在举例之前,先给大家讲解一下URL的组成:
```python
import urllib.requesturl = https://www.baidu.comheaders = {
User-Agent: Mozilla/5.0 (Windows NT 10.0;
Win64;
x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36
}# 因为urlopen方法中不能存储字典 所以headers不能传递进去
# 请求对象的定制
request = urllib.request.Request(url=url,headers=headers)response = urllib.request.urlopen(request)content = response.read().decode(utf8)print(content)
文章图片
1.2 设置代理Proxy分类:透明代理:目标网站知道你使用了代理并且知道你的源IP地址,这种代理显然不符合我们这里使用代理的初衷
匿名代理:匿名程度比较低,也就是网站知道你使用了代理,但是并不知道你的源IP地址
高匿代理:这是最保险的方式,目标网站既不知道你使用的代理更不知道你的源IP
代码如下:
from urllib.request import ProxyHandler
from urllib.request import build_openerproxy = ProxyHandler({"http": "119.109.197.195:80"})
opener = build_opener(proxy)
url = "http://www.baidu.com"
response = opener.open(url)
print(response.read().decode("utf-8"))
2 使用DebugLog
可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,这个也不太常用,仅提一下
from urllib.request import HTTPHandler
from urllib.request import build_opener
from urllib.request import Requesthandler = HTTPHandler(debuglevel=1)
opener = build_opener(handler)
url = "http://www.sohu.com"
request = Request(url)
response = opener.open(request)
各位路过的朋友,如果觉得可以学到些什么的话,点个赞 再走吧,欢迎各位路过的大佬评论,指正错误,也欢迎有问题的小伙伴评论留言,私信。
【#yyds干货盘点#Python - 爬虫_请求伪造】每个小伙伴的关注都是本人更新博客的动力!!!
请微信搜索【 在下小黄 】文章更新将在第一时间阅读 !
文章图片
推荐阅读
- #yyds干货盘点# Prometheus Exporter cAdvisor
- Pandas学习笔记02处理数据实用操作
- #yyds干货盘点#Hadoop企业级生产调优手册
- k8s 1.22.4 kubeadm 部署
- Java 项目中使用 Resilience4j 框架实现故障隔离
- 图解 Eureka 的缓存架构 #yyds干货盘点#
- kubeadm快速部署K8S 1.20集群
- #yyds干货盘点#Java ASM系列((096)检测潜在的NPE)
- k8s中pod删不掉