python爬虫框架scrapy下载中间件的编写方法 python爬虫框架scrapy下载中间件

下载中间件
process_request
process_response
process_exception
其它

下载中间件在每一个scrapy工程中都有一个名为 middlewares.py 的文件，这个就是中间件文件
其中下载中间件的类为 XxxDownloaderMiddleware
其中有这么几个方法

def process_request(self, request, spider):return None

def process_response(self, request, response, spider):return response

def process_exception(self, request, exception, spider):pass

process_request 这个方法是用来拦截请求的，我们可以将UA伪装写在这个方法中。
UA池这个属性需要自己编写

def process_request(self, request, spider):# UA伪装,从UA池随机一个request.headers['User-Agent'] = random.choice(self.user_agent_list)return None

process_response 这个方法是用来拦截响应的，我们可以在这里篡改响应数据。
如果我们将selenium和scrapy结合就可以请求那些动态加载的数据了。

def process_response(self, request, response, spider):# 浏览器对象bro = spider.bro# 参数spider是爬虫对象# 挑选出指定响应对象进行篡改url->request->responsebro.get(request.url)page_text = bro.page_source# 包含了动态加载的数据# 针对定位到的response篡改# 实例化新的响应对象（包含动态加载的数据）response = HtmlResponse(url=bro.current_url, body=page_text, encoding='utf-8', request=request)return response

在爬虫文件中需要预先创建selenium的浏览器对象

import scrapyfrom selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver import ChromeOptionsclass XxxSpider(scrapy.Spider):name = 'xxx'# allowed_domains = ['www.xxx.com']start_urls = ['……']def __init__(self):service = Service('/Users/soutsukyou/PyCharm_Workspace/网络爬虫/study_selenium/chromedriver')chrome_options = ChromeOptions()# 规避检测chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])# 实例化浏览器self.bro = webdriver.Chrome(service=service, options=chrome_options)

process_exception 这是用来拦截发生异常的请求对象，一般我们可以在这里写代理ip。
两个代理ip池属性需要自己编写

def process_exception(self, request, exception, spider):# 可以设置代理ipif request.url.split(':')[0] == 'http':request.meta['proxy'] = 'http://'+random.choice(self.PROXY_http)if request.url.split(':')[0] == 'https':request.meta['proxy'] = 'https://'+random.choice(self.PROXY_https)# 重新请求发送return request

其它我们需要在settings.py中开启下载中间件才能使其生效

# Enable or disable downloader middlewares# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.htmlDOWNLOADER_MIDDLEWARES = {'xxx.middlewares.XxxDownloaderMiddleware': 543,}

【python爬虫框架scrapy下载中间件的编写方法】到此这篇关于python爬虫框架scrapy下载中间件的编写方法的文章就介绍到这了,更多相关python scrapy中间件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！