不操千曲而后晓声,观千剑而后识器。这篇文章主要讲述scrapy爬取图片站相关的知识,希望能为你提供帮助。
建个项目:
scrapy startproject
jiumiji
scrapy genspider image www.jiumiji.com
?
编辑image.py
用xpath提取我们需要的网站内容(图片标题以及链接)
import scrapy
from ..items import DemoItem
class ImageSpider(scrapy.Spider):
name = image
allowed_domains = [http://www.jiumiji.com]
start_urls = [http://www.jiumiji.com]
def parse(self, response):
img_list=response.xpath("//div[@class=list-box col-s-960 clearfix ]/div")
print(img_list)
for img in img_list:
item=DemoItem()
item["title"]=img.xpath("./a/div[2]/span[2]/text()").extract_first()+.png
item["img_urls"]=http:+img.xpath("./a/div[@class=image-box]/img/@data-original")[0].extract()
yield item
编辑items.py
# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html
import scrapy
class DemoItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
img_urls = scrapy.Field()
pass
编辑pipelines.py
from scrapy.pipelines.images import ImagesPipeline
import scrapy
import os
class DemoPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
yield scrapy.Request(url=item[img_urls], meta=item: item)
# 返回图片名称即可
def file_path(self, request, response=None, info=None):
item = request.meta[item]
print(########, item)
filePath = item[title]
return filePath
def item_completed(self, results, item, info):
return item
修改setting文件
1.把管道打开:
ITEM_PIPELINES:项目管道,300为优先级,越低越爬取的优先度越高
2.其他:
BOT_NAME:项目名
LOG_LEVEL:屏蔽warning
USER_AGENT:默认是注释的,这个东西非常重要,不写容易被判断为电脑,简单点写一个Mozilla/5.0即可
ROBOTSTXT_OBEY:是否遵循机器人协议,默认是true,需要改为false,否则很多东西爬不了
开始爬虫:
【scrapy爬取图片站】scrapy crawl jiumiji
推荐阅读
- (Message组件)
- MA8601 pin√pin替代汤铭FE1.1s无须更改电路板|完美替代FE1.1s方案
- Docker容器实战九(容器生命周期管理)
- 4G智能安全帽(记录仪)应用分析
- Install Jumpserver
- 以字节跳动内部 Data Catalog 架构升级为例聊业务系统的性能优化
- #yyds干货盘点# 解决剑指offer(跳台阶)
- 108个Python精选库,建议收藏留用!
- AIoT时代,如何颠覆传统AI硬件产研模式