文章目录
- 网络图片爬取
-
- 前提准备
- 主要分为以下几个部分:
-
- 1. 分析网页,查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C),选中你想要爬取的图片中的任意一个,下面以
- 2. 读取网页的内容
- 3. 获取图片的数据
- 4.下载图片
网络图片爬取 前提准备
安装好开发库:Beautifulsoup4和requests,这两个库主要用于python爬虫,简单安装过程点这里开发库安装主要分为以下几个部分: 1. 分析网页,查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C),选中你想要爬取的图片中的任意一个,下面以
爱奇艺的首页为例,注意下图:
文章图片
可以看到图片标签,标识属性class,图片的url属性src(这三个接下来会用到)
2. 读取网页的内容
代码如下:
#导入两个开发库
import urllib.request
from bs4 import BeautifulSoup
#定义图像的url地址(就是你想要爬取的网址)
domain = 'https://www.iqiyi.com/'
#在大多数网站都会有反爬取机制,所以我们这里以修改UserAgent的方式来模拟浏览器的形式来骗过该机制
req = urllib.request.Request(domain)
req.add_header('Host','www.iqiyi.com')
req.add_header('Referer','https://www.iqiyi.com/')
req.add_header('User-Agent','fake-client')
#接下来通过urllib.request的urlopen()函数来打开网页并发出请求,获得数据,再通过read()函数读取获得的数据,代码如下:
html = urllib.request.urlopen(req)
info = html.read()
print('打印info','\n',info)#将结果打印出来,验证是否成功
在此运行一下,效果如图:
文章图片
能够获取到数据,基本上上边几步就算成功了3. 获取图片的数据
在第二步我们获取到了网页内的数据,那么我们就可以从获取的网页数据中筛选出我们想要的图片数据
soup = BeautifulSoup(info,'html.parser')
#这里使用开发库BeautifulSoup4的一个类BeautifulSoup,来实例化我们的对象info,
#让其相当于一个页面,使其HTML页面结构成为BeautifulSoup的属性,
#函数的第二个参数是指定使用HTML解释器
all_img = soup.find_all('img',class_ = 'i71-img')#通过find_all()函数进行筛选,筛选条件是img标签并且表示属性class为i71-img
print("打印all_img",all_img)#打印输出筛选出的图片信息
4.下载图片
这里我们获取到了图片的信息,其中src属性里是图片的url地址,我们通过这个地址就可以下载图片了,下载代码如下:
#使用for循环遍历all_img来定义下载后图片的名称,再使用urllib.request.urlretrieve()函数来下载图片
i=0
for img in all_img:
i=i+1
image_name = '%s.jpg' % i
#设置图片的保存位置,记得提前创建好文件夹,有能力的可以通过python来自动创建
urllib.request.urlretrieve('https:'+img['src'],'D:\\12345\\'+image_name)
print('第%s张下载完成' %i,image_name)
print('下载完成')
【python|网络图片爬虫(几个简单步骤实现网页图片的爬取,详细步骤,超详细,简单易懂)】运行结果如下
文章图片
最后查看一下你保存图片的文件夹,就可以看到爬取到的所有图片了
推荐阅读
- Java|抽取幸运观众(JAVA基础案例教程第二章-课后作业)
- supervisor|centos7安装supervisor及supervisor web管理界面、supervisor守护进程使用
- 案例|Java 登录注册系统 【java基础案例教程 案例2-6】
- java|Spring MVC +Spring 框架学习总结-全网最好用的学习笔记
- Linux笔记|Linux Nginx-Web
- python笔记|Python 内存管理
- python笔记|Python迭代器与生成器
- python笔记|Python 面向对象(一)
- #|数据分析与可视化(四)Pandas学习基础一(统计分析基础)