文章图片
使用Python爬取网页图片 
文章图片
李晓文21 天前 近一段时间在学习如何使用Python进行网络爬虫，越来越觉得Python在处理爬虫问题是非常便捷的，那么接下来我就陆陆续续的将自己学习的爬虫知识分享给大家。
首先在进行实战前，我们需要了解几个常用的函数和正则表达式：
一、几个常用的函数
这里介绍的函数是来自于requests扩展包，他们是findall，search和sub函数：
findall(pattern, string, flags=0)
pattern:为正则表达式
string:为字符串
search(pattern, string, flags=0)
pattern:为正则表达式
string:为字符串
findall与search的区别
findall将遍历所有满足条件的内容，而search一般与group(n)搭配使用，选出满足条件的某个内容。
sub(pattern, repl, string, count=0, flags=0)
pattern:为正则表达式
repl：需要替换的内容
string：为原字符串
二、几个常用的爬虫正则表达式
Python爬虫最常用的三个正则表达式为点号，星号，问号和圆括号：
点号：匹配除“\r\n”之外的任何单个字符，可以理解为一个占位符
举例：
x = '1q2wwyxliuwyx3e4rwyxshunwyx1q2wwyxxiangwyx3e4r'
re.findall('wyx.',x)
Out[1]: ['wyxl', 'wyx3', 'wyxs', 'wyx1', 'wyxx', 'wyx3']
返回"wyx"和紧跟其后的第一个字符
re.findall('wyx...',x)
Out[2]: ['wyxliu', 'wyx3e4', 'wyxshu', 'wyx1q2', 'wyxxia', 'wyx3e4']
返回"wyx"和紧跟其后的第一第二个字符
所以可以将点号(.)理解为一个占位符，而且这个占位符可以代表一切字符。
【使用Python爬取网页图片】星号：匹配前一个字符任意次
x = '1q2wwyxliuwyx3e4rwyxshunwyx1q2wwyxxiangwyx3e4r'
re.findall('wyx*',x)
Out[3]: ['wyx', 'wyx', 'wyx', 'wyx', 'wyxx', 'wyx']
星号(*)前一个字符为x，所以返回结果中可以找到x的任意次，x字符串中有两个连续的x，所以返回结果中第5个元素就会有两个x。
问号：匹配前一个字符0次或1次，与星号的不同在于其最多匹配一次。
x = '1q2wwyxliuwyx3e4rwyxshunwyx1q2wwyxxiangwyx3e4r'
re.findall('wyx?',x)
Out[4]: ['wyx', 'wyx', 'wyx', 'wyx', 'wyx', 'wyx']
结果显示，返回结果的第五个元素仅含有一个x。
点星组合(.*)：贪婪算法，尽可能多的匹配数据
re.findall('wyx.*wyx',x)
Out[5]: ['wyxliuwyx3e4rwyxshunwyx1q2wwyxxiangwyx']
从返回的结果就可以理解“贪婪”的概念了，结果一次性返回wyx与wyx之间的所有内容。
点星问组合(.*?)：非贪婪算法，尽可能少的匹配数据
re.findall('wyx.*?wyx',x)
Out[6]: ['wyxliuwyx', 'wyxshunwyx', 'wyxxiangwyx']
而这次的返回结果就完全不同于上面的结果，它尽可能少的返回满足正则表达式的结果，从而将1大串切割为3小串。
圆括号()：返回所需信息
re.findall('wyx(.*?)wyx',x)
Out[7]: ['liu', 'shun', 'xiang']
很明显，通过括号的操作，就直接将想提取的内容抠下来了。
三、半自动化的图片爬虫
本次爬虫的实验来自于当当网有关Python书籍的url，即：
url = Python-当当网
文章图片
在爬取该网页的图片之前，我们需要了解一下网页源代码中有关图片的模式：
文章图片
发现关于图片的链接存在两种模式，即"
文章图片
pic_url2 = re.findall("img data-original='(.*?)' src",Content)
print pic_url2
文章图片
以上两种模式的图片链接已下载好，接下来就是将这两个列表合并：
pic_url.extend(pic_url2)
最后，通过遍历pic_url中的图片链接，将图片下载并保存到指定的目录下：
import requests #导入所需扩展包
i = 0
for url in pic_url: #开始遍历pic_url中的每个元素
print 'Downloding: ' + url
Pic = requests.get(url)
fp = open('Pic\\' + str(i) + '.jpg','wb') #保存文件
fp.write(Pic.content) #将文件写入到指定的目录文件夹下
fp.close()
i = i + 1
我们看看Pic文件夹是否含有下载好了的文件呢？
文章图片
Perfect，网页中的图片全都下载下来啦，很简单吧。有兴趣的同学还不赶快动手试试？
----------------------------------------------
