<技术向;修正昨天的爬取教程,并介绍一个插件 _教程

花门楼前见秋草，岂能贫贱相看老。这篇文章主要讲述< 技术向; 修正昨天的爬取教程,并介绍一个插件相关的知识，希望能为你提供帮助。
昨天的代码有一部分需要修正一下，完整代码应该是这样：

from bs4 import BeautifulSoup
import re
import requests
url = "http://stuu.scnu.edu.cn/articles?paged="
def get_page(url):
wb_data = https://www.songbingjia.com/android/requests.get(url)
soup = BeautifulSoup(wb_data.text,lxml)
titles = soup.select("div.bloglist-container.clr > article > div.home-blog-entry-text.clr")
texts = soup.select("div.bloglist-container.clr > article > div.home-blog-entry-text.clr > p")
imgs = soup.select("div.bloglist-container.clr > article > a > div > img")

for title,text,img in zip(titles,texts,imgs):
data = https://www.songbingjia.com/android/
"标题":title.get_text(),
"摘要":text.get_text(),
"图片":img.get(data-original)

print(data)

def getmorepage(start,end):
for i in range (start,end):
get_page(url+str(i))

getmorepage(1,10)

主要是将这条代码:

"图片":img.get(src)

修改成：

"图片":img.get(data-original)

如果我们仔细观察网页的代码，我们会看到其实它真实的链接在data-original里。如图（点击可以放大）：

文章图片

这样改后就能成功得到我们想要的信息啦：

文章图片

那之前那个结果是怎么回事呢？
这是因为这个网站的图片显示是一种Lazyload的方法，这是一个用来缓冲加载图片的方法，能够避免用户一次性加载太多图片耗费太多流量。这就是为什么昨天我们直接爬取src得到的是一张空图片。

Lazyload在WORDPRESS里是一个插件,实际上是用js写的一个脚本。如果是我们自己搭设的网站想要使用的话可以直接上网下载它的js文件，当然还要jquery库。

下面讲如何在自己搭建的网站上使用这个插件。
先把这个js文件和jquery.js放置到网站根目录的js文件夹下。

首先第一步，加载它们：

< script src="https://www.songbingjia.com/android/jquery.js" type="text/javascript"> < /script>
< script src="https://www.songbingjia.com/android/jquery.lazyload.js" type="text/javascript"> < /script>

第二步，定义图片结构：