【使用Python进行网络爬虫（Beautiful Soup）】如果你刚刚开始使用Python, 并且想了解更多信息, 请参加srcmini的Python数据科学入门课程。
文章图片
在Internet上拥有如此多数据的时代, 显然, 数据已成为一种新的石油, Web抓取在各种应用中变得更加重要和实用。 Web抓取处理从网站中提取或抓取信息。 Web抓取有时也称为Web收集或Web数据提取。从网站复制文本并将其粘贴到本地系统也是Web抓取。但是, 这是一项手动任务。通常, 网络抓取是在网络搜寻器的帮助下自动提取数据。 Web搜寻器是使用HTTP协议连接到万维网的脚本, 可让你以自动方式获取数据。
无论你是数据科学家, 工程师, 还是分析大量数据集的任何人, 从Web抓取数据的能力都是一项有用的技能。假设你是从网络上找到数据的, 没有直接下载的方法, 使用Python进行网络抓取是一项技巧, 你可以用来将数据提取为有用的形式, 然后以各种方式导入和使用。
网页抓取的一些实际应用可能是：
- 收集具有特定技能的候选人的简历,
- 从Twitter提取带有特定主题标签的推文,
- 市场营销中的潜在客户,
- 从电子商务网站上搜爬取产品详细信息和评论。
Web爬网的潜在挑战
- 从网站抓取信息时遇到的挑战之一是网站的各种结构。这意味着网站模板将有所不同并且将是唯一的；因此, 跨网站推广可能是一个挑战。
- 另一个挑战可能是寿命。由于Web开发人员不断更新其网站, 因此你肯定不能长期依赖一个爬虫。尽管修改可能很小, 但它们在获取数据时仍可能给你带来障碍。
另一个更现实的方法是使用各种网站和平台提供的应用程序编程接口(API)。例如, Facebook和Twitter为你提供了API, 这些API是专门为想要试验其数据或想要提取信息(比如说与所有朋友和共同朋友相关的信息)并为其绘制连接图的开发人员而设计的。使用API??时的数据格式与通常的Web抓取(即JSON或XML)不同, 而在标准Web抓取中, 你主要处理HTML格式的数据。
什么是Beautiful Soup？ Beautiful Soup是一个纯Python库, 用于从网站提取结构化数据。它允许你解析HTML和XML文件中的数据。它充当帮助程序模块, 并以与你使用其他可用的开发人员工具与网页进行交互的方式类似且更好的方式与HTML交互。
- 由于它可以与你喜欢的解析器(例如lxml和html5lib)一起使用, 从而提供了导航, 搜索和修改解析树的有机Python方式, 因此通常可以节省程序员的工作时间或工作量。
- Beautiful Soup的另一个强大而有用的功能是其智能, 可以将获取的文档转换为Unicode, 并将传出的文档转换为UTF-8。作为开发人员, 除非文档固有的未指定编码或Beautiful Soup无法检测到编码, 否则你不必担心。
- 与其他常规解析或抓取技术相比, 它也被认为更快。
文章图片
资源
请随时从这里阅读更多有关它的内容。
理论够了吧？因此, 让我们安装Beautiful Soup, 并开始使用Python学习它的特性和功能。
第一步, 你需要使用终端机或jupyter实验室安装Beautiful Soup库。安装Beautiful Soup的最好方法是通过pip, 因此请确保已安装pip模块。
!pip3 install beautifulsoup4
Requirement already satisfied: beautifulsoup4 in /usr/local/lib/python3.7/site-packages (4.7.1)
Requirement already satisfied: soupsieve>
=1.2 in /usr/local/lib/python3.7/site-packages (from beautifulsoup4) (1.9.5)
导入必要的库 让我们导入所需的软件包, 你将使用这些软件包从网站上抓取数据并借助seaborn, matplotlib和bokeh将其可视化。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
import re
import time
from datetime import datetime
import matplotlib.dates as mdates
import matplotlib.ticker as ticker
from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
爬取亚马逊畅销书 你要抓取的该URL是以下内容：https://www.amazon.in/gp/bestsellers/books/ref=zg_bs_pg_’ +str(pageNo)+’ ?ie=UTF8& pg=’ +str(pageNo) (如果你无法访问此链接, 则为父链接)。如你所见, 可以修改page参数以访问每个页面的数据。因此, 要访问所有页面, 你将需要遍历所有页面以获取必要的数据集, 但是首先, 你需要从网站上查找页面数。
要连接到URL并获取HTML内容, 需要执行以下操作：
- 定义一个get_data函数, 它将输入页码作为参数,
- 定义一个用户代理, 这将有助于绕过检测程序而成为爬取板,
- 指定requests.get的URL, 并将用户代理标头作为参数传递,
- 从requests.get中提取内容,
- 抓取指定的页面并将其分配给Soup变量,
- 书名
- 作者
- 评分
- 客户评分
- 价钱
文章图片
与父标签类似, 你需要查找书名, 作者, 等级, 客户评级和价格的属性。你将必须转到要抓取的网页, 选择属性并右键单击它, 然后选择检查元素。这将帮助你找出需要从纯粹的HTML网页中提取的特定信息字段, 如下图所示：
文章图片
请注意, 有些作者姓名未在Amazon注册, 因此你需要为这些作者申请额外的查找。在下面的单元代码中, 你将找到作者姓名的嵌套if-else条件, 该条件用于提取作者/出版物名称。
no_pages = 2def get_data(pageNo):
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0;
Win64;
x64;
rv:66.0) Gecko/20100101 Firefox/66.0", "Accept-Encoding":"gzip, deflate", "Accept":"text/html, application/xhtml+xml, application/xml;
q=0.9, */*;
q=0.8", "DNT":"1", "Connection":"close", "Upgrade-Insecure-Requests":"1"}r = requests.get('https://www.amazon.in/gp/bestsellers/books/ref=zg_bs_pg_'+str(pageNo)+'?ie=UTF8&
pg='+str(pageNo), headers=headers)#, proxies=proxies)
content = r.content
soup = BeautifulSoup(content)
#print(soup)alls = []
for d in soup.findAll('div', attrs={'class':'a-section a-spacing-none aok-relative'}):
#print(d)
name = d.find('span', attrs={'class':'zg-text-center-align'})
n = name.find_all('img', alt=True)
#print(n[0]['alt'])
author = d.find('a', attrs={'class':'a-size-small a-link-child'})
rating = d.find('span', attrs={'class':'a-icon-alt'})
users_rated = d.find('a', attrs={'class':'a-size-small a-link-normal'})
price = d.find('span', attrs={'class':'p13n-sc-price'})all1=[]if name is not None:
#print(n[0]['alt'])
all1.append(n[0]['alt'])
else:
all1.append("unknown-product")if author is not None:
#print(author.text)
all1.append(author.text)
elif author is None:
author = d.find('span', attrs={'class':'a-size-small a-color-base'})
if author is not None:
all1.append(author.text)
else:
all1.append('0')if rating is not None:
#print(rating.text)
all1.append(rating.text)
else:
all1.append('-1')if users_rated is not None:
#print(price.text)
all1.append(users_rated.text)
else:
all1.append('0')if price is not None:
#print(price.text)
all1.append(price.text)
else:
all1.append('0')
alls.append(all1)
return alls
下面的代码单元将执行以下功能：
- 在for循环中调用get_data函数,
- for循环将从1开始迭代此函数, 直到页面数+ 1。
- 由于输出将是一个嵌套列表, 因此你将首先将列表展平, 然后将其传递给DataFrame。
- 最后, 将数据框另存为CSV文件。
results = []
for i in range(1, no_pages+1):
results.append(get_data(i))
flatten = lambda l: [item for sublist in l for item in sublist]
df = pd.DataFrame(flatten(results), columns=['Book Name', 'Author', 'Rating', 'Customers_Rated', 'Price'])
df.to_csv('amazon_products.csv', index=False, encoding='utf-8')
读取CSV文件 现在, 让我们加载你创建的CSV文件并将其保存在上述单元格中。同样, 这是一个可选步骤；你甚至可以直接使用数据框df, 而忽略以下步骤。
df = pd.read_csv("amazon_products.csv")
df.shape
(100, 5)
数据框的形状表明, CSV文件中有100行和5列。
让我们打印数据集的前5行。
df.head(61)
| 书名 | 作者 | 评分 | 客户评分 | 价钱 | |
|---|---|---|---|---|---|
| 0 | 你的潜意识的力量 | 约瑟夫·墨菲 | 5星4.5 | 13, 948 | ￥ 99.00 |
| 1 | 思考致富 | 拿破仑山 | 5星4.5 | 16, 670 | ￥ 99.00 |
| 2 | 字动力变得简单 | 诺曼·刘易斯 | 5星4.4 | 10, 708 | ￥ 130.00 |
| 3 | 12年级数学(每册2册) | 夏尔马 | 5星4.5 | 18 | ?930.00 |
| 4 | 105房间里的女孩 | 切坦·巴加特 | 5星4.3 | 5, 162 | ￥149.00 |
| … | … | … | … | … | … |
| 56 | JAIIB法律方面的指南组合包… | 麦克米兰 | 5星4.5 | 114 | ?1, 400.00 |
| 57 | ren和马丁高中英语语法和… | 饶N | 5星4.4 | 1, 613 | ￥ 400.00 |
| 58 | 客观常识 | Sanjiv Kumar | 5星4.2 | 742 | ?254.00 |
| 59 | 有史以来最粗鲁的书 | Shwetabh Gangwar | 4.6 / 5星 | 1, 177 | ￥ 194.00 |
| 60 | Sita：密西拉战士(Ram Chandra系列-… | 阿米什·特里帕蒂(Amish Tripathi) | 5星4.4 | 3, 110 | ￥ 248.00 |
让我们对等级, customers_rated和价格列进行一些预处理。
- 由于你知道评分不超过5, 因此你只能保留该评分, 并删除其中的多余部分。
- 在customers_rated列中, 删除逗号。
- 从价格列中删除卢比符号(逗号), 并按点将其分割。
- 最后, 将所有三列转换为整数或浮点数。
df['Rating'] = df['Rating'].apply(lambda x: x.split()[0])
df['Rating'] = pd.to_numeric(df['Rating'])
df["Price"] = df["Price"].str.replace('?', '')
df["Price"] = df["Price"].str.replace(', ', '')
df['Price'] = df['Price'].apply(lambda x: x.split('.')[0])
df['Price'] = df['Price'].astype(int)
df["Customers_Rated"] = df["Customers_Rated"].str.replace(', ', '')
df['Customers_Rated'] = pd.to_numeric(df['Customers_Rated'], errors='ignore')
df.head()
| 书名 | 作者 | 评分 | 客户评分 | 价钱 | |
|---|---|---|---|---|---|
| 0 | 你的潜意识的力量 | 约瑟夫·墨菲 | 4.5 | 13948 | 99 |
| 1 | 思考致富 | 拿破仑山 | 4.5 | 16670 | 99 |
| 2 | 字动力变得简单 | 诺曼·刘易斯 | 4.4 | 10708 | 130 |
| 3 | 12年级数学(每册2册) | 夏尔马 | 4.5 | 18 | 930 |
| 4 | 105房间里的女孩 | 切坦·巴加特 | 4.3 | 5162 | 149 |
df.dtypes
Book Nameobject
Authorobject
Ratingfloat64
Customers_Ratedint64
Priceint64
dtype: object
将DataFrame中的零值替换为NaN。
df.replace(str(0), np.nan, inplace=True)
df.replace(0, np.nan, inplace=True)
计算数据框中NaN的数量
count_nan = len(df) - df.count()
count_nan
Book Name0
Author6
Rating0
Customers_Rated0
Price1
dtype: int64
从上面的输出中, 你可以看到总共有六本书没有作者姓名, 而一本书没有与之相关的价格。这些信息对于想要出售其书籍并且不应该忽略放置此类信息的作者而言至关重要。
让我们删除这些NaN。
df = df.dropna()
作者最高价的书 让我们找出所有作者中价格最高的一本书。你将可视化此类前20名作者的结果。
data = http://www.srcmini.com/df.sort_values(["Price"], axis=0, ascending=False)[:15]
data
| 书名 | 作者 | 评分 | 客户评分 | 价钱 | |
|---|---|---|---|---|---|
| 56 | JAIIB法律方面的指南组合包… | 麦克米兰 | 4.5 | 114 | 1400.0 |
| 98 | 耳鼻喉疾病 | 辛格拉 | 4.7 | 118 | 1285.0 |
| 3 | 12年级数学(每册2册) | 夏尔马 | 4.5 | 18 | 930.0 |
| 96 | Madhymik Bhautik Vigyan -12(Part 1-2)(NCERT … | 库马尔·米塔尔 | 5.0 | 1 | 765.0 |
| 6 | 我的第一个图书馆：10套董事会书籍的… | 妙宅书 | 4.5 | 3116 | 750.0 |
| 38 | 印度政体-用于公务员和其他社会 | 拉克斯米坎特 | 4.6 | 1210 | 700.0 |
| 42 | 言语与非言语娱乐的现代方法… | R.S.阿格瓦尔 | 4.4 | 1822 | 675.0 |
| 27 | 精明的投资者(英文)平装本-… | 本杰明·格雷厄姆(Benjamin Graham) | 4.4 | 6201 | 650.0 |
| 99 | 合同法和特殊救济 | Avtar Singh博士 | 4.4 | 23 | 643.0 |
| 49 | 一站式英语CBSE 12类2019-20 | 专家 | 4.4 | 493 | 599.0 |
| 72 | 秘密 | 朗达·伯恩 | 4.5 | 11220 | 556.0 |
| 86 | 如何准备适合自己的定量能力 | 阿伦·沙玛(Arun Sharma) | 4.4 | 847 | 537.0 |
| 8 | 竞争性考试的定量能力 | 阿加瓦尔 | 4.4 | 4553 | 435.0 |
| 16 | 智人：人类简史 | 尤瓦尔·诺亚·哈拉里(Yuval Noah Harari) | 4.6 | 14985 | 434.0 |
| 84 | 物理概念第二部分(2019-2020届)… | H.C.维玛 | 4.6 | 1807 | 433.0 |
from bokeh.models import ColumnDataSource
from bokeh.transform import dodge
import math
from bokeh.io import curdoc
curdoc().clear()
from bokeh.io import push_notebook, show, output_notebook
from bokeh.layouts import row
from bokeh.plotting import figure
from bokeh.transform import factor_cmap
from bokeh.models import Legend
output_notebook()
加载BokehJS …
p = figure(x_range=data.iloc[:, 1], plot_width=800, plot_height=550, title="Authors Highest Priced Book", toolbar_location=None, tools="")p.vbar(x=data.iloc[:, 1], top=data.iloc[:, 4], width=0.9)p.xgrid.grid_line_color = None
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2
show(p)
文章图片
从上图可以看出, 价格最高的两本书是作者Mecmillan和P L Dhingra撰写的。
客户评价最高的书籍和作者 让我们找出哪些作者的书籍收视率最高, 以及哪些作者的书籍收视率最高。但是, 在找出答案的同时, 你会过滤掉那些少于1000位客户评价的作者。
data = http://www.srcmini.com/df[df['Customers_Rated'] >
1000]
data = http://www.srcmini.com/data.sort_values(['Rating'], axis=0, ascending=False)[:15]
data
| 书名 | 作者 | 评分 | 客户评分 | 价钱 | |
|---|---|---|---|---|---|
| 26 | 内部工程：瑜伽士的欢乐指南 | 萨杜古鲁 | 4.7 | 4091 | 254.0 |
| 70 | 博伽梵歌(印地语) | A. C. Bhaktivedanta | 4.7 | 1023 | 150.0 |
| 11 | 炼金术士 | 保罗·科埃略 | 4.7 | 22182 | 264.0 |
| 47 | 哈利·波特与魔法石 | J.K.罗琳 | 4.7 | 7737 | 234.0 |
| 84 | 物理概念第二部分(2019-2020届)… | H.C.维玛 | 4.6 | 1807 | 433.0 |
| 16 | 智人：人类简史 | 尤瓦尔·诺亚·哈拉里(Yuval Noah Harari) | 4.6 | 14985 | 434.0 |
| 38 | 印度政体-用于公务员和其他社会 | 拉克斯米坎特 | 4.6 | 1210 | 700.0 |
| 29 | 火翼：阿卜杜勒·卡拉姆自传 | 阿伦·蒂瓦里(Arun Tiwari) | 4.6 | 3513 | 301.0 |
| 39 | 万物理论 | 史蒂芬·霍金 | 4.6 | 2004 | 199.0 |
| 25 | The Immortals of Meluha (Shiva Trilogy) | 阿米什人 | 4.6 | 4538 | 248.0 |
| 23 | 生命的奇妙秘诀：如何找到平衡和… | 加尔·戈帕尔·达斯(Gaur Gopal Das) | 4.6 | 3422 | 213.0 |
| 34 | 亲爱的陌生人, 我知道你的感觉 | 阿什什·巴格里查(Ashish Bagrecha) | 4.6 | 1130 | 167.0 |
| 17 | 出售法拉利的和尚 | 罗宾·夏尔马 | 4.6 | 5877 | 137.0 |
| 13 | 如何赢得朋友并影响人 | 戴尔卡耐基 | 4.6 | 15377 | 99.0 |
| 59 | 有史以来最粗鲁的书 | Shwetabh Gangwar | 4.6 | 1177 | 194.0 |
p = figure(x_range=data.iloc[:, 0], plot_width=800, plot_height=600, title="Top Rated Books with more than 1000 Customers Rating", toolbar_location=None, tools="")p.vbar(x=data.iloc[:, 0], top=data.iloc[:, 2], width=0.9)p.xgrid.grid_line_color = None
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2
show(p)
文章图片
从上面的输出中, 你可以看到, 拥有超过1000个客户评分的前三本书是《内部工程》：《瑜伽士的喜悦指南》, 《博伽梵歌》(印地语)和《炼金术士》。
p = figure(x_range=data.iloc[:, 1], plot_width=800, plot_height=600, title="Top Rated Books with more than 1000 Customers Rating", toolbar_location=None, tools="")p.vbar(x=data.iloc[:, 1], top=data.iloc[:, 2], width=0.9)p.xgrid.grid_line_color = None
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2
show(p)
文章图片
上图以降序排列显示了排名最高的前10位作者, 他们的最高评价书具有超过1000个客户评价, 它们分别是Sadhguru, A。C. Bhaktivedanta和Paulo Coelho。
多数客户评价的作者和书籍 尽管你已经看到了顶级图书和顶级作者, 但根据对这本书评价的客户数量, 得出最佳作者和该书仍然更具说服力和可信度。
因此, 让我们快速找到答案。
data = http://www.srcmini.com/df.sort_values(["Customers_Rated"], axis=0, ascending=False)[:20]
data
| 书名 | 作者 | 评分 | 客户评分 | 价钱 | |
|---|---|---|---|---|---|
| 11 | 炼金术士 | 保罗·科埃略 | 4.7 | 22182 | 264.0 |
| 1 | 思考致富 | 拿破仑山 | 4.5 | 16670 | 99.0 |
| 13 | 如何赢得朋友并影响人 | 戴尔卡耐基 | 4.6 | 15377 | 99.0 |
| 16 | 智人：人类简史 | 尤瓦尔·诺亚·哈拉里(Yuval Noah Harari) | 4.6 | 14985 | 434.0 |
| 18 | 有钱的爸爸可怜的爸爸：有钱人教他们… | 罗伯特·清崎 | 4.5 | 14591 | 296.0 |
| 10 | 不给力的微妙艺术 | 马克·曼森 | 4.4 | 14418 | 365.0 |
| 0 | 你的潜意识的力量 | 约瑟夫·墨菲 | 4.5 | 13948 | 99.0 |
| 48 | 你的潜意识的力量 | 约瑟夫·墨菲 | 4.5 | 13948 | 99.0 |
| 72 | 秘密 | 朗达·伯恩 | 4.5 | 11220 | 556.0 |
| 41 | 1984 | 乔治·奥威尔 | 4.5 | 10829 | 95.0 |
| 2 | 字动力变得简单 | 诺曼·刘易斯 | 4.4 | 10708 | 130.0 |
| 46 | 男人的意义追求：经典致敬… | 维克多·E·弗兰克尔 | 4.4 | 8544 | 245.0 |
| 67 | 高效率人才的7种习惯 | 斯蒂芬·科维 | 4.3 | 8229 | 397.0 |
| 47 | 哈利·波特与魔法石 | J.K.罗琳 | 4.7 | 7737 | 234.0 |
| 40 | 一个印度女孩 | 切坦·巴加特 | 3.8 | 7128 | 113.0 |
| 65 | 思考, 快速和慢速(企鹅出版社非虚构类) | 丹尼尔·卡尼曼 | 4.4 | 7087 | 410.0 |
| 27 | 精明的投资者(英文)平装本-… | 本杰明·格雷厄姆(Benjamin Graham) | 4.4 | 6201 | 650.0 |
| 17 | 出售法拉利的和尚 | 罗宾·夏尔马 | 4.6 | 5877 | 137.0 |
| 53 | Ram-Ikshvaku的接穗(Ram Chandra) | 阿米什·特里帕蒂(Amish Tripathi) | 4.2 | 5766 | 262.0 |
| 93 | 巴比伦首富 | 乔治·克拉森 | 4.5 | 5694 | 129.0 |
from bokeh.transform import factor_cmap
from bokeh.models import Legend
from bokeh.palettes import Dark2_5 as palette
import itertools
from bokeh.palettes import d3
#colors has a list of colors which can be used in plots
colors = itertools.cycle(palette)palette = d3['Category20'][20]
index_cmap = factor_cmap('Author', palette=palette, factors=data["Author"])
p = figure(plot_width=700, plot_height=700, title = "Top Authors: Rating vs. Customers Rated")
p.scatter('Rating', 'Customers_Rated', source=data, fill_alpha=0.6, fill_color=index_cmap, size=20, legend='Author')
p.xaxis.axis_label = 'RATING'
p.yaxis.axis_label = 'CUSTOMERS RATED'
p.legend.location = 'top_left'
BokehDeprecationWarning: 'legend' keyword is deprecated, use explicit 'legend_label', 'legend_field', or 'legend_group' keywords instead
show(p)
文章图片
上图是散布了客户评价与实际评价的作者的散点图。查看上面的图可以得出以下结论。
- 放下Paulo Coelho的书《炼金术士》是自评级以来最畅销的书, 被评级的客户数量都保持同步。
- 作者阿米什·特里帕蒂(Amish Tripathi)的书《伊克什瓦库(Ram Chandra)的Ram-Scion》的评分为4.2, 顾客评分为5766。但是, 作者乔治·克拉森(George S. Clason)的《巴比伦首富》一书几乎获得了类似的客户评价, 但总体评价为4.5。因此, 可以得出结论, 更多的顾客对巴比伦的首富给予了很高的评价。
本教程是对用Beautiful Soup进行网络抓取的基本介绍, 以及如何通过使用bokeh绘图库对网络中提取的信息进行可视化处理, 从而使它们有意义。在学习使用Beautiful Soup进行网页抓取方面迈出的一步, 一个很好的练习是从其他一些网站抓取数据, 看看如何从中获得见解。
如果你刚刚开始使用Python, 并且想了解更多信息, 请参加srcmini的Python数据科学入门课程。
推荐阅读
- 11个最好的富文本编辑器热门推荐
- 实时估计COVID-19的感染数量(在R中复制)
- R中的字符串用法完全剖析
- Android（如何在GMAIL上获取SSO的YOUR_AUTHENTICATION_ENDPOINT（））
- 同步期间Android studio错误（远程主机强行关闭现有连接）
- Android - 关闭特定的蓝牙插座
- Android开发 - 通过3G缓慢的互联网连接
- 如何在ACCDB项目中设置Application.CurrentProject.Connection（）
- PlayerPrefs没有在android上工作