python数据解析BeautifulSoup爬取三国演义章节示例

目录

  • 数据解析
  • Beautiful Soup
  • Beautiful Soup用法
  • 案例—爬取三国演义章节及对应的内容

数据解析 数据解析就是将爬取到的整个页面中的局部的内容进行提取。python中常用的数据解析方式有以下三种:
  • bs4(python中独有的)
  • xpath(推荐,通用型强)
  • 正则
数据解析原理概述:
首先我们知道需要解析(提取)的内容都会在标签之间或者标签对应的属性中进行存储
所以我们需进行指定标签的定位
然后将标签或者标签对应的属性中存储的数据值进行提取(解析)

Beautiful Soup Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。其只能运用在python语言中
bs4数据解析原理
实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中。而将页面源码数据加载到该对象中有两种方式,一种是将本地得html文档加载,另一种是将互联网上获取的页面源码加载通过
调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
要使用bs4首先需要先下载对应的包
pip install bs4
pip install -i https://mirrors.aliyun.com/pypi/simple/ lxml

Beautiful Soup用法 提取整个标签数据
进行标签定位常用的几个方法如下
soup.标签名 返回的是html中第一次出现的标签
soup.find(标签名) 返回第一次出现的这个标签
soup.find_all(标签名)) 返回符合要求的所有标签
soup.select(标签名) 返回符合要求的所有标签
from bs4 import BeautifulSoup#导包html = """百里守约
前程似锦
前程似锦2
#后面改了名字以梦为马
  • 清明时节
  • 秦时明月
  • 汉时关
"""#实例化一个BeautifulSoup对象,并且将本地的源码数据加载到该对象中。且使用html.parser进行数据解析soup = BeautifulSoup(html,'html.parser')print(soup.meta)#输出print(soup.p)#输出百里守约
#findprint(soup.find('div'))#输出百里守约
#这里有多个div标签,根据属性定位,因为class为关键字,所以这里加_print(soup.find('div',class_="song"))#前程似锦
#find_allprint(soup.find_all('p'))#[百里守约
, 前程似锦
, 前程似锦2
, 以梦为马
]print(soup.select('.tang'))#将这个选择器中的所有内容提取print(soup.select('.tang > ul > li > a')[1])#返回ul中的li中的所有a标签中的第二个a标签 秦时明月

提取标签中的内容和标签的属性值
#获取标签中的内容print(soup.p.text)#输出百里守约print(soup.find('div',class_="ming").text)#以梦为马print(soup.find('div',class_="song"))print(soup.select('.tanga')[0].text)#清明时节 #获取标签中的属性值,如a标签中的href值print(soup.select('.tanga')[0]['href'])#http://123.com


案例—爬取三国演义章节及对应的内容 网站如下,网站数据的获取不是通过ajax发送的请求
python数据解析BeautifulSoup爬取三国演义章节示例
文章图片

import requestsfrom bs4 import BeautifulSoupurl = 'https://so.gushiwen.org/guwen/book_46653FD803893E4F7F702BCF1F7CCE17.aspx'headers={'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36'}pag_content = requests.get(url,headers,timeout=4).text#print(pag_content)#提取每章节内容的链接soup = BeautifulSoup(pag_content,'html.parser')a_text = soup.select('.bookcont a')#将其下面的所有a标签提取出来 for i in a_text:#获取a标签中的href属性的值detail_url = i['href']#请求详细内容的url的内容detail_content = requests.get(detail_url,headers,timeout=4).textsoup = BeautifulSoup(detail_content,'html.parser')#提取class标签class_content = soup.find('div',class_='contson')#print(class_content)#该标签中有很多p标签,返回整个class_content标签#print(class_content.text)#获取其所有的内容with open('三国演义.txt','a',encoding='utf-8') as f:f.write(i.text+'\r')f.write(class_content.text+'\r')print(f'爬取{i.text}ok')print('全部ok')

python数据解析BeautifulSoup爬取三国演义章节示例
文章图片

python数据解析BeautifulSoup爬取三国演义章节示例
文章图片

python数据解析BeautifulSoup爬取三国演义章节示例
文章图片

【python数据解析BeautifulSoup爬取三国演义章节示例】以上就是python数据解析BeautifulSoup爬取三国演义章节示例的详细内容,更多关于BeautifulSoup爬取三国演义章节的资料请关注脚本之家其它相关文章!

    推荐阅读