关于这个xpath方法,它在scrapy框架中起到重要的作用,有一些简单的知识和大家分享一下。有错误的话希望大家可以多多指出我的错误。
一、节点关系
1.父节点
2.子节点
3.同胞节点
4.先辈节点
5.后代节点
【爬虫中Xpth的简单使用】二、xpath语法:
article:选取article元素的所有子节点
/article:选取根元素article
article/a:选取所有article的子元素的a元素
//div:所有div元素
article/div:选取article下所有div标签
//@class:选取所有名为class的属性
三、xpath语法-谓语:
/article/div[1]:选取article子元素的第一个div元素
/article/div[last()]:选取article子元素的最后一个div元素
//div[@lang]:选取所有拥有lang属性的div元素
//div[@lang =‘eng’]:选取所有lang属性的div元素
/article/div[last()-1]:选取倒数第二个
四、xpath语法
/div/:选取属于div元素的所有子节点
//:选取所有元素
//div[@*]:选取所有带有属性的div元素
/div/a|//div/p:选取所有div元素的a和p元素
//span|//ul:选取文档中的span和ul元素
article/div/p|//span:选取所有article中div元素的元素,以及文档中的所有span
注:两个常用的函数
1.extract():获得一个列表
2.strip():去掉空格,换行符
推荐阅读
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- Python|Win10下 Python开发环境搭建(PyCharm + Anaconda) && 环境变量配置 && 常用工具安装配置
- Python绘制小红花
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- OpenCV|OpenCV-Python实战(18)——深度学习简介与入门示例
- python|8. 文件系统——文件的删除、移动、复制过程以及链接文件
- 爬虫|若想拿下爬虫大单,怎能不会逆向爬虫,价值过万的逆向爬虫教程限时分享
- 分布式|《Python3网络爬虫开发实战(第二版)》内容介绍
- java|微软认真聆听了开源 .NET 开发社区的炮轰( 通过CLI 支持 Hot Reload 功能)