爬虫中Xpth的简单使用

关于这个xpath方法,它在scrapy框架中起到重要的作用,有一些简单的知识和大家分享一下。有错误的话希望大家可以多多指出我的错误。

一、节点关系
1.父节点 2.子节点 3.同胞节点 4.先辈节点 5.后代节点

【爬虫中Xpth的简单使用】二、xpath语法:
article:选取article元素的所有子节点
/article:选取根元素article
article/a:选取所有article的子元素的a元素
//div:所有div元素
article/div:选取article下所有div标签
//@class:选取所有名为class的属性
三、xpath语法-谓语:
/article/div[1]:选取article子元素的第一个div元素
/article/div[last()]:选取article子元素的最后一个div元素
//div[@lang]:选取所有拥有lang属性的div元素
//div[@lang =‘eng’]:选取所有lang属性的div元素
/article/div[last()-1]:选取倒数第二个
四、xpath语法
/div/:选取属于div元素的所有子节点
//
:选取所有元素
//div[@*]:选取所有带有属性的div元素
/div/a|//div/p:选取所有div元素的a和p元素
//span|//ul:选取文档中的span和ul元素
article/div/p|//span:选取所有article中div元素的元素,以及文档中的所有span
注:两个常用的函数
1.extract():获得一个列表
2.strip():去掉空格,换行符

    推荐阅读