小爬虫之腾讯招聘网自动翻页采集小爬虫之腾讯招聘网自动翻页

文章图片
1.技术路线

python 3.6.0
scrapy 1.4.0

2.任务爬取腾讯招聘网站的自动翻页的数据采集
3.分析

文章图片
image.png

注意

URL组成
https://hr.tencent.com/position.php?lid=2156&tid=87&keywords=自然语言处理start=0

其中：
lid=2156 代表地点在北京
tid=87 代表方向为技术类
keywords 代表搜索职位
start 代表当前页面第一条数据的序号

爬取目标
1.职位名称
2.职位类别
3.职位人数
4.职位地点
5.发布时间
6.职位详情

4.运行结果

文章图片
image.png 5.源码

GitHub
欢迎Fork，一起讨论学习

我的博客即将搬运同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan
【小爬虫之腾讯招聘网自动翻页采集】作者：Jasonhaven.D
链接：http://www.jianshu.com/u/ed031e432b82
來源：
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。