锐客网

  1. 首页 > it技术 > >

python爬虫（四）---scrapy框架之腾讯招聘项目实战

Python爬虫

目的：功能就是翻页请求 步骤：如下 python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

爬取职位名，职位链接等 python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

? 职位名：
? 职位详情链接：
? 职位类别：
? 人数:
? 地点:
? 发布时间：
python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

下一步骤：写爬虫 ：tencent.py文件写 python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

方法一：
python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

或者这样写
python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

获取职位名 python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

获取链接 python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

再传给管道： python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

设置settings函数 python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

开始翻页（提取第二页的链接） python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

以上只是构建了请求但是没有发出去请求，因此需要用yield
python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

排错一：
因为有的没有类别，所以要判断：
python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

排错二：
python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

方法二：用scrapy提取链接
python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

总结：一个项目的大致流程 【python爬虫（四）---scrapy框架之腾讯招聘项目实战】python爬虫（四）---scrapy框架之腾讯招聘项目实战
文章图片

    推荐阅读


    上一篇：深度学习基础|深度学习基础-线性回归

    下一篇：程序员基本技能|算法工程师的加分技能，使用GTest维护自己的代码