requests爬虫改为增量爬虫的一种方法
在爬虫编写中，为了避免重复爬取同一个网页，一般会使用增量爬虫，这样就避免了重复爬取相同的一个网页，只爬取新的网页数据。scrapy-redis做分布式的时候使用的是布隆过滤器来做的增量爬虫，本人平时一般小的爬虫就没有使用框架，直接用的requests写的，requests结合MongoDB数据库做的增量爬虫，如果网站不需要登录的话，就可以先把详情页的url和解析详情页分开来做，把爬取到的url保留一个字段，比如status，爬取到的没有解析的就标记为0，（MongoDB数据库中可以设置唯一索引，避免保存相同的url），这样在写解析详情页的时候用这个来获取（MongoDB数据库）
item = self.coll_url.find_and_modify({'status': 0}, {'$set': {'status': 1}})
【requests爬虫改为增量爬虫的一种方法】这样就可以保证获取到的不是相同的url。
推荐阅读
- Python爬虫|Python爬虫 --- 1.4 正则表达式（re库）
- 爬虫数据处理HTML转义字符
- 2018-12-05爬虫
- Python爬虫技术要学到什么程度才可以找到工作（）
- python|python 爬虫抓取图片
- 爬虫|若想拿下爬虫大单，怎能不会逆向爬虫，价值过万的逆向爬虫教程限时分享
- 分布式|《Python3网络爬虫开发实战（第二版）》内容介绍
- 【入门】Python网络爬虫与信息提取1
- python|尚硅谷python爬虫（二）-解析方法
- 爬虫实战|爬虫实战| 8w+网友亲身体验，告诉你充气娃娃有多爽（）