scrapy-redis分布式爬虫启动为什么会等待scrapy-redis所实现的两种分布式：爬虫分布式以及item处理分布式就是由模块scheduler和模块pipelines实现 。上述其它模块作为为二者辅助的功能模块 。
Scrapy-redis可以通过Redis数据库实现分布式爬虫 ， 其天然具备断点续爬的功能 。
因为爬取队列本身就是用数据库保存的 ， 如果爬虫中断了，数据库中的Request依然是存在的，下次启动就会接着上次中断的地方继续爬取 。
【redis 超时触发事件 redispipeline超时】scrapy 是一个通用的爬虫框架，其功能比较完善，可以帮你迅速的写一个简单爬虫，并且跑起来 。
推荐阅读
- 如何让网吧电脑断开服务器连接？ 网吧的电脑怎么断开服务器
- 登录服务器记住密码了怎么办 服务器密码过期怎么登陆
- go语言超时 go语言chan
- 如何在服务器中使用光影材质？ 怎么把光影材质加到服务器
- redis分布式锁的实现原理 redis分布式锁内部实现原理
- redis的哨兵模式+spring整合 redis如何开启哨兵模式
- 如何正确使用网吧的服务器盘？ 网吧盘服务器怎么用
- 怎么通过js请求服务器上