scrapy-redis分布式爬虫启动为什么会等待scrapy-redis所实现的两种分布式：爬虫分布式以及item处理分布式就是由模块scheduler和模块pipelines实现 。上述其它模块作为为二者辅助的功能模块 。
Scrapy-redis可以通过Redis数据库实现分布式爬虫 ， 其天然具备断点续爬的功能 。
因为爬取队列本身就是用数据库保存的，如果爬虫中断了，数据库中的Request依然是存在的，下次启动就会接着上次中断的地方继续爬取 。
redis哪个数据结构是链表结构list（双向链表）list是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等 。
双端链表在Redis中的地位：它作为一种 通用数据结构，在Redis的内部使用非常多 。是 Redis列表结构的底层实现之一，也被大量Redis模块使用，用于构建其他功能。Redis双端列表的定义可以参看 adlist.h 和 adlist.c 两个文件 。
String类型对应的简单动态字符串到后面再说，集合类型的底层数据结构主要有 5 种：整数数组、双向链表、哈希表、压缩列表和跳表 。
redis提供五种数据类型：string，hash ， list，set及zset（sorted set） 。redis是一个key-value存储系统 。
Redis五种数据类型分别是string（字符串），hash（哈希），list（列表），set（集合）及sortset（有序集合） 。字符串string字符串类型是Redis中最基本的数据存储类型，它是一个由字节组成的序列，在Rediss中是二进制安全的 。
String——字符串 String 数据结构是简单的 key-value 类型，value 不仅可以是 String，也可以是数字（当数字类型用 Long 可以表示的时候encoding 就是整型，其他都存储在 sdshdr 当做字符串） 。
redis怎么做消息队列?1、有两种方法：Redis自带的PUB/SUB机制，即发布-订阅模式 。
2、应用Redis实现数据的读写，同时利用队列处理器定时将数据写入mysql 。
【redisson pipeline redis的pipeline怎么实现的】3、redis教程）redis中的消息队列redis中可以使用自带的publish和subscribe命令完成“消息推送”和“消息拉取”功能，实现消息队列 。但这种方式有一个缺陷就是 ， 消费者必须一致在线，否则会出现消费遗漏 。
推荐阅读
- 如何获取公主服务器号？ 怎么弄公主服务器号
- 如何在索尼官网预约服务器？ 索尼官网怎么预约服务器
- 游戏服务器教程 服务器的游戏是怎么
- mysql中索引的使用 mysql索引能用计算吗
- 如何设置公主服务器的名称和密码？ 怎么弄公主服务器名称密码