本文目录一览：
- 1、Redis为什么会那么快?
- 2、Redis持久化的几种方式——深入解析RDB
- 3、redis什么类型数据库?
- 4、Redis持久化策略(看这篇,你肯定会有所获)
- 5、为什么说scrapy-redis天然具备断点续爬的功能?
2、Redis 的执行效率快的原因有以下几点：- Redis 将数据储存在内存里面，读写数据的时候都不会受到硬盘 I/O 速度的限制，所以速度极快 。
3、Redis是纯内存数据库，一般都是简单的存取操作，线程占用的时间很多 ， 时间的花费主要集中在IO上，所以读取速度快 。
4、redis是基于内存的，内存的读写速度非常快；redis是单线程的，省去了很多上下文切换线程的时间；redis使用多路复用技术，可以处理并发的连接 。非阻塞IO内部实现采用epoll ， 采用了epoll+自己实现的简单的事件框架 。
5、Redis之所以快 ， 是因为它采用了单进程单线程模型的KV数据库，由C语言编写 。这个模型的优点在于，它完全基于内存，绝大部分请求是纯粹的内存操作，非常快速 。此外 ， Redis采用单线程避免了不必要的上下文切换和竞争条件 。
6、现在我们都用高级语言来编程，比如Java、python等 。也许你会觉得C语言很古老，但是它真的很有用，毕竟unix系统就是用C实现的，所以C语言是非常贴近操作系统的语言 。Redis就是用C语言开发的，所以执行会比较快 。
Redis持久化的几种方式——深入解析RDB1、redis提供两种方式进行持久化，一种是RDB持久化（原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化） ， 另外一种是AOF（append only file）持久化（原理是将Reids的操作日志以追加的方式写入文件） 。
2、RDB：RDB是一种快照持久化机制，它可以将Redis的内存数据周期性地写入磁盘上的一个文件中 。
3、Redis 混合持久化的存储模式是，开始的数据以 RDB 的格式进行存储 ，因此只会占用少量的空间， 并且之后的命令会以 AOF 的方式进行数据追加 ， 这样就可以减低数据丢失的风险，同时可以提高数据恢复的速度 。
4、redis持久化的意义主要是为了做 灾难恢复、数据恢复 其实可以把它归类到高可用的一个环节 。RDB持久化机制，对redis中的 数据 执行周期性的持久化 。
5、Redis有两种持久化的方式，一种是RDB ， 另外种是AOF 。RDB是将Redis内存中数据的快照存储在磁盘内，是Redis的默认持久化方案 。
6、在redis的配置里有着这样的一段配置：save 900 1save 300 10save 60 10000很关键的一段配置，这时RDB持久化的核心 。
redis什么类型数据库?redis是一个key-value的nosql数据库（非关系型数据库） 。支持存储的value类型包括string（字符串）、list（链表）、set（集合）、zset（sorted set --有序集合）和hash（哈希类型） 。
是数据库Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库 ， 并提供多种语言的API 。从2010年3月15日起，Redis的开发工作由VMware主持 。
NoSQL是指非关系型数据库，是对不同于传统关系型数据库DBMS统称 。有几种典型NoSQL数据库 。文档存储数据库是以文档为存储信息基本单位，如BaseX ， CouchDB，MongoDB等 。
Redis持久化策略(看这篇,你肯定会有所获)1、redis提供两种方式进行持久化，一种是RDB持久化（原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化），另外一种是AOF（append only file）持久化（原理是将Reids的操作日志以追加的方式写入文件） 。
2、在redis的配置里有着这样的一段配置：save 900 1save 300 10save 60 10000很关键的一段配置 ， 这时RDB持久化的核心 。
3、RDB（Redis DataBase）是将某一个时刻的内存快照（Snapshot），以二进制的方式写入磁盘的过程 。持久化触发RDB 的持久化触发方式有两类：一类是手动触发 ， 另一类是自动触发 。
4、Redis 还可以同时使用 AOF 持久化和 RDB 持久化 。在这种情况下， 当 Redis 重启时 ， 它会优先使用 AOF 文件来还原数据集，因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整 。
5、保存路径同RDB持久化方式一致，通过dir配置指定 。AOF的工作流程操作：命令写入（append）、文件同步（sync）、文件重写（rewrite）、重启加载（load），如图5-2所示 。1）所有的写入命令会追加到aof_buf（缓冲区）中 。
6、通过 RDB 或 AOF，都可以将 redis 内存中的数据持久化到磁盘上面来，然后可以将这些数据备份到别的地方去 。
为什么说scrapy-redis天然具备断点续爬的功能?scrapy 是一个通用的爬虫框架，其功能比较完善，可以帮你迅速的写一个简单爬虫，并且跑起来 。
scrapy-redis所实现的两种分布式：爬虫分布式以及item处理分布式就是由模块scheduler和模块pipelines实现 。上述其它模块作为为二者辅助的功能模块 。
另外，可以使用一些优化技巧来提高爬取速度，例如使用异步请求库（如aiohttp、requests-async）来发送异步请求，使用代理IP池来避免IP被封禁，使用分布式爬虫框架（如Scrapy-Redis）来实现分布式爬取等 。
【redis实现滑动窗口 redis滚动加载】scrapy自带有去重set（）集合功能，但是set是在内存中的，一旦关机就要重新开始 。那么我拿到数据不是在set里面 ， 我把他存入redis，mysql，mongo ， 在取数据的时候，pop一下不就可以实现断点续传了 。
