得意犹堪夸世俗,诏黄新湿字如鸦。这篇文章主要讲述Java开发工程师进阶篇-深入浅出Redis相关的知识,希望能为你提供帮助。
基本简介
文章图片
Redis 是什么?
- Redis 是互联网技术领域使用最为广泛的存储中间件,它是「Remote Dictionary Service」的首字母缩写,也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、 简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。
- 国内外很多大型互联网 公司都在使用 Redis,比如 Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、 阿里、京东、华为、新浪微博等等,很多中小型公司也都有应用。也可以说,对 Redis 的了 解和应用实践已成为当下中高级后端开发者绕不开的必备技能。
- 「Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。
- 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(LRU eviction),事务(transactions) 和不同级别的 磁盘持久化(persistence), 并通过 Redis哨兵(Sentinel)和自动 分区(Cluster)提供高可用性(high availability)。
- Redis 的业务应用范围非常广泛,以博客社区的功能模块为实例:
- 记录帖子的点赞数、评论数和点击数 (hash)。
- 记录用户的帖子 ID列表 (排序),便于快速显示用户的帖子列表 (zset)。
- 记录帖子的标题、摘要、作者和封面信息,用于列表页展示 (hash)。
- 记录帖子的点赞用户 ID 列表,评论 ID 列表,用于显示和去重计数 (zset)。
- 缓存近期热帖内容 (帖子内容空间占用比较大),减少数据库压力 (hash)。
- 参考网站:http://www.redis.cn/download.html
字符串(string)
-string 的基本概念
- 字符串 string 是 Redis 最简单的数据结构。Redis 所有的数据结构都是以唯一的 key 字符串作为名称,然后通过这个唯一 key 值来获取相应的 value 数据。不同类型的数据结 构的差异就在于 value 的结构不一样。
文章图片
- 字符串结构使用非常广泛,一个常见的用途就是缓存用户信息。我们将用户信息结构体使用 JSON 序列化成字符串,然后将序列化后的字符串塞进 Redis 来缓存。同样,取用户信息会经过一次反序列化的过程。
- 【Java开发工程师进阶篇-深入浅出Redis】Redis 的字符串是动态字符串,是可以修改的字符串,内部结构实现上类似于 java 的
ArrayList
,采用预分配冗余空间的方式来减少内存的频繁分配。
文章图片
- 如图中所示,内部为当前字 符串实际分配的空间
capacity
一般要高于实际字符串长度len
。当字符串长度小于 1M 时, 扩容都是加倍现有的空间,如果超过 1M,扩容时一次只会多扩 1M 的空间。需要注意的是字符串最大长度为512M。 - 字符串是由多个字节组成,每个字节又是由 8 个 bit 组成,如此便可以将一个字符串看 成很多 bit 的组合,这便是 bitmap「位图」数据结构。
- 基本命令:
set
、get
、exists
、del
- 批量命令:
mset
、mget
- 其他命令:
expire
、setex
、setnx
、incr
、incrby
- 如果 value 值是一个整数,可以对它进行自增操作。自增是有范围的,它的范围是
signed long
的最大最小值,超过了这个值,Redis 会报错。
- 如果 value 值是一个整数,可以对它进行自增操作。自增是有范围的,它的范围是
-list 的基本概念
- Redis 的列表相当于 Java 语言里面的
LinkedList
,注意它是链表而不是数组。这意味着list
的插入和删除操作非常快,时间复杂度为 O(1),但是索引定位很慢,时间复杂度为 O(n)。 - 当列表弹出了最后一个元素之后,该数据结构自动被删除,内存被回收。
- Redis 的列表结构常用来做异步队列使用。将需要延后处理的任务结构体序列化成字符串塞进 Redis 的列表,另一个线程从这个列表中轮询数据进行处理。
- 如果再深入一点,会发现 Redis 的列表底层存储的还不是一个简单的
linkedlist
,而是称之为 快速链表quicklist
的一个结构。
文章图片
- 首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是
ziplist
,也即是压缩列表。它将所有的元素紧挨着一起存储,分配的是一块连续的内存。 - 当列表元素比较多时候会改成
quicklist
。因为普通的链表需要的附加指针空间太大,会比较浪费空间,而且会加重内存的碎片化。比如这个列表里存的只是int
类型的数据,结构上还需要两个额外的指针prev
和next
。所以 Redis 将链表和ziplist
结合起来组成了quicklist
。也就是将多个ziplist
使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。
- 常用命令:
rpush
、lpush
、rpop
、lpop
- 查询命令:
llen
、lrange
、lindex
、ltirm
-hash 的基本概念
- Redis 的字典相当于 Java 语言里面的
HashMap
,它是无序字典。内部实现结构上同 Java 的HashMap
也是一致的,同样的数组 + 链表二维结构。
- 第一维
hash
的数组位置碰撞时,就会将碰撞的元素使用链表串连接起来。
文章图片
- 不同的是,Redis 的字典的值只能是字符串,另外它们
rehash
的方式不一样,因为 Java 的HashMap
在字典很大时,rehash
是个耗时的操作,需要一次性全部rehash
。Redis 为了高性能,不能堵塞服务,所以采用了渐进式rehash
策略。
文章图片
- 渐进式
rehash
会在rehash
的同时,保留新旧两个hash
结构,查询时会同时查询两个hash
结构,然后在后续的定时任务中以及hash
的子指令中,循序渐进地将旧hash
的内容 一点点迁移到新的hash
结构中。 - 当
hash
移除了最后一个元素之后,该数据结构自动被删除,内存被回收。 hash
也有缺点,hash
结构的存储消耗要高于单个字符串,到底该使用hash
还是字符 串,需要根据实际情况再三权衡。
hash
结构也可以用来存储用户信息,不同于字符串一次性需要全部序列化整个对象,hash
可以对用户结构中的每个字段单独存储。- 当我们需要获取用户信息时可以进行部分获取。而以整个字符串的形式去保存用户信息的话就只能一次性全部读取,这样就会比较浪费网络流量。
- 常用命令:
hset
、hget
、hgetall
、hlen
、hmet
- 其他命令:
hincr
、hincrbu
-set 的基本概念
- Redis 的集合相当于 Java 语言里面的
HashSet
,它内部的键值对是无序的唯一的。它的内部实现相当于一个特殊的字典,字典中所有的value
都是一个值NULL
。 - 当集合中最后一个元素移除之后,数据结构自动删除,内存被回收。
set
结构可以用来存储活动中奖的用户 ID,因为有去重功能,可以保证同一个用户不会中奖两次。
- 常用命令:
sadd
、smembers
、sismember
、scard
、spop
- 集合对象 set 是 string 类型(整数也会转换成string类型进行存储)的无序集合。注意集合和列表的区别:集合中的元素是无序的,因此不能通过索引来操作元素;集合中的元素不能有重复。
- 编码
- 集合对象的编码可以是
intset
或者hashtable
。 intset
编码的集合对象使用整数集合作为底层实现,集合对象包含的所有元素都被保存在整数集合中。- hashtable编码的集合对象使用 字典作为底层实现,字典的每个键都是一个字符串对象,这里的每个字符串对象就是一个集合中的元素,而字典的值则全部设置为 null。这里可以类比Java集合中HashSet集合的实现. HashSet 集合是由HashMap来实现的,集合中的元素就是 HashMap 的key,而 HashMap 的值都设为 null。
文章图片
文章图片
文章图片
文章图片
- 编码转换
- 当集合同时满足以下两个条件时,使用 intset 编码:
- 集合对象中所有元素都是整数
- 集合对象所有元素数量不超过512
- 不能满足这两个条件的就使用
hashtable
编码。第二个条件可以通过配置文件的set-max-intset-entries
进行配置。
- 集合对象的编码可以是
-zset 的基本概念
zset
可能是 Redis 提供的最为特色的数据结构,它也是在面试中面试官最爱问的数据结 构。- 它类似于 Java 的
SortedSet
和HashMap
的结合体,一方面它是一个set
,保证了内部 value 的唯一性,另一方面它可以给每个 value 赋予一个score
,代表这个value
的排序权 重。它的内部实现用的是一种叫着「跳跃列表」的数据结构。 zset
中最后一个value
被移除后,数据结构自动删除,内存被回收。
zset
可以用来存 粉丝列表,value
值是粉丝的用户 ID,score
是关注时间。我们可以对粉丝列表按关注时间进行排序。zset
还可以用来存储学生的成绩,value
值是学生的 ID,score
是他的考试成绩。我们 可以对成绩按分数进行排序就可以得到他的名次。
- 常用命令:
zadd
、zrange
、zrevrange
、zcard
、zscore
、zrank
、zrangebyscore
- 有序集合对象是有序的。与列表使用索引下标作为排序依据不同,有序集合为每个元素设置一个分数(score)作为排序依据。
- 编码
- 有序集合的编码可以是
ziplist
或者skiplist
。 ziplist
编码的有序集合对象使用压缩列表作为底层实现,每个集合元素使用两个紧挨在一起的压缩列表节点来保存,第一个节点保存元素的成员,第二个节点保存元素的分值。- 并且压缩列表内的集合元素按分值从小到大的顺序进行排列,小的放置在靠近表头的位置,大的放置在靠近表尾的位置。
文章图片
文章图片
skiplist
编码的有序集合对象使用zset结构作为底层实现,一个zset结构同时包含一个字典和一个跳跃表:- 字典的键保存元素的值,字典的值则保存元素的分值;跳跃表节点的object属性保存元素的成员,跳跃表节点的score属性保存元素的分值。
- 这两种数据结构会通过指针来共享相同元素的成员和分值,所以不会产生重复成员和分值,造成内存的浪费。
- 有序集合的编码可以是
- 编码转换
- 当有序集合对象同时满足以下两个条件时,对象使用
ziplist
编码: - 保存的元素数量小于128;
- 保存的所有元素长度都小于64字节;
- 不能满足上面两个条件的使用
skiplist
编码。 - 以上两个条件可以通过Redis配置文件
zset-max-ziplist-entries
选项和zset-max-ziplist-value
进行修改。
- 当有序集合对象同时满足以下两个条件时,对象使用
通用规则
list/set/hash/zset
这四种数据结构是容器型数据结构,它们共享下面两条通用规则:- create if not exists
- 如果容器不存在,那就创建一个,再进行操作。比如 rpush 操作刚开始是没有列表的, Redis 就会自动创建一个,然后再 rpush 进去新元素
- drop if no elements
- 如果容器里元素没有了,那么立即删除元素,释放内存。这意味着 lpop 操作到最后一 个元素,列表就消失了。
- Redis 所有的数据结构都可以设置过期时间,时间到了,Redis 会自动删除相应的对象。
- 需要注意的是过期是以对象为单位,比如一个
hash
结构的过期是整个hash
对象的过期, 而不是其中的某个子key
。 - 特别注意的地方是如果一个字符串已经设置了过期时间,然后你调用了
set
方法修改了它,它的过期时间会消失。
推荐阅读
- 你的域名是如何变成 IP 地址的()
- 面试官(如何从10亿数据中快速判断是否存在某一个元素())
- Tensorflow保存神经网络参数有妙招(Saver和Restore)
- 双十一前的一把火 —— NutUI 大促组件火热发布
- 关于 takin-data,你想知道的都在这里trace 日志篇
- 软件测试之功能测试是什么()
- 如何用中台思路治理指标——数据指标中心
- CDH 集群 使用 JindoFS SDK 访问 OSS
- 手把手教你学python(从零开始学python)之(模块)