Java开发工程师进阶篇-深入浅出Redis

作者:幻好
来源:恒生LIGHT云社区
基本简介 Java开发工程师进阶篇-深入浅出Redis
文章图片

Redis 是什么?
  • Redis 是互联网技术领域使用最为广泛的存储中间件,它是「Remote Dictionary Service」的首字母缩写,也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、 简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。
  • 国内外很多大型互联网 公司都在使用 Redis,比如 Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、 阿里、京东、华为、新浪微博等等,很多中小型公司也都有应用。也可以说,对 Redis 的了 解和应用实践已成为当下中高级后端开发者绕不开的必备技能。
Redis 可以用来做什么?
  • 「Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。
  • 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(LRU eviction),事务(transactions) 和不同级别的 磁盘持久化(persistence), 并通过 Redis哨兵(Sentinel)和自动 分区(Cluster)提供高可用性(high availability)。
Redis 可以做什么?
  • 【Java开发工程师进阶篇-深入浅出Redis】Redis 的业务应用范围非常广泛,以博客社区的功能模块为实例:
    • 记录帖子的点赞数、评论数和点击数 (hash)。
    • 记录用户的帖子 ID列表 (排序),便于快速显示用户的帖子列表 (zset)。
    • 记录帖子的标题、摘要、作者和封面信息,用于列表页展示 (hash)。
    • 记录帖子的点赞用户 ID 列表,评论 ID 列表,用于显示和去重计数 (zset)。
    • 缓存近期热帖内容 (帖子内容空间占用比较大),减少数据库压力 (hash)。
Redis 的下载安装
  • 参考网站:http://www.redis.cn/download.html
基础数据结构 Redis 有 5 种基础数据结构,分别为:string (字符串)、list (列表)、hash (哈 希)、set (集合) 和 zset (有序集合)。熟练掌握这 5 种基本数据结构的使用是 Redis 知识最基础也最重要 的部分。
字符串(string)
-string 的基本概念
  • 字符串 string 是 Redis 最简单的数据结构。Redis 所有的数据结构都是以唯一的 key 字符串作为名称,然后通过这个唯一 key 值来获取相应的 value 数据。不同类型的数据结 构的差异就在于 value 的结构不一样。
    Java开发工程师进阶篇-深入浅出Redis
    文章图片

-string 的应用
  • 字符串结构使用非常广泛,一个常见的用途就是缓存用户信息。我们将用户信息结构体使用 JSON 序列化成字符串,然后将序列化后的字符串塞进 Redis 来缓存。同样,取用户信息会经过一次反序列化的过程。
-string 的结构原理
  • Redis 的字符串是动态字符串,是可以修改的字符串,内部结构实现上类似于 Java 的 ArrayList,采用预分配冗余空间的方式来减少内存的频繁分配。
    Java开发工程师进阶篇-深入浅出Redis
    文章图片

  • 如图中所示,内部为当前字 符串实际分配的空间 capacity 一般要高于实际字符串长度 len。当字符串长度小于 1M 时, 扩容都是加倍现有的空间,如果超过 1M,扩容时一次只会多扩 1M 的空间。需要注意的是字符串最大长度为512M。
  • 字符串是由多个字节组成,每个字节又是由 8 个 bit 组成,如此便可以将一个字符串看 成很多 bit 的组合,这便是 bitmap「位图」数据结构。
-string 的操作命令
  • 基本命令:setgetexistsdel
  • 批量命令:msetmget
  • 其他命令:expiresetexsetnxincrincrby
    • 如果 value 值是一个整数,可以对它进行自增操作。自增是有范围的,它的范围是signed long 的最大最小值,超过了这个值,Redis 会报错。
列表(list)
-list 的基本概念
  • Redis 的列表相当于 Java 语言里面的LinkedList,注意它是链表而不是数组。这意味着list 的插入和删除操作非常快,时间复杂度为 O(1),但是索引定位很慢,时间复杂度为 O(n)。
  • 当列表弹出了最后一个元素之后,该数据结构自动被删除,内存被回收。
-list 的应用
  • Redis 的列表结构常用来做异步队列使用。将需要延后处理的任务结构体序列化成字符串塞进 Redis 的列表,另一个线程从这个列表中轮询数据进行处理。
-list 的结构原理
  • 如果再深入一点,会发现 Redis 的列表底层存储的还不是一个简单的 linkedlist,而是称之为 快速链表 quicklist 的一个结构。
    Java开发工程师进阶篇-深入浅出Redis
    文章图片

  • 首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是 ziplist,也即是压缩列表。它将所有的元素紧挨着一起存储,分配的是一块连续的内存。
  • 当列表元素比较多时候会改成 quicklist。因为普通的链表需要的附加指针空间太大,会比较浪费空间,而且会加重内存的碎片化。比如这个列表里存的只是 int 类型的数据,结构上还需要两个额外的指针 prevnext 。所以 Redis 将链表和 ziplist 结合起来组成了 quicklist。也就是将多个 ziplist 使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。
-list 的操作命令
  • 常用命令:rpushlpushrpoplpop
  • 查询命令:llenlrangelindexltirm
哈希/字典(hash)
-hash 的基本概念
  • Redis 的字典相当于 Java 语言里面的HashMap,它是无序字典。内部实现结构上同 Java 的HashMap 也是一致的,同样的数组 + 链表二维结构。
-hash 的结构原理
  • 第一维 hash 的数组位置碰撞时,就会将碰撞的元素使用链表串连接起来。
    Java开发工程师进阶篇-深入浅出Redis
    文章图片

  • 不同的是,Redis 的字典的值只能是字符串,另外它们 rehash 的方式不一样,因为 Java 的 HashMap 在字典很大时,rehash 是个耗时的操作,需要一次性全部 rehash。Redis 为了高性能,不能堵塞服务,所以采用了渐进式 rehash 策略。
    Java开发工程师进阶篇-深入浅出Redis
    文章图片

  • 渐进式 rehash 会在 rehash 的同时,保留新旧两个 hash 结构,查询时会同时查询两个 hash 结构,然后在后续的定时任务中以及 hash 的子指令中,循序渐进地将旧 hash 的内容 一点点迁移到新的 hash 结构中。
  • hash 移除了最后一个元素之后,该数据结构自动被删除,内存被回收。
  • hash 也有缺点,hash 结构的存储消耗要高于单个字符串,到底该使用 hash 还是字符 串,需要根据实际情况再三权衡。
-hash 的应用
  • hash 结构也可以用来存储用户信息,不同于字符串一次性需要全部序列化整个对象,hash 可以对用户结构中的每个字段单独存储。
  • 当我们需要获取用户信息时可以进行部分获取。而以整个字符串的形式去保存用户信息的话就只能一次性全部读取,这样就会比较浪费网络流量。
-hash 的操作命令
  • 常用命令:hsethgethgetallhlenhmet
  • 其他命令:hincrhincrbu
集合(set)
-set 的基本概念
  • Redis 的集合相当于 Java 语言里面的HashSet,它内部的键值对是无序的唯一的。它的内部实现相当于一个特殊的字典,字典中所有的value 都是一个值NULL
  • 当集合中最后一个元素移除之后,数据结构自动删除,内存被回收。
-set 的应用
  • set 结构可以用来存储活动中奖的用户 ID,因为有去重功能,可以保证同一个用户不会中奖两次。
-set 的操作命令
  • 常用命令:saddsmemberssismemberscardspop
-set 的结构原理
  • 集合对象 set 是 string 类型(整数也会转换成string类型进行存储)的无序集合。注意集合和列表的区别:集合中的元素是无序的,因此不能通过索引来操作元素;集合中的元素不能有重复。
  • 编码
    • 集合对象的编码可以是intset或者hashtable
    • intset编码的集合对象使用整数集合作为底层实现,集合对象包含的所有元素都被保存在整数集合中。
    • hashtable编码的集合对象使用 字典作为底层实现,字典的每个键都是一个字符串对象,这里的每个字符串对象就是一个集合中的元素,而字典的值则全部设置为 null。这里可以类比Java集合中HashSet集合的实现. HashSet 集合是由HashMap来实现的,集合中的元素就是 HashMap 的key,而 HashMap 的值都设为 null。
    • Java开发工程师进阶篇-深入浅出Redis
      文章图片
      Java开发工程师进阶篇-深入浅出Redis
      文章图片
    • Java开发工程师进阶篇-深入浅出Redis
      文章图片
      Java开发工程师进阶篇-深入浅出Redis
      文章图片
    • 编码转换
      • 当集合同时满足以下两个条件时,使用 intset 编码:
        • 集合对象中所有元素都是整数
        • 集合对象所有元素数量不超过512
      • 不能满足这两个条件的就使用hashtable编码。第二个条件可以通过配置文件的set-max-intset-entries进行配置。
有序集合(zset)
-zset 的基本概念
  • zset 可能是 Redis 提供的最为特色的数据结构,它也是在面试中面试官最爱问的数据结 构。
  • 它类似于 Java 的SortedSetHashMap 的结合体,一方面它是一个set,保证了内部 value 的唯一性,另一方面它可以给每个 value 赋予一个score,代表这个value 的排序权 重。它的内部实现用的是一种叫着「跳跃列表」的数据结构。
  • zset 中最后一个value 被移除后,数据结构自动删除,内存被回收。
-zset 的应用
  • zset 可以用来存 粉丝列表,value 值是粉丝的用户 ID,score 是关注时间。我们可以对粉丝列表按关注时间进行排序。
  • zset 还可以用来存储学生的成绩,value 值是学生的 ID,score 是他的考试成绩。我们 可以对成绩按分数进行排序就可以得到他的名次。
-zset 的操作命令
  • 常用命令:zaddzrangezrevrangezcardzscorezrankzrangebyscore
-zset 的结构原理
  • 有序集合对象是有序的。与列表使用索引下标作为排序依据不同,有序集合为每个元素设置一个分数(score)作为排序依据。
  • 编码
    • 有序集合的编码可以是ziplist或者skiplist
    • ziplist编码的有序集合对象使用压缩列表作为底层实现,每个集合元素使用两个紧挨在一起的压缩列表节点来保存,第一个节点保存元素的成员,第二个节点保存元素的分值。
    • 并且压缩列表内的集合元素按分值从小到大的顺序进行排列,小的放置在靠近表头的位置,大的放置在靠近表尾的位置。
    • Java开发工程师进阶篇-深入浅出Redis
      文章图片
      Java开发工程师进阶篇-深入浅出Redis
      文章图片
    • skiplist编码的有序集合对象使用zset结构作为底层实现,一个zset结构同时包含一个字典和一个跳跃表:
    • 字典的键保存元素的值,字典的值则保存元素的分值;跳跃表节点的object属性保存元素的成员,跳跃表节点的score属性保存元素的分值。
    • 这两种数据结构会通过指针来共享相同元素的成员和分值,所以不会产生重复成员和分值,造成内存的浪费。
  • 编码转换
    • 当有序集合对象同时满足以下两个条件时,对象使用ziplist编码:
      • 保存的元素数量小于128;
      • 保存的所有元素长度都小于64字节;
    • 不能满足上面两个条件的使用skiplist编码。
    • 以上两个条件可以通过Redis配置文件zset-max-ziplist-entries选项和zset-max-ziplist-value进行修改。
容器型数据结构
通用规则 list/set/hash/zset 这四种数据结构是容器型数据结构,它们共享下面两条通用规则:
  • create if not exists
    • 如果容器不存在,那就创建一个,再进行操作。比如 rpush 操作刚开始是没有列表的, Redis 就会自动创建一个,然后再 rpush 进去新元素
  • drop if no elements
    • 如果容器里元素没有了,那么立即删除元素,释放内存。这意味着 lpop 操作到最后一 个元素,列表就消失了。
过期时间
  • Redis 所有的数据结构都可以设置过期时间,时间到了,Redis 会自动删除相应的对象。
  • 需要注意的是过期是以对象为单位,比如一个hash 结构的过期是整个hash 对象的过期, 而不是其中的某个子key
  • 特别注意的地方是如果一个字符串已经设置了过期时间,然后你调用了set 方法修改了它,它的过期时间会消失。

    推荐阅读