深入浅出RedisTimeSeries-分布式数据库
Part 1 - 背景
Redis作为一个灵活的高性能 key-value数据结构存储，可以用来作为数据库、缓存和消息队列。Redis 对比其他 key-value缓存产品有以下特点：
Redis 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载到内存使用。
Redis 支持字符串(String)、哈希(Hash)、列表(list)、集合(sets)和有序集合(sorted sets)等数据结构的存储。
时序数据是指一串按照时间维度索引的数据，其特点是没有严格的关系模型，记录的信息可以表示成键和值的关系，因此并不需要关系型数据库进行保存。在实际应用中，时序数据通常是持续高并发写入的。针对时序数据的这一特性，Redis基于自身数据结构和扩展模块，提供了用于保存时间序列数据的两种方案：
1、基于Hash和Sorted Set数据保存时间序列数据；
2、基于RedisTimeSeries模块实现。
1.基于Hash保存时间序列数据
基于Hash保存时间序列数据的特点是可以实现对单键的快速查询，能够满足对时间序列数据的单键查询需求。Redis的Hash实现方式是将内部存储的value作为一个HashMap，并提供了用于直接存取Map成员的接口，将时间戳作为Hash集合的key，设备状态值作为Hash集合的value，因此对数据的修改和存取都可直接通过其内部Map的Key来实现操作对应属性数据，既不需要重复存储数据，也不会带来序列化和并发修改控制的问题。
文章图片
但是，基于Hash保存时间序列数据的短板在于无法支持对数据的范围查询，虽然时间序列是按照时间顺序插入Hash集合的，但是Hash类型的底层结构是Hash表，并没有实现对数据的有序索引，因此要对Hash类型进行范围查询，则需要扫描Hash集合中的所有数据，再将这些数据取回客户端进行排序，之后才能在客户端得到查询范围内的数据，查询效率很低。
2、基于Sorted Set保存时间序列数据
基于Sorted Set保存时间序列数据的特点是能够同时支持按时间戳范围的查询，能够根据元素的权重值来排序，在时序数据的情况下，将时间戳作为Sorted Set集合的权重值，后跟时间点上记录的测量数据，例如：<时间戳>:<测量值>。RedisSorte Set的内部使用Hash Map和SkipList来保证数据的存储有序，使用SkipList的结构可以保证具有较高的查询效率，并且在实现上比较简单。
文章图片
但是，基于Sorted Set保存时间序列数据策略的短板在于其仅仅能支持范围查询，无法直接完成对时序数据的聚合计算。因此，只能先把时间范围内的数据取回到客户端，然后在客户端自行完成聚合计算。这个方法虽然能完成聚合计算，但是会带来一定的潜在风险，也就是大量数据在Redis实例和客户端间频繁传输，这会和其他操作命令竞争网络资源，导致其他操作变慢。因此SortedSets 不是一种节约内存的数据结构，其插入的时间复杂度是 O（log（N）），因此集群越大，写入耗时越长。
综合来讲，基于Hash和SortedSet保存时间序列的策略短板主要包含两个方面：其一是当执行聚合计算时，需要把数据读取到客户端内再进行聚合，当存在大量数据需要聚合时，数据传输开销大；其二是当使用该策略时，所有的数据会在两个数据类型中各保存一份，内存开销大。
2、基于RedisTimeSeries保存时间序列数据
RedisTimeSeries作为Redis的一个扩展模块，它弥补了Redis基于Hash和Sorted Set保存时间序列数据内存和数据传输开销大的缺陷，它专门面向时间序列数据提供了数据类型和访问接口，并且支持在Redis端上直接对数据进行时间范围的聚合计算。它使用固定大小的内存块作为时间序列样本，采用与Redis Streams 相同的Radix Tree来实现索引。RedisTimeSeries 的底层数据结构使用了链表，范围查询的复杂度是 O(N) 级别。这种基于RedisTimeSeries保存时间序列数据的策略具有以下特点：
保证大容量插入，低延迟读取；
按开始时间和结束时间查询；
支持任何时间桶的聚合查询（min、max、avg、sum、range、count、first、last）；支持配置保留时间；
下采样/压缩-自动更新的聚合时间序列；
二级索引-每个时间序列都有标签，允许按标签查询。
Part 2 - RedisTimeSeries存储结构
RedisTimeSeries将所有的时序数据存储在chunks中。每个chunks均由双向链表中的两个相关数组组成（一个用于时间戳，一个用于样本值）。每个chunks都有预定义的样本大小，当chunks填满的时候，其他数据将自动存储到下一个chunks。chunks size可以通过参数 CHUNK_SIZE进行设置。(CHUNK_SIZE的设置必须为8的倍数，默认值：4096)
文章图片
RedisTimeSeries的Key由metric指标和tags组成，其中每个Sample是时间和值的组合。标签是我们附加到数据点的键值元数据，允许我们进行分组和过滤。它们可以是字符串或数值，并在创建时添加到时间序列。
文章图片
Part 3 - RedisTimeSeries的使用
当用于时间序列数据存取时，RedisTimeSeries的操作主要包含以下几个方面：
1、TS.CREATE命令
TS.CREATE命令用于创建时间序列数据集合，使用时需要设置时间序列数据集合的key和数据过期时间（以毫秒为单位）。还可以为数据集合设置标签，来表示数据集合的属性。说明：
文章图片
RETENTION：选填，数据保留时间，默认：0；
ENCODING：选填，指定系列样本编码格式，分为COMPRESSED、UNCOMPRESSED两种格式；
CHUNK_SIZE：选填，块的大小；
DUPLICATE_POLICY：选填，配置对重复样本执行的操作，默认BLOCK堵塞状态。状态类型：（BLOCK,FIRST,LAST,MIN,MAX,SUM）
LABELS:必填，数据标签。
实例1：
文章图片
2、TS.ADD命令
TS.ADD命令用于向时间序列集合中插入数据，其中包括时间戳和具体的数值。若先前尚未使用TS.CREATE创建时间序列，将自动创建时序数据集合。
注意：不能向最后一次使用的时间戳之前添加数据。使用 TS.ADD 命令添加值的时间戳必须要大于最后一个值的时间戳。
文章图片
实例2：
文章图片
也可以使用 * 让Redis将自动生成时间戳。
实例3：
文章图片
TS.MADD命令用于向已存在的时间序列集合中插入新样本数据。
实例4：
文章图片
3、TS.GET命令
TS.GET命令用于读取时间序列集合的最新数据。
实例5：
文章图片
TS.MGET命令用于按标签查询集合中的最新数据。在使用TS.CREATE创建数据集合时，可以给集合设置标签属性。当进行查询时，就可以在查询条件中根据集合标签属性对数据样本进行匹配，其查询结果只返回满足匹配集合的最新数据。
文章图片
实例6：
下列TS.MGET命令，以及FILTER设置（这个配置项用来于设置集合标签的过滤条件），查询area_id等于32的所有数据集合，并返回各自集合中最新一条数据。
文章图片
4、TS.RANGE/TS.RERANGE命令
TS.RANGE/RERANGE命令用于支持时间序列集合聚合计算的范围查询；
文章图片
说明：
[FILTER_BY_TS]：选填，按照时间戳过滤样本数据；
[FILTER_BY_VALUES]：选填，按照value值过滤样本数据；
[COUNT]：选填，返回样本的最大数量。
[AGGREGATION]：选填，指定要执行的聚合计算类型，RedisTimeSeries支持的聚合计算类型很丰富，包括AVG、MAX、MIN、SUM、COUNT、LAST、FIRST。
实例7：
文章图片
TS.MRANGE命令通过FILTERS过滤查询跨多个时间序列的范围。
文章图片
说明：
[GROUPBY]：汇总不同时间序列的结果，按提供的label名称分组；
[REDUCE]：用于聚合具有相同标签值得系列的reducer类型。
实例：
文章图片
文章图片
5、RedisTimeSeries其他命令
TS.DEL KEY_NAME FROM_TIMESTAMP TO_TIMESTAMP：删除给定KEY_NAME的时间戳范围内的值；
DEL KEY_NAME：删除已创建的KEY；
TS.ALTER KEY_NAME [RETENTION] LABELS：更改已创建键的元数据，包括label和保留值；
TS.INCREBY/TS.DECREBY:在最新数据上增加/减少某个值；
TS.INFO: 返回时间序列的信息和统计数据；
KEYS *：获取所有KEY；
EXISTS KEY_NAME: 检查给定KEY是否存在，若存在返回1，否返回0。
Part 4 - 总结
【深入浅出RedisTimeSeries-分布式数据库】RedisTimeSeries作为Redis的一种扩展模块，它的出现为时序数据的存取提供了一种新方法，具有高效的查询性能，并且在存取过程中仅需很小的开销，便能够实现时序数据实时分析的愿望。
推荐阅读
- 中间件|（ElasticSearch02）day80分布式查漏补缺
- 解析分布式系统的缓存设计
- 深入浅出（Linux文件层次结构详细指南和教程）
- Hadoop安装部署
- Cluster介绍(集群) DRS介绍（分布式资源调度）EVC技术介绍
- mysql开发深入浅出（数据库导出和导入数据操作详细操作步骤）
- mongodb管理工具RockMongo和GridFS分布式文件储存系统
- 数据库|Chaos Mesh 实战分享丨通过混沌工程验证 GreatDB 分布式部署模式的稳定性
- MPI–简化分布式计算
- 深入浅出Node.js高清版PDF百度网盘下载