什么是时序数据库
先来介绍什么是时序数据。时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线,往过去看可以做成多纬度报表,揭示其趋势性、规律性、异常性;
往未来看可以做大数据分析,机器学习,实现预测和预警。
时序数据库就是存放时序数据的数据库,并且需要支持时序数据的快速写入、持久化、多维度的聚合查询等基本功能。
对比传统数据库仅仅记录了数据的当前值,时序数据库则记录了所有的历史数据。同时时序数据的查询也总是会带上时间作为过滤条件。
文章图片
p1-北上广三地2015年气温变化图
文章图片
表结构:
下面介绍下时序数据库的一些基本概念(不同的时序数据库称呼略有不同)。
metric: 度量,相当于关系型数据库中的table。
data point: 数据点,相当于关系型数据库中的row。
【时序数据库介绍】timestamp:时间戳,代表数据点产生的时间。
field: 度量下的不同字段。比如位置这个度量具有经度和纬度两个field。一般情况下存放的是会随着时间戳的变化而变化的数据。
tag: 标签,或者附加信息。一般存放的是并不随着时间戳变化的属性信息。timestamp加上所有的tags可以认为是table的primary key。
文章图片
时序数据库的场景 所有有时序数据产生,并且需要展现其历史趋势、周期规律、异常性的,进一步对未来做出预测分析的,都是时序数据库适合的场景。
在互联网场景中,也有大量的时序数据产生。百度内部有大量服务使用天工物联网平台的时序数据库。举个例子,百度内部服务为了保障用户的使用体验,将用户的每次网络卡顿、网络延迟都会记录到百度天工的时序数据库。由时序数据库直接生成报表以供技术产品做分析,尽早的发现、解决问题,保证用户的使用体验。
时序数据库遇到的挑战
可以看到时序数据库需要解决以下几个问题
l 时序数据的写入:如何支持每秒钟上千万上亿数据点的写入。
l 时序数据的读取:又如何支持在秒级对上亿数据的分组聚合运算。
l 成本敏感:由海量数据存储带来的是成本问题。如何更低成本的存储这些数据,将成为时序数据库需要解决的重中之重。
参考:https://www.sohu.com/a/237660940_130419
推荐阅读
- 数据库|实时计算,连接时序数据库和核心业务
- 【时序数据库】时序数据库介绍
- 科技|12大专场,48个议题,AISummit全球人工智能技术大会火热报名中
- 技术干货|推荐系统-协同过滤在Spark中的实现
- 大数据|基于神策用户画像,在线教育企业线索标签体系搭建及培育全流程解析
- 大数据那些事儿|神策军丨优秀 Leader 养成记(多做简单又有效的事)
- 大数据|字节跳动重磅发布 2022 年 6 大前端技术发展趋势
- jvm|Java的反射机制ヾ(≧▽≦*)o
- 大数据|如何理解持续集成、持续交付、持续部署()