知是行的主意,行是知的功夫。这篇文章主要讲述Prometheus指标优化相关的知识,希望能为你提供帮助。
背景1、目前生产环境的prometheus偶发内存不足OOM现象【宿主机24G内存】
2、pushgateway拉取会出现超时情况
3、上述情况已经影响到监控告警系统的稳定性,需要及时介入治理。
优化措施1、调整pushgateway
1、调大prometheus去拉取pushgateway的时间间隔和拉取超时时间
# 这里只贴了核心的配置,全量配置放在gitlab上,具体参考附录部分
- job_name: pushgateway-bj2
scrape_interval: 30s
scrape_timeout: 30s
2、业务侧拆分(后期量级实在太大再考虑这种方案)
再启动一个额外的pushgateway,但是需要告知部分业务方,打点数据发到新的pushgateway上。也就是按照业务维度拆分pushgateway。
2、通过drop action 删除部分非核心指标
# 这里只贴了部分的配置,最新的配置放在gitlab上,具体参考附录部分
- job_name: pushgateway-devops
.....
metric_relabel_configs:
- source_labels: [__name__]
separator: ,
regex: (process_cpu_seconds_total|process_open_fds|process_max_fds)
action: drop
- job_name: kubernetes-cadvisor
.....
metric_relabel_configs:
- source_labels: [__name__]
regex: container_(network_tcp_usage_total|network_udp_usage_total|tasks_state|cpu_load_average_10s)
action: drop
3、优化高基数指标
有了上面的数据后,我们就可以再次使用 drop action 清理掉某些非核心metrics了。
prometheus 表达式写法:
top10的metrics数量,按metrcis名称区分:
topk(10,count by (__name__) ({__name__=~.+}))
top10的job数量,按job名称区分:
topk(10,count by (__name__,job) ({__name__=~.+}))
【Prometheus指标优化】
推荐阅读
- NFS存储服务
- 深化生态合作!博睿数据APM正式上架华为云严选商城
- Linux网络设置(基本操作)
- 实时同步服务
- 如何将WebFont Loader和Google字体正确包含在Wordpres主题中()
- 如何防止WordPress主题删除分析跟踪参数
- 如何在WordPress中排序类别()
- 如何防止用户两次将同一文件上传WordPress
- 如何将WordPress管理栏菜单移动到我的主题标题栏