最佳案例 | QQ 相册云原生容器化之路腾讯云

关于我们更多关于云原生的案例和知识，可关注同名【腾讯云原生】公众号~
福利： ①公众号后台回复【手册】，可获得《腾讯云原生路线图手册》&《腾讯云原生最佳实践》~
②公众号后台回复【系列】，可获得《15个系列100+篇超实用云原生原创干货合集》，包含Kubernetes 降本增效、K8s 性能优化实践、最佳实践等系列。
③公众号后台回复【白皮书】，可获得《腾讯云容器安全白皮书》&《降本之源-云原生成本管理白皮书v1.0》
④公众号后台回复【光速入门】，可获得腾讯云专家5万字精华教程，光速入门Prometheus和Grafana。
作者吕朋钊，腾讯业务运维高级工程师，曾负责 QQ 相册、小世界业务的存储接入层运维，现负责 AI 业务的运维。
背景 QQ 相册是 QQ 产品中为用户提供图片存储，分享等功能的成熟产品，自上线以来，一直为用户提供稳定快速的图片上传和下载服务。作为社交业务组内第一个上 TKE 的平台，相册在过去一年多时间里总结出了一套适合自身的 TKE 上云实践方案。
服务场景自相册全面改造上云之后，新的架构如下：

文章图片

问题随着相册各模块已基本实现容器化，也暴露出了不少使用上的问题。

文章图片

资源利用率提升与 CICD 优化 1. 资源利用率提升
复用集群、独立集群迁移到共享集群复用集群因为是使用老旧机器搭建的 K8s 集群，在使用上会有比较多的损耗，而且经常会有资源抢占严重的情况。而独立集群因为母机规格不够高，会造成一定程度的资源浪费。基于这两点，把复用集群和独立集群的系统迁移到复用集群是较好的选择。会发现，迁移后的资源利用率和错误码次数都得到了明显的改善。

文章图片

【最佳案例 | QQ 相册云原生容器化之路】同时使用 HPA 弹性扩缩容，根据 CPU 利用率，让资源在业务低峰期得到释放，高峰期自动扩容，可以更好地节约成本。

文章图片

2. 部署策略优化
因为当前基于一个可用区的命名空间建立一个 workload 的方案没有考虑到单可用区的容灾，所以我们在一个集群的多个可用区都建立了 workload，同时在其他地域也建立了容灾的 workload，当有机房或者地域级别的故障发生时，可以自动切换到其他机房或者地域。

文章图片

3. 七彩石配置
每个应用都使用七彩石作为配置管理，在 TKE 场景中，配置变更会更改 workload yaml 中的 annotations 字段，而 downward api 会把 annotations 的值作为 volumn 注入到容器的七彩石目录，智研之后还会调用容器内部的 configuration-reload.sh 从而实现配置变更。此过程因为只涉及修改 annotations，并不会令pod和容器重建，一个 pod 的整个配置变更过程只需要几秒。

文章图片

4. ClickHouse 日志查询
随着相册业务日志量的增加，日志存储成本也在升高，因此我们把日志迁移到了 ClickHouse。在可接受的影响范围内，ClickHouse 所需资源只需要 ES 的30%-50%。
5. Tget 拨测
业务监控方面结合 Tget 拨测，对 oc 域名和源站域名都做了拨测告警，提高针对 vip 被封禁或者网络导致问题的响应速度。

文章图片

6. 智研一站式接入
相册正在接入智研一站式开发，使用智研提供的从需求-开发-测试-发布上线-线上运营的研发全生命周期管理服务，让相册 CICD 可以更好地提高效率。
运营开发能力 1. 告警分析手机端自助剔除
结合智研的告警分析回调接口，可以手动在企业微信界面上剔除某台机器在北极星的绑定。

文章图片

文章图片

2. 质量分分析
针对平常监控不到的新错误码引起的异常失败率升高，质量分分析工具可以让运维人员快速知道当前是由哪个错误码引起的质量降低。

文章图片

文章图片

云原生成熟度提分 1. 业务稳定是第一位
在云原生提分实践过程中，发现很多模块的瓶颈并不是 CPU，而是流量或者内存，但是目前云原生的计算方式只计算 CPU，所以制定 HPA 扩缩容策略时需要综合各维度去考虑。
2. 降低 request 值
对于某些流量型的模块如 http、preupload和 prxoy，可以把 workoad 的 request 的值适当降低，这样可以让 CPU 利用率的提升有立竿见影的效果，需要结合压力测试来确认 request 降低后 CPU 不会成为瓶颈。
小结随着相册的 TKE 业务从其他平台转到共享集群，结合部署优化策略和运营开发能力，总结如下：