WEBKT

从成本角度重构监控体系：如何通过标签裁剪与冷热分离实现存储成本直降 60%

2 0 0 0

在云原生架构普及的今天，可观测性体系已成为基础设施的标配。然而，随着微服务规模的扩张，监控系统的存储开销往往呈指数级增长。很多企业的 SRE 团队发现，监控组件（如 Prometheus、Thanos）消耗的云磁盘成本甚至占到了 IT 总账单的 15%-20%。

本文将从实战出发，分享如何通过标签裁剪策略与多级存储分层，在保证监控质量的前提下，将存储成本降低 60%。

一、 成本黑盒：为什么监控存储越来越贵？

云原生监控成本高企，主要源于以下三个“刺客”：

  1. 高基数（High Cardinality）标签：Pod 频繁重启产生的 pod_name、包含临时标识的 request_id 等，会导致索引文件（Inverted Index）剧烈膨胀。
  2. 冗余采集：默认的 Exporter 往往会吐出数千个指标，但业务关注的核心指标往往不足 10%。
  3. 单一存储介质：将 30 天甚至 90 天的历史监控数据全部存在昂贵的云盘（SSD）上，是最大的资源浪费。

二、 源头瘦身：精细化标签裁剪策略

标签裁剪的目标是“去掉对故障排查无意义的维度”。

1. 临时性标签的剔除

在 Prometheus 的 metric_relabel_configs 阶段，我们可以利用正则匹配剔除生命周期极短的标签。
例如，某些监控指标带有的 container_id 或随机生成的 instance 端口号：

metric_relabel_configs:
  - source_labels: [__name__]
    regex: 'container_cpu_usage_seconds_total'
    action: labeldrop
    replacement: 'container_id' # 剔除 container_id 标签

2. 指标白名单化

与其被动删除，不如主动保留。针对核心业务指标（如 QPS、Latency、Error Rate），建立白名单机制，非白名单内的非核心指标采取“降采样”或“丢弃”处理。

  • 经验数据：通过剔除无效的 Runtime 运行时指标（如 Go 指标中的 go_gc_duration_seconds 等长尾数据），可减少约 30%-40% 的入库量。

三、 存储重构：冷热分层与降采样方案

实现 60% 降本的核心在于利用对象存储（Object Storage）替代块存储（Cloud Disk）。

1. 存储层级定义

我们将存储分为三层：

  • 热数据层 (Hot)：保留近 2 小时数据。存储在 Prometheus 本地盘（EBS/SSD），用于实时告警和高频看板。
  • 温数据层 (Warm)：保留 2 小时至 15 天数据。通过 Remote Write 写入 VictoriaMetrics 或 Thanos，利用高效压缩算法降低空间占用。
  • 冷数据层 (Cold)：15 天以上数据。自动上传至阿里云 OSS、AWS S3 或 MinIO。对象存储的单价仅为 SSD 的 1/5 到 1/10。

2. Thanos 架构下的冷热分离实践

在 Thanos 体系中，Thanos Sidecar 会每 2 小时将 Block 文件上传至对象存储。

  • 降采样 (Downsampling)：Thanos Compactor 负责对历史数据进行 5m 和 1h 的降采样。对于一年前的 CPU 趋势查看，我们并不需要每 15s 一个点，1h 的聚合点足以支持分析。这能让历史数据的存储空间再压缩 10 倍以上。

四、 实施路径与效果评估

实施步骤：

  1. 基数分析：使用 Prometheus 提供的 /api/v1/status/tsdb 接口，找出哪些标签是导致基数爆炸的“元凶”。
  2. 策略部署：分批上线 relabel 规则，观察 prometheus_tsdb_head_series 指标的变化。
  3. 迁移存储：配置 Thanos 或 VictoriaMetrics 的 S3 后端存储，将 retention 策略从 SSD 转移到对象存储。

降本成效：

根据我们在某中型电商平台的实践：

  • 指标裁剪：入库 Series 数量从 500w 下降到 320w（减少 36%）。
  • 介质转换：90% 的历史数据由 SSD 迁移至 OSS。
  • 综合收益：月度监控账单从 1.2 万元下降至 4500 元，综合成本节约 62.5%。

五、 小结

云原生监控不应是“钞能力”的竞赛。通过标签裁剪解决“入库多”的问题，通过冷热分离解决“存储贵”的问题，开发者可以用极小的架构调整，换取巨大的成本收益。

注意：在进行标签裁剪时，务必与研发团队确认该标签是否被用于 Grafana 配置或告警规则，避免因标签丢失导致的“监控致盲”。

云原生架构师 云原生Prometheus降本增效

评论点评