Prometheus深度监控Kubernetes Node资源：从原理到实践，掌握关键指标与最佳部署策略

在云原生时代，Kubernetes已经成为容器编排的事实标准，而Prometheus则是其生态中最流行的监控解决方案之一。对于任何一个Kubernetes集群来说，Node（节点）是承载工作负载的基石，它的资源利用率直接关系到集群的稳定性、性能和成本。因此，深入监控Node的CPU、内存、磁盘I/O和网络流量等关键资源，是我们保障集群健康运行的重中之重。

为什么说Node监控是核心？

想象一下，一个Node的CPU突然飙升到100%，或者内存被耗尽，这可能导致其上的Pod性能急剧下降，甚至Pod被驱逐，影响到整个应用的可用性。更糟糕的是，如果某个磁盘分区写满，或者网络流量异常，都可能引发雪崩效应。所以，对Node的全面、实时监控，不仅仅是“看数据”，更是我们进行容量规划、故障排查、性能优化的基石。

Prometheus：Node监控的得力助手

Prometheus以其强大的多维数据模型、灵活的查询语言（PromQL）和高效的存储机制，成为了监控Kubernetes的首选。它的“拉取”（pull）模型非常适合动态变化的云环境。那么，Prometheus是如何“看清”Kubernetes Node内部的资源使用情况的呢？这主要依赖于两个关键组件：Node Exporter和cAdvisor。

1. Node Exporter：揭示主机层面的秘密

Node Exporter是一个由Prometheus社区官方维护的Agent，它运行在每个Kubernetes Node上，负责采集操作系统和硬件层面的指标。这些指标包括：

• CPU使用率：例如 node_cpu_seconds_total（结合 mode 标签可以区分用户态、系统态、空闲等）。
• 内存使用：如 node_memory_MemTotal_bytes（总内存）、node_memory_MemFree_bytes（空闲内存）、node_memory_Cached_bytes（缓存）等，以及node_memory_MemAvailable_bytes（非常重要的指标，表示应用程序可以立即使用的内存量）。
• 磁盘I/O：node_disk_bytes_read_total、node_disk_bytes_written_total（读写字节总数）、node_disk_io_time_seconds_total（磁盘I/O时间），通过这些可以计算出吞吐量和I/O等待时间。
• 文件系统：node_filesystem_avail_bytes（可用空间）、node_filesystem_size_bytes（总空间），用于监控磁盘空间使用率。
• 网络流量：node_network_receive_bytes_total、node_network_transmit_bytes_total（接收/发送字节总数），用于计算网络带宽利用率。
• 系统负载：node_load1、node_load5、node_load15（1、5、15分钟的平均负载）。

Node Exporter通过一个HTTP端点（通常是/metrics）将这些指标以Prometheus可识别的文本格式暴露出来，Prometheus服务器周期性地“拉取”这些数据。

2. cAdvisor：深入容器和Pod的视角（通过Kubelet暴露）

cAdvisor (Container Advisor) 是Google开源的一个容器性能分析工具，它天然集成在Kubernetes的Kubelet服务中。Kubelet会启动一个cAdvisor实例，负责采集Node上所有运行的容器和Pod的资源使用情况，包括CPU、内存、文件系统和网络指标。这些指标同样以Prometheus格式通过Kubelet的/metrics/cadvisor端点暴露出来。

虽然cAdvisor提供的是容器层面的精细数据，但由于其集成在Kubelet中，且Kubelet本身就是Node上的一个核心组件，因此通过Prometheus抓取Kubelet的/metrics/cadvisor端点，同样可以获得关于Node及其上Pod的资源使用视图。

在Kubernetes中部署与配置Prometheus监控Node

现在，我们来看看如何在Kubernetes集群中实际操作。

步骤一：部署Node Exporter

由于Node Exporter需要运行在每个Node上才能采集到本地数据，最理想的部署方式是使用Kubernetes的DaemonSet。DaemonSet确保集群中的每个（或指定）Node上都运行一个Pod副本。

一个典型的Node Exporter DaemonSet配置如下（简化版）：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-exporter
  namespace: monitoring # 推荐放在单独的监控命名空间
  labels:
    app.kubernetes.io/name: node-exporter
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: node-exporter
  template:
    metadata:
      labels:
        app.kubernetes.io/name: node-exporter
    spec:
      hostNetwork: true # 关键：让Pod使用主机的网络命名空间，以便访问主机网络接口和监听端口
      hostPID: true # 关键：为了采集进程信息，允许Pod访问主机的PID命名空间
      tolerations:
      - operator: Exists # 允许在所有节点上运行，包括Master节点（如果需要）
      containers:
      - name: node-exporter
        image: prom/node-exporter:v1.7.0 # 使用最新的稳定版本
        args:
        - --path.rootfs=/hostroot # 告诉Node Exporter根文件系统的路径
        ports:
        - name: metrics
          containerPort: 9100 # Node Exporter默认监听端口
          hostPort: 9100 # 将容器端口映射到主机端口，方便Prometheus抓取
        volumeMounts:
        - name: rootfs
          mountPath: /hostroot
          readOnly: true
      volumes:
      - name: rootfs
        hostPath:
          path: /

将上述YAML应用到集群中，kubectl apply -f node-exporter-daemonset.yaml，你就会在每个Node上看到一个Node Exporter Pod在运行了。

步骤二：配置Prometheus抓取Node Exporter指标

如果你使用的是Prometheus Operator，那么配置会非常简单，通过ServiceMonitor对象来完成：

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: node-exporter
  namespace: monitoring
  labels:
    release: kube-prometheus-stack # 假设你使用的Prometheus Operator是通过kube-prometheus-stack部署的
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: node-exporter # 匹配Node Exporter Pod的标签
  namespaceSelector:
    matchNames:
    - monitoring # Node Exporter所在的命名空间
  endpoints:
  - port: metrics # Node Exporter暴露的端口名
    interval: 30s # 抓取间隔
    relabelings: # 可选：添加或修改标签
    - sourceLabels: [__meta_kubernetes_pod_node_name]
      targetLabel: instance

Prometheus Operator会自动发现这个ServiceMonitor，并生成相应的Prometheus scrape配置。如果不是用Operator，你需要在Prometheus的scrape_configs中手动添加一个job：

# prometheus.yml 片段
scrape_configs:
  - job_name: 'kubernetes-nodes'
    kubernetes_sd_configs:
      - role: node
    relabel_configs:
      - source_labels: [__address__]
        regex: '(.*):10250'
        replacement: '${1}:9100' # Kubelet的地址通常是10250，但Node Exporter是9100
        target_label: __address__
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      - target_label: __metrics_path__
        replacement: /metrics # Node Exporter的metrics路径

配置Prometheus抓取Kubelet (cAdvisor) 指标

通常，Prometheus Operator会有一个内置的ServiceMonitor来抓取Kubelet的指标，其中包含了cAdvisor的数据。如果你需要手动配置：

# prometheus.yml 片段
scrape_configs:
  - job_name: 'kubernetes-cadvisor'
    honor_timestamps: true
    metrics_path: /metrics/cadvisor # cAdvisor的metrics路径
    kubernetes_sd_configs:
      - role: node
    relabel_configs:
      - source_labels: [__address__]
        regex: '(.*):10250'
        target_label: __address__
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      - target_label: __metrics_path__
        replacement: /metrics/cadvisor

步骤三：可视化与告警

数据采集上来后，我们通常会结合Grafana来构建Node监控仪表盘。Grafana社区有大量预制的Kubernetes/Node Exporter仪表盘（例如ID 1860 或 10000），可以直接导入使用，大大节省了我们的时间。这些仪表盘会利用PromQL查询，将CPU、内存、磁盘和网络等关键指标以图表的形式展现出来。

对于异常情况，Prometheus的Alertmanager可以根据预设的告警规则（例如Node CPU使用率连续5分钟超过90%），通过邮件、Slack、Webhook等方式发送告警通知，让我们第一时间感知到潜在问题。

实战中的一些考量和最佳实践

1. 资源开销：Node Exporter和Prometheus本身也会消耗一定的CPU和内存。在生产环境中，需要根据集群规模进行适当的资源请求和限制（requests/limits），避免监控组件反过来影响集群性能。
2. 网络和防火墙：确保Node Exporter暴露的端口（默认9100）可以被Prometheus服务器访问。如果集群有网络策略或防火墙，需要配置相应的规则。
3. 标签管理：Prometheus的强大在于其标签。利用Kubernetes的标签（如__meta_kubernetes_node_label_）将Node的信息（如机房、区域、角色）附加到指标上，可以让我们在查询和告警时进行更细粒度的过滤和聚合。
4. 根文件系统挂载：--path.rootfs=/hostroot参数非常重要，它告诉Node Exporter真实的根文件系统在哪里，这样才能正确采集到磁盘、文件系统等指标。
5. Prometheus Operator：对于大型或复杂的Kubernetes集群，我强烈建议使用Prometheus Operator。它极大地简化了Prometheus及其生态组件（如Node Exporter、Alertmanager、Grafana）的部署和管理，通过CRD（Custom Resource Definitions）的方式进行声明式配置，比手动管理YAML文件高效得多。
6. Node Exporter的hostNetwork和hostPID：这两个参数是Node Exporter能够正确采集宿主机指标的关键。hostNetwork: true允许Node Exporter监听宿主机的端口并访问宿主机的网络接口信息；hostPID: true允许Node Exporter访问宿主机的进程信息，这对于某些进程相关的指标是必需的。

Node监控是Kubernetes运维的基础，Prometheus配合Node Exporter和Kubelet（cAdvisor）提供的数据，能够为我们提供全面、深入的洞察。掌握这些工具和实践，你就能更好地驾驭你的Kubernetes集群，确保服务的稳定运行。