WEBKT

Kubernetes 实战：利用 Mutating Admission Webhook 实现容器环境变量自动注入

3 0 0 0

在容器化平台的运维过程中，我们经常遇到这样的需求：希望为集群中所有的 Pod 统一注入一些环境变量（例如：REGION、CLUSTER_ID、或者用于链路追踪的 TRACE_AGENT_HOST），而不需要业务开发人员在每个 deployment.yaml 中手动编写。

Kubernetes 提供的 Admission Webhook（准入控制钩子） 正是解决此类问题的利器。本文将深入探讨如何通过 MutatingAdmissionWebhook 实现一个自定义的环境变量注入器。

1. 核心原理：Admission Controller

Kubernetes API Server 在处理资源请求时，会经过一系列阶段：认证、鉴权、以及 Admission Control。准入控制分为两个关键阶段：

  1. Mutating Admission: 允许在对象持久化之前对其进行修改（例如：注入环境变量、添加 Sidecar 容器）。
  2. Validating Admission: 决定是否允许该请求（例如：检查资源配额、安全约束）。

我们要实现的功能属于第一阶段。我们的 Webhook Server 会接收到 API Server 发来的 Pod 创建请求，返回一个 JSON Patch，告诉 K8s 如何修改这个 Pod。

2. Webhook 服务端实现 (Go)

Webhook 本质上是一个响应特定 JSON 格式的 HTTPS 服务。以下是基于 Go 语言的核心逻辑代码片段。

处理逻辑：

func (s *WebhookServer) mutate(ar *v1beta1.AdmissionReview) *v1beta1.AdmissionResponse {
    req := ar.Request
    var pod corev1.Pod
    if err := json.Unmarshal(req.Object.Raw, &pod); err != nil {
        return &v1beta1.AdmissionResponse{Result: &metav1.Status{Message: err.Error()}}
    }

    // 构造 Patch 操作
    var patches []patchOperation
    
    // 遍历 Pod 里的所有容器
    for i, container := range pod.Spec.Containers {
        // 假设我们要注入一个名为 CUSTOM_ENV 的变量
        patch := patchOperation{
            Op:    "add",
            Path:  fmt.Sprintf("/spec/containers/%d/env/-", i),
            Value: corev1.EnvVar{Name: "INJECTED_BY", Value: "MyWebhook"},
        }
        patches = append(patches, patch)
    }

    patchBytes, _ := json.Marshal(patches)
    return &v1beta1.AdmissionResponse{
        Allowed: true,
        Patch:   patchBytes,
        PatchType: func() *v1beta1.PatchType {
            pt := v1beta1.PatchTypeJSONPatch
            return &pt
        }(),
    }
}

注意： 如果容器原先没有 env 字段，直接使用 /env/- 可能会报错。在生产代码中需要先判断 env 字段是否存在，如果不存在则需要初始化整个 env 数组。

3. TLS 证书：不可忽视的门槛

Kubernetes 要求 Webhook 服务必须运行在 HTTPS 上。你可以使用 cert-manager 自动管理，也可以手动通过 openssl 生成证书。

  1. 生成 CA 根证书。
  2. 为 Service 创建证书签名请求（SAN 必须包含 Webhook Service 的全限定域名，如 my-webhook.default.svc）。
  3. 将证书配置到 Webhook Server 的启动参数中。

4. 部署 MutatingWebhookConfiguration

编写完代码并部署好 Service 后，需要向 K8s 注册这个钩子：

apiVersion: admissionregistration.k8s.io/v1
kind: MutatingWebhookConfiguration
metadata:
  name: env-injector-webhook
webhooks:
  - name: inject-env.example.com
    clientConfig:
      service:
        name: env-injector-svc
        namespace: default
        path: "/mutate"
      caBundle: <BASE64_ENCODED_CA_CERT>
    rules:
      - operations: ["CREATE"]
        apiGroups: [""]
        apiVersions: ["v1"]
        resources: ["pods"]
    admissionReviewVersions: ["v1"]
    sideEffects: None
    namespaceSelector:
      matchLabels:
        env-injection: "enabled" # 只有打上这个标签的命名空间才会触发注入

5. 避坑指南与最佳实践

  1. 幂等性（Idempotency）：Webhook 可能会被多次调用。确保你的逻辑不会重复添加相同的环境变量。在注入前先检查 env 列表中是否已存在同名变量。
  2. 故障策略（failurePolicy）：在上面的配置中建议先设置为 Ignore。如果设置为 Fail，一旦 Webhook 服务宕机，整个集群将无法创建新的 Pod，这在生产环境中是极其危险的。
  3. 性能开销：Webhook 会增加 API Server 处理请求的延迟。逻辑尽量简单，避免在 Webhook 中进行复杂的外部 API 调用或数据库查询。
  4. 排除干扰：利用 namespaceSelector 或 objectSelector 限制 Webhook 的作用范围，避免干扰 kube-system 等系统组件。
  5. JSON Patch 细节：注意 JSON Patch 的路径索引是从 0 开始的。如果你要向数组末尾添加元素，路径应该是 /spec/containers/0/env/-。

总结

通过 Admission Webhook 注入环境变量，是实现“基础设施即代码”以及平台工程自动化的重要手段。它将环境差异性与业务代码解耦，极大地提升了部署效率。虽然在实现过程中需要处理 TLS 证书和 JSON Patch 的细节，但一旦跑通，将为你的 K8s 治理带来极大的灵活性。

云原生实战家 Kubernetes云原生开发

评论点评