Volcano Queue 混合云 GPU 调度实践：本地 IDC 与公有云资源的弹性配额联邦方案

架构背景与挑战

在 AI 大模型训练与推理场景中，企业本地 IDC 的 GPU 资源往往面临潮汐式压力：日常开发测试资源闲置，而模型训练高峰期资源排队严重。单纯扩容本地 GPU 集群会导致 TCO（总拥有成本）激增，且硬件迭代周期难以跟上算力需求变化。

基于 Volcano 的混合云联邦调度方案，通过 Queue 队列隔离 与 Cluster Federation 机制，实现了本地 IDC 与公有云 GPU 实例的统一视图管理。核心解决三个问题：

1. 资源边界模糊化：本地节点与云端实例对业务层透明，通过 Queue 配额统一分配
2. 跨云数据亲和性：训练数据本地缓存与云端计算节点的智能亲和调度
3. 成本敏感型弹性：基于作业排队延迟与资源利用率的混合决策伸缩策略

整体架构拓扑

┌─────────────────────────────────────────────────────────────┐
│                    Volcano Global Scheduler                 │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────────────┐ │
│  │ Queue: dev  │  │ Queue: prod │  │ Queue: burst-cloud  │ │
│  │ 本地 GPU    │  │ 本地 GPU    │  │ 公有云 GPU 实例     │ │
│  │ 权重: 高    │  │ 权重: 高    │  │ 权重: 低/按量计费   │ │
│  └─────────────┘  └─────────────┘  └─────────────────────┘ │
└──────────────┬──────────────────────────────┬───────────────┘
               │                              │
    ┌──────────▼──────────┐      ┌───────────▼────────────┐
    │   本地 IDC Cluster   │      │   公有云 EKS/GKE       │
    │  - Volcano Scheduler │      │   - Virtual Kubelet    │
    │  - GPU Node Pools    │      │   - GPU Spot 实例      │
    │  - 高性能存储 (Ceph) │      │   - 对象存储网关       │
    └─────────────────────┘      └────────────────────────┘

核心机制设计

1. 分层 Queue 配额模型

采用 QueueTree + Weight 机制实现跨集群资源隔离：

apiVersion: scheduling.volcano.sh/v1beta1
kind: Queue
metadata:
  name: hybrid-gpu-pool
spec:
  weight: 100                    # 相对权重，决定资源分配比例
  capability:
    cpu: "2048"
    memory: "4096Gi"
    nvidia.com/gpu: "128"        # 本地 IDC 物理 GPU 上限
  reclaimable: true              # 允许资源回收
  deserved:
    nvidia.com/gpu: "256"        # 包含云端弹性配额
  parent: root                   # 嵌套队列支持

关键设计：deserved 字段设定理论最大值（本地+云端），capability 设定本地物理上限。当本地资源饱和时，Scheduler 自动将作业降级至 burst-cloud Queue，触发 Virtual Kubelet 创建云端 Pod。

2. 跨云节点亲和与污点策略

公有云 GPU 实例通过 Virtual Kubelet 注册为虚拟节点，需配置拓扑感知调度：

apiVersion: v1
kind: Node
metadata:
  labels:
    volcano.sh/node-type: "cloud-spot"
    topology.kubernetes.io/region: "aliyun-hangzhou"
    nvidia.com/gpu.product: "NVIDIA-A100-SXM4-40GB"
  annotations:
    # 网络延迟标记，用于调度决策
    latency.ms.local-idc: "35"
spec:
  taints:
  - key: "cloud.provider"
    value: "aliyun"
    effect: "NoSchedule"
---
apiVersion: scheduling.volcano.sh/v1beta1
kind: PodGroup
spec:
  queue: hybrid-gpu-pool
  minMember: 4                   # Gang Scheduling 保证
  minResources:
    nvidia.com/gpu: 4
  affinity:
    nodeAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 100
        preference:
          matchExpressions:
          - key: volcano.sh/node-type
            operator: NotIn      # 优先本地，本地不足时容忍云端
            values: ["cloud-spot"]

3. 弹性伸缩触发器配置

结合 Cluster Autoscaler 与 Volcano 的 Job Starvation 指标：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: volcano-cloud-scaler
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: virtual-kubelet-cloud
  minReplicas: 0
  maxReplicas: 20                # 最大云端 GPU 实例数
  metrics:
  - type: External
    external:
      metric:
        name: volcano_queue_pending_jobs_duration_seconds
        selector:
          matchLabels:
            queue: hybrid-gpu-pool
      target:
        type: AverageValue
        averageValue: "300"      # 排队超过 5 分钟触发扩容
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 600   # 缩容冷却，避免训练中断
      policies:
      - type: Percent
        value: 10
        periodSeconds: 60

生产级配置细节

GPU 共享与隔离（vGPU）

对于推理场景的小模型，启用 Volcano 的 GPU 共享 功能提升云端资源利用率：

apiVersion: v1
kind: Pod
metadata:
  annotations:
    volcano.sh/gpu-memory: "4096"    # 申请 4GB 显存而非整卡
    volcano.sh/priority: "high"      # 抢占本地资源，云端仅兜底

数据层优化：三层缓存架构

避免跨云数据拖尾导致 GPU 空转：

1. 本地 IDC：Alluxio 缓存热数据（近线存储）
2. 云端节点：初始化容器并行拉取训练数据至本地 NVMe SSD
3. Checkpoint 策略：每 epoch 写入云端对象存储，本地保留最新 2 个版本

initContainers:
- name: data-prefetch
  image: data-loader:latest
  command: ["aws", "s3", "sync", "s3://dataset/imagenet/", "/data/local/"]
  resources:
    limits:
      bandwidth: "10Gi"          # 限制预热带宽，避免打满专线

成本优化：Spot 实例容错机制

公有云 Spot 实例中断率约 5-15%，需配置优雅终止与 Checkpoint 续跑：

lifecycle:
  preStop:
    exec:
      command: ["/bin/sh", "-c", "python /scripts/checkpoint_save.py"]
terminationGracePeriodSeconds: 300   # 5 分钟优雅退出窗口
---
# 作业重试策略
policies:
- event: TaskFailed
  action: RestartJob
  retryLimit: 3

关键性能指标与调优

Queue 权重动态调整脚本（基于 Prometheus 指标）：

# 当云端成本超过预算时，降低 cloud-burst Queue 权重
curl -X PATCH http://volcano-scheduler:8080/queues/cloud-burst \
  -d '{"spec":{"weight":10}}'

风险与局限性

1. 网络稳定性：跨云专线中断会导致 GPU 作业失败，建议配置双链路冗余与本地降级策略
2. 数据合规：涉及敏感数据的训练任务需通过 NodeSelector 强制绑定本地 IDC
3. 调度延迟：Volcano Gang Scheduling 在混合云场景下可能因跨节点通信增加 10-20ms 调度延迟，建议批量提交作业（Batch Submit）

该方案已在某头部推荐系统的日均 5000+ GPU 卡训练任务中验证，实现本地资源利用率从 60% 提升至 88%，公有云弹性成本较包年包月模式降低 67%。