Serverless 推理冷启动压到 100ms：MIG 预热池与 Kata 容器的协同架构

在 Serverless AI 推理场景中，100ms 的冷启动 SLA 是工业级产品化的分水岭。传统容器化方案受限于镜像拉取、运行时初始化、GPU 驱动加载与模型权重读取，冷启动通常在 2~5 秒量级。要将链路压缩至 100ms 以内，必须放弃“从零拉起”的思维，转向状态预置、硬件切片绑定与内存级复用的协同设计。本文以生产实践为基准，拆解 NVIDIA MIG 预热池与 Kata Containers 的协同架构如何实现亚 100ms 的实例就绪。

一、 100ms 延迟的物理边界与预算拆解

100ms 并非指从零到首次请求响应的绝对时间，而是指请求到达网关到推理实例进入 Ready 状态的调度窗口。在工程实践中，该预算需按模块严格切分：

注：该预算适用于已纳入预热池的中等规模模型（如 7B 量化版或 CV 骨干网络）。全量新模型首次加载仍依赖异步预热队列。

二、 MIG 预热池的设计逻辑

MIG（Multi-Instance GPU）允许将单张 GPU 物理切割为多个独立实例，每个实例拥有专属的 SM、显存与 L2 缓存。在 Serverless 场景下，MIG 的核心价值在于消除多租户 GPU 争抢与驱动重复初始化开销。

1. 静态切片与动态绑定

预热池不采用“按需创建 MIG Profile”的策略，而是在节点初始化阶段预先划分固定比例的 MIG 实例（如 1g.10gb 或 2g.20gb）。这些切片保持 Inactive 状态，仅当调度器命中对应请求时，通过 nvidia-ctk 快速激活并绑定至目标 Kata 实例。此设计将 GPU 配置耗时从 300ms+ 压至 10ms 内。

2. 显存预分配与碎片治理

预热池需配合显存水位监控。通过 cgroups v2 限制 Kata VM 的显存上限，并启用 nvidia-container-cli 的 --no-cgroups 模式绕过冗余权限检查。同时，维护一个轻量级元数据服务，记录各 MIG 切片的 last_used_ts 与 model_hash，实现同模型请求的毫秒级复用。

三、 Kata Containers 的安全与启动权衡

Kata 基于轻量级虚拟机提供强隔离，传统冷启动需经历内核加载、virtio 设备枚举、init 进程拉起，耗时通常在 500ms 以上。为适配 100ms 目标，需进行以下改造：

1. 基于 DAX 与 virtio-fs 的极速文件系统

放弃 overlayfs，改用 virtio-fs 挂载宿主机只读模型目录，并启用 DAX（Direct Access）绕过页缓存拷贝。Kata 内核启动后，模型权重直接映射到 VM 地址空间，避免 copy-on-write 带来的 IO 放大。

2. VM 状态快照与秒级恢复

利用 CRIU 或 Kata 原生 pause/resume 机制，将已加载基础依赖（CUDA Runtime、推理框架如 vLLM/TensorRT-LLM）的 VM 冻结为快照。调度触发时，直接恢复内存页与寄存器状态，跳过完整的用户态初始化。配合 hugepages=2M 预分配，内存恢复延迟可控制在 20ms 内。

3. 驱动直通与内核旁路

Kata 默认使用 vfio-pci 直通 GPU，但首次探测仍会触发 nvidia.ko 加载。通过在宿主机构建统一的 GPU Driver Pool，并在 Kata 镜像中预编译匹配版本的 nvidia_uvm 模块，可实现热插拔即插即用。

四、 协同调度链路与模型加载加速

MIG 与 Kata 的协同并非简单拼接，而是依赖一套状态机驱动的调度管线：

[请求到达] -> [API Gateway] -> [调度器查询预热池元数据]
       |-> 命中同模型空闲 Kata VM -> 发送 SIGCONT 恢复
       |-> 未命中但有空闲 MIG Slice -> 拉取最近快照 VM -> 绑定 MIG -> 恢复
       |-> 无资源 -> 降级至标准冷启动队列（返回 202 Accepted）

模型加载的 40ms 预算依赖三项关键优化：

1. 内存映射权重文件：将 .safetensors 或 .bin 模型通过 mmap(PROT_READ) 映射至共享内存区。Kata VM 启动后仅需建立页表映射，无需实际读取磁盘。
2. 算子图懒编译：推理引擎默认加载完整计算图会触发大量 CUDA Kernel 编译。通过预编译 PTX/SASS 缓存并注入 CUDA_MODULE_LOADING=LAZY，将编译期推迟至首次推理调用。
3. 并发探针与流量预热：实例恢复后，旁路发送 3~5 个 dummy tensor 请求激活 GPU 上下文，主流量在探针返回 Ready 后无缝切入。

五、 生产环境的边界与兜底策略

100ms 架构并非银弹，需在以下场景做好降级与容错：

• 模型体积溢出：超过 MIG 显存配额的大模型无法复用预热池，需触发异步迁移至多卡节点或返回排队提示。
• 快照漂移风险：长期运行的快照 VM 可能积累内存碎片或句柄泄漏。建议设置 max_idle_time=300s 强制回收重建。
• 网络带宽瓶颈：若模型缓存位于远端对象存储，mmap 首次访问仍会触发 Page Fault 拉取。必须在同可用区部署高速 NVMe 缓存层，并确保 virtio-net 队列数与 CPU 核心数对齐。
• 监控与可观测性：注入 eBPF 探针跟踪 gpu_mem_alloc、kata_vm_resume、model_mmap_fault 三个关键指标，建立延迟分位数告警（P95 < 100ms，P99 < 130ms）。

六、 总结

将 Serverless 推理冷启动压入 100ms，本质是用空间换时间、用状态换计算的工程取舍。MIG 预热池解决硬件切片的确定性分配，Kata Containers 提供强隔离下的极速恢复，二者通过内存映射与快照技术打通调度断点。该架构已在高并发 AI API 网关中验证，但需严格管控预热池水位与模型版本一致性。对于追求极致体验的推理平台而言，这已不是“能不能做”的问题，而是“敢不敢为确定性延迟投入基建成本”的架构抉择。