文章标签

MIG预热池

• Serverless 推理冷启动压到 100ms：MIG 预热池与 Kata 容器的协同架构

  在 Serverless AI 推理场景中，100ms 的冷启动 SLA 是工业级产品化的分水岭。传统容器化方案受限于镜像拉取、运行时初始化、GPU 驱动加载与模型权重读取，冷启动通常在 2~5 秒量级。要将链路压缩至 100ms 以内，...

  2026/4/12 0 18 0 0 0 MIG预热池Kata容器