文章标签

文章列表

• Volcano 在 K8s 集群中的生产级部署与插件配置实战

  Volcano 是 CNCF 孵化的云原生批处理调度系统，专为 AI、大数据、HPC 等高并发计算场景设计。相比默认的 Kube-scheduler，它提供了 Gang Scheduling 、 Queue 管理 、 任务拓扑感知 等...

  2026/4/12 0 135 0 0 0 VolcanoKubernetes批处理调度

• 深度解析：Volcano 与 K8s 原生调度器在 AI 训练场景下的性能博弈

  在云原生 AI 基础设施的构建中，Kubernetes（K8s）已成为事实上的标准。然而，随着 AI 训练任务（特别是大模型分布式训练）的规模不断扩大，原生 K8s 调度器（default-scheduler）在处理这类高并发、强依赖的任...

  2026/4/12 0 80 0 0 0 KubernetesVolcanoAI 基础设施

• 深入解析 K8s Coscheduling：实现 Gang 调度及其在大规模拓扑下的局限性

  在分布式训练（如 AI 模型训练）和高性能计算（HPC）场景中，任务通常要求“要么全部运行，要么全不运行”。这种需求被称为 Gang Scheduling 。虽然 Kubernetes 原生调度器最初是为长连接微服务设计的，但通过 S...

  2026/4/12 0 82 0 0 0 Kubernetes调度插件云原生架构

• Volcano 与原生 K8s 调度器在分布式深度学习中的实战对比

  在构建企业级 AI 训练平台时，调度器往往是决定 GPU 集群利用率与任务交付效率的核心瓶颈。原生 K8s 调度器（kube-scheduler）为通用微服务设计，而 Volcano 是 CNCF 沙箱项目中专为 HPC 与 AI 负载打...

  2026/4/12 0 87 0 0 0 分布式深度学习Volcano

• 深度解析 K8s 调度器扩展框架：编写自定义插件支持复杂 AI 任务

  在云原生时代，Kubernetes (K8s) 已成为管理容器化应用的事实标准。然而，随着 AI/ML 任务的爆发式增长，默认调度器的“逐个 Pod 调度”逻辑逐渐显露疲态。AI 训练通常涉及分布式计算（如 PyTorch DDP、Ten...

  2026/4/12 0 72 0 0 0 KubernetesAI基础设施调度算法

• Kubernetes DRA：打破 AI 推理算力调度的“静态”瓶颈

  在当前的 AI 大模型时代，异构算力（如 GPU、NPU、FPGA）的调度效率直接决定了推理服务的成本与响应速度。长期以来，Kubernetes 社区主要依赖 Device Plugin 机制来管理这些硬件资源。然而，随着 AI 推理...

  2026/4/12 0 74 0 0 0 KubernetesAI推理资源调度

• K8s 调度 DSA 设备：如何化解 NUMA 拓扑感知与 Pod 约束的冲突？

  在高性能计算（HPC）和数据密集型应用中，Intel 的 DSA（Data Streaming Accelerator）设备已成为提升内存拷贝与数据转换效率的利器。然而，在 Kubernetes (K8s) 环境中，通过 Device P...

  2026/4/12 0 55 0 0 0 KubernetesDSANUMA

• 从 QAT 迁移到 DSA：对称加密卸载与数据流加速的架构决策指南

  技术背景：两种加速哲学的本质差异 Intel QAT（QuickAssist Technology）和 DSA（Data Streaming Accelerator）代表了硬件加速的两种截然不同的设计哲学。理解这种差异是架构选型的前提...

  2026/4/12 0 74 0 0 0 硬件加速DSAQAT

• Linux 下使用 accel-config 配置 Intel DSA 的实战指南

  Intel DSA（Data Streaming Accelerator）是面向现代数据中心的硬件加速引擎，主要卸载内存拷贝、数据压缩/解压缩、CRC/校验和计算等高频CPU密集型操作。在生产环境中， accel-config 是官方推...

  2026/4/12 0 86 0 0 0 Intel DSALinux性能调优

• 深度解析：利用 SPDK accel 与 Intel DSA 打造 NVMe-oF 零拷贝存储路径

  在高性能分布式存储领域，NVMe-oF（NVMe over Fabrics）已成为事实上的标准。然而，随着网络带宽跨入 100GbE 甚至 400GbE 时代，传统的由 CPU 执行的数据拷贝、CRC 校验及 Data Integrity...

  2026/4/12 0 100 0 0 0 SPDKIntel DSANVMe-oF

• DSA硬件卸载 vs CXL.mem用户态直访：SPDK海量数据搬运的架构抉择

  在构建下一代云原生存储引擎时，工程师面临一个关键的架构分歧： 当需要移动TB级冷数据或重建EC分片时，应该选择Intel DSA的异步硬件卸载路径，还是依赖CXL.mem协议提供的缓存一致性内存扩展能力？ 这两种技术看似都服务于&quo...

  2026/4/12 0 109 0 0 0 SPDKCXLIntel DSA

• CXL 2.0 内存池化架构中 SPDK 的角色演变：用户态驱动如何接管缓存一致性责任

  内存语义革命：当 SPDK 面对字节级寻址 CXL 2.0 引入的内存池化（Memory Pooling）彻底改变了数据中心的资源拓扑。传统架构中，SPDK 通过用户态轮询（Polling）机制绕过内核 I/O 栈，专为 NVMe 块...

  2026/4/12 0 76 0 0 0 CXL 20SPDK内存池化

• SPDK 用户态驱动实战：构建微秒级延迟的存储引擎

  从内核陷阱到用户态突围 传统 Linux 存储栈在处理 NVMe SSD 时面临结构性瓶颈。一次完整的 I/O 请求需要穿越文件系统、VFS、块层、驱动层，上下文切换和内存拷贝带来的延迟往往在数十微秒级别。对于金融高频交易、实时数据分...

  2026/4/11 0 125 0 0 0 SPDK用户态驱动NVMe

• RocksDB 在 NVMe-oF 架构下的挑战：RDMA 网络延迟如何影响 LSM-Tree 压缩性能

  随着存算分离架构在数据中心普及，将 RocksDB 部署在 NVMe-oF（尤其是基于 RDMA 的实现）之上已成为提升资源利用率的主流选择。然而，这种架构将原本的本地 PCIe 访问转变为网络 IO，虽然 RDMA 提供了微秒级的极低延...

  2026/4/11 0 99 0 0 0 RocksDBNVMe-oFRDMA

• RocksDB + ZenFS on ZNS SSD：从理论到生产的调优实战笔记

  最近半年在负责一个海量 KV 存储集群的硬件升级，目标是把单机存储密度从 16TB 提升到 64TB，同时保持 P99 写入延迟 < 10ms。在传统 NVMe SSD 上，RocksDB 的写放大（Write Amplificat...

  2026/4/11 0 131 0 0 0 RocksDBZNS SSD存储引擎优化

• 彻底告别写放大：ZNS 如何重塑分布式存储性能？

  随着数据中心对存储密度和性能要求的不断压榨，传统的 NVM Express (NVMe) 块设备协议逐渐显现出其局限性。在 NVMe 2.0 时代， ZNS (Zoned Namespaces) 规范的正式引入，标志着存储架构从“黑盒管...

  2026/4/11 0 132 0 0 0 NVMe 20ZNS分布式存储

• 软硬结合的艺术：透视 SSD 写入放大与 LSM 树合并策略的协同调优

  在现代高性能存储体系中，基于 LSM 树（Log-Structured Merge-Tree）的存储引擎（如 RocksDB, TiKV, Cassandra）已成为处理高并发写入的首选。然而，开发者往往会面临一个棘手的现实：即便使用了 ...

  2026/4/11 0 112 0 0 0 LSM-TreeSSD优化写入放大

• 被忽视的性能损耗：深度分析 GC 处理大对象时对 L3 缓存的“清洗”效应

  在追求高并发、低延迟的系统架构中，开发者往往关注算法的时间复杂度和垃圾回收（GC）的停顿时间（STW）。然而，在高吞吐量的底层场景下，一个常被忽视的性能杀手是 CPU L3 缓存命中率的剧烈波动 。特别是当垃圾回收器频繁介入处理“大对象...

  2026/4/11 0 86 0 0 0 垃圾回收性能优化CPU缓存

• 深度解码 Java 并发性能杀手：从 MESI 协议到缓存行隔离实战

  在现代高性能并发编程中，开发者往往将注意力集中在锁竞争（Lock Contention）上，却容易忽视底层的硬件约束。当你的 Java 代码在多核 CPU 上运行时，一种被称为**“伪共享（False Sharing）”**的现象可能正在...

  2026/4/11 0 117 0 0 0 Java并发CPU缓存性能优化

• Disruptor 的 RingBuffer 为什么这么快？从 CPU 缓存到无锁算法的深度解析

  在高并发场景下，队列的性能往往成为系统瓶颈。传统阻塞队列如 ArrayBlockingQueue 或 LinkedBlockingQueue 在面对每秒百万级消息处理时，往往会因为 锁竞争 和 缓存失效 导致性能急剧下降。而 LM...

  2026/4/11 0 124 0 0 0 Disruptor高性能并发RingBuffer