文章标签
优化策
-
深入NUMA：边缘AI轻量级模型内存访问模式评估与性能调优实战
在当下AI无处不在的浪潮中，将大型模型“瘦身”后下放到边缘设备，进行实时、低延迟的推理，已经成为一股不可逆的趋势。我们把这些经过剪枝（Pruning）或蒸馏（Distillation）处理的“轻量级大模型”部署到资源有限的边缘服务器或特定...
-
提升大型Python项目内存效率的实用策略
在开发大型Python项目时，内存管理是一个不可忽视的重要环节。随着项目规模的扩大，内存使用效率的高低直接影响到程序的性能和稳定性。本文将探讨几种实用的内存优化策略，帮助Python开发者提升项目的内存使用效率。 首先，合理使用数据结...
-
万亿参数级AI模型推理：NUMA内存墙与分片、同步、数据流优化实践
作为一名深耕高性能计算和AI基础设施的工程师，我深知当我们将万亿参数级别的多模态AI模型推向生产环境时，那些看似微不足道的系统瓶颈会如何放大，最终成为横亘在推理性能面前的“内存墙”。尤其是在现有的非统一内存访问（NUMA）架构下，这个问题...