内存池化架构的作用与边界

内存池化的价值，不在于“凭空增加内存”，而在于把原本分散在不同设备、不同层级中的可用容量纳入统一调度，使参数、激活值、梯度和优化器状态能够按任务阶段获得更合适的存放位置。面对百亿级以上模型，单卡显存往往难以独立承载完整训练状态，跨设备内存池化因而成为降低单点容量压力的一种系统架构选择。

它首先改善的是资源利用率。训练与推理的内存占用并不恒定：某些阶段更依赖激活值，某些阶段需要保留更多优化器状态；不同任务之间也可能存在容量闲置。池化架构可以配合参数分片、异地卸载和内存分层，把部分数据放入 CPU 内存或 NVMe，将高带宽显存优先留给更敏感的计算路径。其关键作用是减少静态预留和重复占用，而不是简单把所有数据平均分散。

但池化绝不是无代价的容量扩容方案。数据一旦跨越设备或存储层级迁移，通信带宽、访问延迟和调度开销就会进入关键路径。对训练而言，频繁迁移可能与计算争抢资源；对推理而言，若热数据未能稳定驻留在合适位置，延迟和吞吐会直接受影响。内存池越大、参与设备越多，故障隔离、数据一致性、资源配额与任务调度也越复杂。

因此，内存池化适合解决“容量分散、峰值错位、单卡难以承载”的问题，不适合掩盖模型结构、序列长度或并发策略本身造成的持续性压力。工程上应先识别哪些数据必须留在高速内存，哪些状态可以分片或卸载，再评估互联与存储路径是否承受得住迁移成本。只有当容量收益大于通信和运维复杂度时，池化才会从概念上的资源聚合，变成真正有效的系统能力。