显存估算公式的适用边界与局限

显存估算公式最容易被误用的地方，是把“模型能否加载”误当成“服务能否稳定运行”。以 FP16 为例，模型参数量 × 2 × 1.2 的口径，可用于快速判断参数权重及预留空间的大致需求。按此计算，3B 参数模型约需 7.2GB 显存。这是采购前的筛选工具，不是部署规格的最终答案。

公式到底覆盖了什么

该公式的核心对象是模型参数。参数以 FP16 形式存放时，每个参数占用相应的存储空间，额外预留部分则用于吸收部分运行开销。因此，它适合回答一个很窄的问题：某个模型在特定精度下，理论上是否有机会被装入某张显卡。

但推理服务并非只保存参数。实际运行还会产生与请求处理相关的显存占用，例如上下文长度增加带来的缓存、并发请求叠加带来的工作空间，以及运行环境本身的资源消耗。公式没有说明这些变量应预留多少，也无法替代对真实负载的观察。

三类边界不能混淆

首先，精度改变，参数显存的基础口径就会改变。把 FP16 的结果直接套到其他精度配置上，会失去估算前提。

其次，单次、短上下文的推理，与多请求并发、长上下文服务，不是同一种容量问题。前者接近“能否放下”，后者关心的是高峰时是否仍有余量。显存刚好够加载模型，往往意味着服务缺少应对波动的空间。

最后，推理与训练也不能共用同一套简化估算。训练除参数外还涉及更多中间状态与计算过程，占用结构与仅加载模型的推理场景不同。用推理公式反推训练硬件，容易系统性低估需求。

显存公式应被视为预算的第一道门槛：先排除明显不可能的硬件组合，再结合运行环境、并发请求和上下文长度确定稳定容量。采购决策真正需要回答的，不是“最低能运行到什么程度”，而是“在持续使用时，是否仍保有足够余量”。