显存受限本地部署该选哪种量化?

显存受限时，量化选择不能只看“位数越低越好”，而要同时评估模型规模、上下文长度、并发需求和推理框架。量化首先压缩的是模型权重，但推理过程中还要为 KV Cache 预留显存；如果只按权重大小估算，模型可能能够加载，却在长上下文或多请求场景下频繁溢出。

16GB—24GB 显存：优先 Q4_K_M 或 INT4

对于本地单卡部署，Q4_K_M 和 INT4 通常是更稳妥的起点。以 27B 级模型为例，Q4_K_M 的显存需求大约为 15—18GB，适合 16GB—24GB 显存区间。它比 FP16 更节省显存，同时保留较好的推理可用性，适合需要运行完整模型、又无法接受频繁 CPU 卸载的场景。

使用 llama.cpp 时，应优先选择对应的 GGUF 量化模型；使用 vLLM 时，则可通过 GPTQ 或 bitsandbytes 方案实现 4-bit 量化。需要区分的是，GGUF、GPTQ 和 bitsandbytes主要涉及模型格式或量化实现路径，并不代表量化等级本身。选型时应先确认推理框架是否适配目标模型，而不是只看文件大小。

什么时候考虑 FP8，什么时候避免 FP16

FP8适合更重视推理速度、硬件支持和吞吐能力的部署环境，但它未必是显存最紧张时的首选。若目标是让较大模型在有限显存中稳定加载，INT4或Q4_K_M通常更直接。FP16则会带来明显的内存膨胀，除非显存充足、模型质量优先，或部署条件明确要求较高精度，否则不宜作为显存受限场景的默认方案。

实际测试应从单卡、短上下文开始，再逐步增加上下文长度和并发请求。如果加载成功但生成阶段仍然溢出，应优先检查 KV Cache 和缓存管理，而不是继续盲目降低权重精度。对本地智能体而言，能稳定运行的 Q4_K_M，往往比勉强加载但频繁失速的高精度方案更具实际价值。