为什么大模型推理优化要先做 Profiling?

大模型推理优化的第一步不是改模型，而是确认瓶颈在哪里。所谓 Profiling，本质上是对一次推理过程做运行画像：记录延迟、吞吐、CPU/GPU 利用率、内存带宽等指标，并观察计算、数据传输、I/O 与线程调度之间的耗时关系。没有这组基线，所谓“优化”往往只是凭经验试错，甚至会把局部问题误判成模型问题。

优化前必须先回答三个问题

第一，时间究竟消耗在计算，还是消耗在等待？如果 GPU 利用率长期偏低，继续压缩模型计算量未必有效，问题可能出在数据传输或 I/O 阻塞。第二，系统受限于单请求延迟，还是整体吞吐？在线交互通常更关注响应速度，离线任务则可能更重视单位时间处理量。第三，资源是否已经接近瓶颈？只有明确 CPU、GPU、内存带宽和并发之间的关系，才能判断应调整批量、并发，还是更换运行时。

Profiling 能避免方向性错误

量化、剪枝、蒸馏、运行时优化都不是无条件有效。量化可以降低内存和带宽压力，但 INT8 需要校准样本；批处理可能提升吞吐，却可能增加交互延迟；剪枝减少计算量，也可能影响输出质量。如果 Profiling 显示主要瓶颈并不在模型计算，盲目压缩模型只会增加验证成本，甚至造成精度和稳定性退化。

因此，Profiling 的价值不只是“找慢点”，更是建立优化决策的因果链：先测量现状，再提出假设，随后只改变一个关键变量，最后用延迟、吞吐和资源利用率进行对比。建议先完成一次完整 Profiling，再分别验证 FP16、INT8、批量与并发等方案。优化不是把所有手段叠加，而是让每一次改动都对应一个已被测量的问题。