端侧部署时该先砍体积还是先保效果?

端侧部署这件事，我踩过不少坑。刚开始总觉得模型越小越好，恨不得把体积砍到只剩骨架，结果跑起来发现效果稀烂，用户直接骂“这AI是智障吧”。后来反过来，什么也不砍硬往上塞，发热、卡顿、内存爆炸，又是另一种崩溃。到底该先砍体积还是先保效果？我的经验是：别急着二选一，先搞清楚你的“底线效果”在哪。

我自己走过最歪的路，就是上来就上量化和剪枝。想着int8量化一下，体积直接砍半，多爽。结果模型在手机上的推理效果直接崩了，关键分类全错，召回率降到没法看。后来我学乖了：先做一个小样本验证集，专门测试量化和剪枝会不会把核心能力砍没。 比如你做个语音唤醒，量化后“小爱同学”和“小度小度”都分不清了，那这个体积砍得就没意义。所以我的顺序从来不是“先砍体积”，而是“先定效果底线”。

具体怎么操作？我现在的习惯是：先用LoRA或Adapter做轻量微调。 这个改动小，回滚也方便，甚至可以在不改变原模型结构的前提下，先让模型在端侧“跑得动”。这一步不是为了砍体积，而是为了验证——验证这个预训练模型在端侧到底能不能干活。 如果连LoRA调完都达不到效果底线，那就别费劲砍体积了，换个模型基座或者补充领域数据才是正事。

如果效果底线过了，我再开始砍体积。但砍也是有策略的：先试int8量化，再试int4，一步一测。 很多场景下int8量化对效果影响很小，但速度提升几乎是翻倍的。如果int8不行，那就别硬上int4，回去用知识蒸馏，把大模型当老师，小模型当学生，效果比直接量化好得多。我有个智能门铃项目，就是先蒸馏再量化，最后模型塞进MCU里，人脸识别秒级响应，效果跟云端版差不了多少。

说到底，端侧部署不是“砍”和“保”的对立，而是“先保后砍”的节奏问题。 先保效果底线，再砍体积，砍不动就换方法。别一上来就想着把模型削成皮包骨，也别舍不得砍一根毫毛。真正的平衡是：保得住关键能力，砍得掉冗余负担。 下次再遇到端侧部署，先问自己一句：这个模型在端侧，最不能丢的那个能力是什么？保住了，再放心砍。