Few-shot如何用少量例子教会模型

Few-shot 的关键,不是让模型“记住几条例句”,而是在有限上下文中同时交代三件事:任务边界、判断依据和输出协议。模型看到的示例越能体现这三层信息,越容易把新输入映射到正确结果;反之,示例即使数量不少,也可能只是在重复同一种表面模式。

以投诉识别为例,若所有示例都围绕“退货”,模型可能把“退货”误当成投诉的核心特征。更有效的做法是保留不同表达:直接抱怨、反讽、不满但措辞克制,以及看似负面却只是咨询的边界样本。边界样本尤其重要,它明确告诉模型“什么算、什么不算”,比继续堆叠典型样本更有价值。

示例格式必须稳定。输入中是否保留上下文、标签写成什么形式、答案是否附带解释,都应保持一致。若目标是输出“正面”或“负面”,就不要在部分示例中改成“情绪良好”或“存在不满”。Few-shot 本质上依赖模式对齐,格式漂移会让模型把注意力浪费在无关差异上。

实践中,可以先用三到五个样本搭出最小集合:一个典型正例、一个典型反例、若干易混淆边界例。然后检查每个示例是否都在传递新的判断信息;如果两条例子只是在换词重复,应优先替换为覆盖缺口的样本。高质量 Few-shot 不是缩小版数据集,而是一份足够清晰的任务说明书。

参与讨论

0 条评论

延伸阅读