智能体练崩了该从哪一步查起?

智能体练崩了，我一般不会第一反应去调一堆参数。很多时候，问题根本不在算法，而在于它“看不懂、做不到，或者被奖励骗了”。与其盯着忽高忽低的学习曲线发愁，不如按顺序排查，效率高很多。

先确认它到底看到了什么

我会先问三个问题：当前状态是否完整？动作是否真的能执行？目标是否表达清楚？

比如导航任务里，状态可能包括坐标和障碍物，动作是前进或转向。如果智能体看不到关键障碍，或者动作和环境反馈没有对应上，它再努力也只是乱撞。卡片游戏也是一样，手里的牌没有正确反映到状态里，后面所有学习都会变成“瞎猜”。

这一步最好把状态、动作和环境反馈直接打印或记录下来，看看智能体实际接收的内容，别只看最终分数。很多诡异表现，追到这里就已经露馅了。

再查奖励：它是在完成任务，还是在钻空子

奖励忽高忽低，未必只是训练不稳定，也可能是奖励设计出了问题。奖励太稀疏，智能体长期得不到反馈，就像走迷宫时一直没有任何提示；奖励不合理，它可能找到一条“得分更高但任务没完成”的歪路。

我之前遇到这类情况时，会把奖励拆开观察：每一步为什么得分，什么时候被扣分，最终目标是否真的带来更好的回报。不要只看总奖励，要看它究竟被什么行为激励了。

最后才轮到算法和参数

如果状态、动作、奖励都没问题，再从简单环境开始跑，比如 CartPole。先用价值方法，再试策略方法，观察两者在同一任务上的差别。训练曲线有明显噪声时，可以尝试调整超参数、降低学习率，或者改变探索策略，但一次只改一个因素，不然最后连“哪一步修好”都不知道。

我现在的排查顺序是：先看输入，再看动作，再看奖励，最后看算法和参数。智能体不是越复杂越容易成功，反而是任务越小、反馈越清楚，越容易定位问题。先让它在简单迷宫里走对，再谈征服真实世界。