你们在工厂里搭完演示工位、跑通那几次漂亮的抓取之后，真正的麻烦才开始：机器人换了个料箱、光线暗了一点、或者托盘上多放了一层隔板，动作就变得犹豫甚至直接失败。这不是现场调试没做好，而是数据没“见过世面”。行业里常说高质量具身数据缺口巨大，落到具体项目上，就是你的采集计划没有覆盖到现场最常见的操作失败。
很多团队的第一反应是加摄像头、多录几段视频。但现场数据最贵的不是采集，而是后续能不能复现、筛选和回放。没有任务边界、状态定义和失败标签的视频，最多只能当素材，成不了训练资产。真正决定试点项目能不能往前走的，是你有没有一套能把失败稳定分桶并重放的采集机制。
要设计这份采集计划，建议从四个维度去圈定范围：物体差异、环境扰动、动作失败和人工接管记录。这四个维度基本覆盖了现场机器人“翻车”的主要来源，也是后续验证闭环的入口。
物体差异是第一个必须覆盖的维度。 现场没有两个完全一样的物体。同样是纸箱，尺寸、重量、表面摩擦系数、码放角度都可能不同；同样是周转箱，里面的物料种类、满箱和半箱的重心位置也完全不一样。采集计划不能只覆盖“标准件”，要主动引入变体：不同尺寸的箱体、不同材质的包装、不同装填程度的容器。每引入一种变体，都要记录它的关键属性，让模型知道“这个物体和之前那个到底差在哪”。
环境扰动决定机器人能不能在真实产线里存活。 演示时灯光稳定、背景干净、工位固定，但现场会有反光、阴影、相邻工位的遮挡，甚至偶尔有人经过。采集时要有意识地制造扰动：调整光照角度、改变背景杂乱程度、在视野边缘放置干扰物。这些扰动样本的价值在于，它们让模型学会区分“任务相关特征”和“环境噪声”，而不是把某个固定背景当成成功条件。
动作失败样本是整个采集计划里价值最高的部分。 机械臂抓取时滑落、插接时对位偏差、扫码失败后需要人工介入——这些看似负面的记录，恰恰是通往稳定操作最宝贵的阶梯。关键在于，系统是否完整记录了人类当时是如何介入并纠正这些错误的。失败的瞬间、失败前的观测数据、人工介入的动作，这三者必须时间戳同步地保存在一起。否则你收集到的只是一堆无法复用的现场噪声。
人工接管记录是常常被忽略的第四维度。 当操作员按下急停、切换到手动模式、或者远程接管完成某个动作时，这本身就是一次隐性的“失败标注”。它告诉你：自动策略在这里遇到了它处理不了的情况。把这些接管点全部记录下来，连同接管前后的状态数据，就构成了一张清晰的“能力边界地图”。后续策略迭代时，这张地图就是最直接的晋级门槛。
有了这四个维度的采集范围，下一步是判断优先级。不是所有失败都值得同等投入，建议按两个标准排序：发生频率和影响程度。高频且影响大的失败（比如抓取滑落导致节拍中断）必须优先采集；低频但影响大的失败（比如碰撞导致停机）也要覆盖，但可以通过仿真补数来扩大样本量；高频但影响小的失败（比如偶尔的扫码重试）可以放在第二阶段优化。
这里要特别提醒一个误区：不要一上来就追求“整班次全流程自治”。更稳的做法是先把现场任务拆成一组能独立采集、独立评分、独立回退的任务片段，比如单箱抓取放置、料箱开盖与复位、工装对位后插接。每个片段都是一个可复现的 episode，必须能回答：谁执行、做什么、在什么前置条件下、结果如何、为什么失败。数据主键不是日期，而是 episode——这是整个采集体系的地基。
当失败样本开始积累，就要把它们接入验证闭环。这个闭环的核心逻辑是：每次策略更新，都要先在固定的挑战集和回放集上跑一遍，确认它不只是换了一种失败方式。上线门槛必须先于模型迭代，否则训练速度越快，回归风险越高。你可以把采集到的失败样本按类型分桶，每个桶对应一个待验证的问题；策略更新后，逐一回放这些桶，看哪些问题被解决、哪些新问题被引入。
最后，回到那份可执行的现场采集清单。你不需要一开始就建一个庞大的数据平台，但至少要做到：任务片段边界清晰、失败标签可解释、人工接管有记录、每个 episode 可回放。先把这个闭环跑通，再谈扩大数据规模。对正在筹备试点的团队来说，数据采集不是“多拍点视频”的问题，而是一条带约束的生产线——它的产出不是素材，而是能让机器人越跑越稳的训练资产。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
