Experience Memory(经验记忆)

Experience Memory 记录 Teach-and-Grow Learning 中的使用情境:任务、被选中的技能块、观测、结果、诊断与修复。正是它让后续决策能够复用行为周围的条件,而不只是行为本身。

为什么行为与上下文分开存放

完成一个回合与获得持久能力是两件不同的事。Skill Library 保存的是可被执行的东西;Experience Memory 保存的是它为何被选中、以及实际发生了什么。一次失败可能揭示出不合适的抓取方式、含糊的观测,或标定问题——这类解释能指导下一次选择,而不必把每个回合都变成新的可执行技能块。

它改变什么

记忆直接改变的是下一次决策,而不是下一个动作。当类似情形再次出现时,已记录的结果与诊断会影响检索到哪个技能块、准备哪种恢复。这就是一次尝试能够在其发生的回合之外继续产生作用的机制。

保持可检查

记录是可检索、可版本化、可由人编辑的。这很重要,因为长期运行的机器人会积累没有任何单次演示覆盖过的条件——异常接触、含糊的视野、更换之后表现不同的夹爪。把解释与结果一起保留下来,能让这些情形变得可处理,而不只是被反复遇到。

有边界的声明

记录了解释并不保证行为会变好。论文把记忆作为选择与恢复的输入,并报告了反馈如何改变决策的研究;它并不主张仅凭保留的上下文就能带来改进。

相关页面