机器人中的工具调用(Tool Use in Robotics)

机器人中的工具调用指把感知、抓取、运动与控制暴露为推理 AI 智能体可选择并调用的能力。它是让模型无需自己输出控制信号就能对物理世界采取行动的机制。

为什么要工具而不是单一模型

机器人需要一些语言模型并不具备的能力:度量深度、无碰撞运动、接触,以及数十赫兹的控制。把每一项包装成工具,能让 AI 智能体的工作停留在它擅长的层面——决定应当发生什么——并把几何留在它该在的地方。

它也让系统可检查。工具有文档化的效果与版本;当一个行为停止工作时,「是哪个组件变了」这个问题有答案。

一个好的工具应当汇报什么

返回值比调用本身更重要。只报告「指令已发出」的工具,没给 AI 智能体任何可推理的东西。报告意图物理效果、以及该效果是否被观察到的工具,才给了 AI 智能体可以据以行动的内容——也给了整个系统一个检查因果关系、而不是假定它的地方。

这与 Skill Block 上的结果检验是同一个论证,只是从工具这一侧看。

工具与技能在哪里相遇

技能是机器人能做什么,工具是它怎么做。TGL 的 Skill Block 对二者关系有明确表述:一个块声明哪些执行器能实现它,以及什么证据算作成功。正是这一声明,让块可以在不同工具版本间移植,而不是绑定在某一种实现上。

TGL 的关系

AI 智能体选择子目标并调用工具;检测、分割、RGB-D 几何、Contact-GraspNet、MPLib 与控制器提供物理操作,Codex 负责把 AI 智能体与它们连接起来。TGL 增加的是每次调用周围的契约——声明的效果与检验——使「调用了工具」与「假定它成功了」不再是同一件事。

相关页面