从一次滑移到可复用经验：大晓“双脑协同”如何让机器人少走弯路

　　11月6日消息，一次普通的取杯任务中，机器人找到水杯、规划接近方向，却在抬起时发生滑移；它调整接触位置，重新抓取并完成任务。对使用者而言，任务已经结束；但对持续学习的具身智能系统而言，真正值得追问的是：为什么滑？这次调整在什么条件下有效？换一只杯子、一副夹爪，甚至另一台机器人，这段经验还能否复用？

　　近日，陶大程教授发布了最新技术 Blog《一台机器人犯过的错，怎样让另一台少走弯路？》，其核心正在于此：机器人不能只留下日志和成功标签，而应把真实交互中的有效认识，连同证据、适用条件和不确定性一起提炼、保存，并在新任务中验证，让一次探索成为更多机器人的共同起点。

　　陶大程教授为大晓机器人首席科学家，同时亦为澳大利亚科学院院士、新加坡南洋理工大学杰出教授。

　　以下为对该技术博客内容进行的梳理：

　　从“完成任务”走向“积累能力”

　　单次滑移可能由多种原因造成：杯壁状态、液体载荷、夹爪接触位置、初始定位误差等。单次观察不足以区分原因，系统需要把预测、实际动作和反馈联系起来，通过补充观察、接触信息或有针对性的试探缩小不确定性；证据不足的判断应保留为待验证假设。

　　真正可迁移的经验，不是一句“这样抓能成功”，而是“在哪类物体和接触条件下、需要观察什么信号、出现什么结果时调整动作、哪些情况仍无法判断”。它可以表现为可调用技能、可检索经验记录，也可以进入策略或世界模型。系统还要识别哪些经历提供了新信息：重复已掌握动作，与一次揭示判断缺陷的交互，学习价值并不相同。复用的意义在于缩小探索范围、减少重复试错，同时保留对新条件的判断能力。

　　为什么需要“双脑”协同？

　　可靠行动要同时回答两个问题：下一步该做什么？在眼前物理条件下，这一步可能带来什么结果？前者涉及目标、计划与技能组织，后者涉及状态、接触与动作后果。

　　大晓的方案中，云端大脑 SenseNova 侧重理解任务、拆解目标、组织技能、选择方法，并在失败后复盘目标是否合理、技能是否恰当、哪些判断需重新确认；端侧开悟世界模型侧重物理状态理解、生成与预测，根据观测和交互历史判断物体位置、运动和接触状态，预测不同动作后果，并保留不确定性。这样的分工契合资源与时延差异：任务推理需要广泛知识、记忆和技能，云端利于共享更新；物理判断紧贴现场，端侧利于及时利用新观测与反馈。

　　双脑协同的关键，是通过明确接口交换目标、候选行动、预测结果和不确定性，让任务推理接受物理反馈，也让物理预测围绕任务需要展开。任务结束后，执行前判断、预测、实际动作和结果共同构成复盘依据；预测与现实的偏差帮助识别问题来自状态理解、物理条件变化、技能选择还是执行偏差，再决定进入经验记忆、技能调整或模型训练。

　　从模型协同到系统协同

　　模型判断要变成真实行动，还需要具身 Harness 组织感知、记忆、技能库、三维重建工具和控制器。它维护任务状态，明确模块间交换什么信息、何时调用、如何处理反馈，使 SenseNova 的任务计划、开悟的物理预测和控制器的执行对应到同一任务阶段。

　　一个可稳定调用的技能，不仅要包含动作，还要说明适用夹爪、输入参数、执行条件，以及什么观测代表完成、什么信号意味着滑移或接触异常。执行上，学习型策略生成动作参考，解析控制器完成位姿跟踪、接触调节和约束处理；较快反馈在控制环响应，影响任务推进的偏差则传回双脑重新判断。Harness 还要保留场景、本体配置、技能、预测、反馈和人工介入等可追溯依据，并让纠偏、复测和能力更新按不同节奏运行。

　　三个递进闭环

　　第一是自主执行闭环，让机器人更可靠完成当前任务。系统持续获得观测，更新状态判断、调整计划，必要时补充感知或调用恢复技能。该闭环可在模型参数不变时运行，改善当前决策与执行，可用任务完成率、偏差发现与恢复时间、人工介入量衡量。

　　第二是经验学习闭环，让一次交互改善后续能力。系统从执行记录中筛选值得学习的内容，分析其揭示的新条件和修正的旧判断，再以长期记忆、技能调整或策略/世界模型训练等方式保留。检验标准是收益能否延续到后续任务：是否减少重复错误，是否用更少示范和真机试验完成适配，是否在获得新技能时保持已有能力。

　　第三是递归自我改进闭环，让获得能力的方法也持续优化。哪些失败最值得调查、下一批数据采集什么、训练方法是否有效、同样真机时间如何带来更多能力收益，都需要研发智能体参与提出假设、设计实验、比较方案。世界模型和校准仿真可帮助比较，真实任务负责确认兑现。其验证需要更严格对照：流程是否更快获得可靠能力，是否减少人工、计算和设备时间，收益能否跨轮次出现。

　　真机与仿真：把真机时间用在关键问题

　　真实交互为物理理解提供依据，也暴露模型尚未理解的条件；仿真则扩展探索、比较方案，把有限真机时间用在最需要确认的问题上。三维重建提供几何信息，世界模型学习状态变化，物理仿真器提供可重复实验环境，但都需用真实记录校准。对暂时无法确定的物理属性，可保留与证据相容的参数范围，检验不同取值对任务结果的影响。

　　Real2Sim2Real 循环由此展开：真实交互提供证据，模型与仿真建立和修正物理认识；仿真扩展练习、比较候选方案并暴露待确认问题；筛选后的方案回到真实任务检验。评价世界模型或仿真，应看其能否区分候选方案优劣、预见关键接触失败、让仿真改进在真机兑现，以及减少达到同等能力所需的真实交互。验收还要保留独立真实任务与条件，并计算新增数据、人工、计算、设备占用和恢复时间等总成本。

　　走向具身智能的“Transformer时刻”

　　文章最终指向一个共同目标：让机器人在真实交互中获得的经验，成为更多任务和本体可复用的基础。Transformer 的启发在于共享基础架构承载多种能力并支持持续扩展；具身智能也期待形成广泛可复用的共同底座，使不同任务和本体共享经过验证的物理认识。但物理世界更复杂，共同底座既要连接可共享的物理关系，也要连接各自执行条件，帮助系统判断何时复用、何时重新观察学习。

　　世界模型被视为核心环节：物体如何运动、接触如何改变状态、动作可能产生什么后果，这些认识可为规划、控制、仿真和学习提供共同依据。关键检验包括：同一套核心机制能否在更广泛独立任务上持续获益；换新本体能否减少适配数据和工程投入；模型工具更新后，已验证技能和经验能否继续发挥作用；以及掌握相关新能力所需的真机时间、人工和计算成本是否随经验积累下降，同时保持已有能力可靠。

　　回到最初那只水杯：一次滑移可能暴露尚未理解的接触条件，一次调整可能提供值得检验的恢复方法。双脑协同希望建立的，正是任务推理与物理预测通过真实反馈相互校正、执行认识经过验证进入后续学习、学习与研发方法持续改进的路径。让一台机器人付出的探索，为更多机器人省下重复试错的代价——这是大晓双脑协同试图推动的进步。