摘要: 机器人交付之后,能否继续提升对现场的适应能力?一次执行中的错误,能否成为下一次动作的经验?赛索德(Synthoid.ai)正在探索这一方向。
近日,赛索德VLA 研究团队在 arXiv 公开 SaiVLA-JEPA 研究论文,探索 ......
机器人交付之后,能否继续提升对现场的适应能力?一次执行中的错误,能否成为下一次动作的经验?赛索德(Synthoid.ai)正在探索这一方向。
近日,赛索德VLA 研究团队在 arXiv 公开 SaiVLA-JEPA 研究论文,探索 JEPA(联合嵌入预测架构)视觉表征引入机器人动作策略,并围绕执行反馈构建在线自适应机制:让机器人利用自身交互产生的信息,更新内部上下文(TCA) 或调整选定参数 (TPA),将运行经验转化为后续执行动作的依据。这项研究指向一种新的机器人能力:交付不是学习的终点,执行本身也可以成为适应的起点。

让每一次执行,都成为下一次进步的起点
工业现场的复杂性,往往藏在细微变化之中:零部件位置发生偏移,来料状态存在差异,某次动作未能达到预期。同样的任务目标,可能需要不同的执行调整。如果机器人无法利用刚刚发生的交互,重复执行就可能只是重复同样的偏差。
在线自学习要解决的,正是如何让这些已经付出的执行成本,转化为有价值的适应信息。SaiVLA-JEPA 将已执行动作与后续视觉观测联系起来,利用潜在表征中的预测误差形成更新信号,帮助模型调整后续动作生成所依据的信息。机器人不仅要“看见现在”,还要能够利用“刚才发生了什么”,决定接下来如何行动。这一过程不需要为每次在线更新额外提供专家动作标注,而是从机器人自身的交互中提取反馈。执行记录由此成为可用于适应的资源,为机器人在部署阶段利用现场经验打开新的空间。
在探索在线自学习之前,团队首先验证了JEPA 视觉表征对机器人操作能力的提升作用,研究设置了三组策略:不使用 JEPA 表征的 BaseFlow、使用当前 JEPA 表征的 CurrentJEPA,以及增加未来表征预测训练的 FutureJEPA。三组策略均训练 25,000 步,并在配对的初始状态和动作噪声条件下接受测试。在 LIBERO-Plus 仿真基准的 10,030 个配对评测案例中,引入当前 JEPA 视觉表征后,策略总体任务成功率从71.63% 提升至 82.45%,提高约10.8 个百分点。在这一基础上,团队进一步将研究推进至执行过程中的在线适应,探索如何让机器人利用自身交互反馈,调整后续行动。

TCA:让执行经验驱动机器人在线自学习
SaiVLA-JEPA-TCA 的核心,是在保持基础模型权重冻结的情况下,为机器人引入能够随交互更新的潜在上下文。这些上下文可以理解为机器人面向当前任务的“工作记忆”:一部分保留可能对后续尝试有用的信息,另一部分响应近期执行中的偏差。它们以模型内部数值表示的形式参与动作生成,使后续行动能够参考此前的执行反馈。在实验中,机器人首次尝试从零上下文开始。执行结束后,系统利用动作与观测记录更新上下文;如果任务失败,仿真环境恢复至同一初始状态,机器人携带保留的信息继续尝试,直至成功或达到尝试上限。再次尝试时,环境回到了起点,机器人却可以带着此前的执行信息重新出发。
这种机制让适应发生在上下文层面,无需为了每次调整重新训练整套基础模型。对于需要反复交互、逐步修正的机器人任务,它提供了一种利用执行经验的直接方式。
在完整重试实验中,采用固定衰减上下文复用、每个案例最多尝试五次的系统,累计成功率达到88.87%;该实验的单次无上下文基线成功率为81.00%,两者相差 790 个成功案例,约 7.9 个百分点。这展示了上下文更新与自动重试相结合的系统恢复表现,也让“从失败中积累信息,再用于后续行动”成为可以具体评测的机器人能力。

TPA:将在线适应推进到模型参数更新
除了更新上下文,SaiVLA-JEPA 还通过 TPA 探索更深入的适应方式:根据近期交互反馈,对选定模型参数进行局部调整。参数更新意味着模型本身发生变化,也对更新管理提出了更高要求。TPA 将候选更新、质量检查、接受与回退纳入统一流程:系统先利用执行反馈生成更新,再检查目标质量与动作变化,决定是否保留;每个测试回合开始前恢复原始参数。让模型能够调整,也让每次调整有边界、有检查、可回退。研究围绕视觉编码器LoRA、共享 DiT 块、视觉—动作适配器等不同模块开展比较,探索在线适应应发生在哪些位置,以及如何控制更新对动作行为的影响。
TCA 与 TPA 分别从上下文和模型参数两条路径切入,共同构成 SaiVLA-JEPA 对受控自主进化的探索:既研究机器人如何吸收执行反馈,也研究如何管理反馈带来的变化。

从“交付一套能力”,走向“交付能够适应的能力”
对于工业机器人而言,真正的应用价值最终体现在现场:面对变化能否及时调整,出现偏差能否有效恢复,新环境下需要多少重复调试。赛索德认为,在线自学习的长期价值,在于让机器人部署后产生的交互信息持续参与适应过程。机器人每一次执行、每一次偏差与每一次恢复,都有机会为后续行动提供新的依据。在精密装配、螺栓锁付、柔性上下料等场景中,这一方向有望减少部分重复数据采集、人工调参与重新训练需求,推动现场适应从高度依赖人工介入,逐步走向机器人自主调整与人工监督相结合。机器人产品的竞争力,也将从“交付时具备多少能力”,进一步延伸到“进入现场后具备多强的适应能力”。
SaiVLA-JEPA 是赛索德面向这一方向的研究实践。通过将视觉表征、交互反馈与受控更新连接起来,团队正在探索如何让具身智能模型不仅能够执行任务,也能够利用执行经验改善对当前任务的适应。
围绕SaiVLA、SaiWorldModel 等技术方向,赛索德将持续推进模型研究与工业工程验证,探索从感知理解、预测推演到执行反馈的能力闭环。让机器人从经验中调整,在受控中进步——这是赛索德迈向“越用越聪明”的具身智能所探索的方向。
论文英文题名:SaiVLA-JEPA: Evaluating Future Latent Prediction in JEPA-Conditioned VLA Control
论文页面:https://arxiv.org/abs/2610.38508
