robotics/bench PR #8
ROBOTICS EVALUATION / 001PR #8 · 评审中

让机器人能力,
有据可查。

一次抓取不等于任务完成。
从双臂协作到独立回放,逐步检验模型
能否把计划变成可靠的物理行动。

首个展示任务 / PhysicalRSI 双臂笔筒操作

ISAAC SIM 5.1HEAD CAMERA / 00
Isaac Sim 中的双臂机器人初始场景:桌上有四支笔和一个笔筒
一个固定场景,两只机械臂,四支笔。SIMULATION
01固定评测场景
08有效模型试验
00/08模型通过记录
02/02最新参考方案验证通过

结果快照 · 2026.11.12 模型试验与参考验证分批运行,版本见下方记录。

把四支笔放好,
只是开始。

机器人需要根据实时图像和自身状态决策。
抓住、插入、放稳、归位,整个序列都必须完成。

01

持住笔筒

一只机械臂抓住并稳定笔筒,为另一只手提供操作空间。

02

插入四支笔

另一只机械臂依次操作四支笔,笔夹端朝上,满足插入条件。

03

放回并归位

将笔筒直立放回桌面,再让两只机械臂返回初始姿态。

机器人
双 X5 机械臂
环境
Isaac Sim 5.1.0.0
观测与动作
实时 RGB · 状态反馈 · 固定 H0 技能
每次试验预算
90 分钟 / 1,100 次动作

同一次协作,
三个观察视角。

播放 PR #8 收录的历史参考轨迹。
切换头部与左右手腕摄像头,观察操作细节。

参考轨迹 · 805 次动作

历史演示 / v13-round01-layout0源自 GPT-6 Astra + VLA 的成功开发回合;三个视频均与 PR 中的 SHA-256 来源记录一致。

本录像用于展示任务与参考动作,
不计入下方 Kimi 模型试验成绩。

录像与当前验证是什么关系?

这段视频对应 PR 收录的 v13 历史参考轨迹。当前 RTX 4090 上通过验证的 Oracle 使用另一条 v12 参考轨迹,共 713 次动作,执行时不调用语言模型。历史录像、参考方案验证与新的模型试验,是三类不同证据。

每一次尝试,
都有明确的结果。

模型:Kimi k3.1 pro。
分别使用 Codex 和 Claude Code 两套执行工具,
每套进行 5 次试验。

CODEX HARNESSGPU 1
0 / 3 次有效试验通过

3 次任务未完成 · 2 次 API 限流未计分

CLAUDE CODE HARNESSGPU 2
0 / 5 次有效试验通过

5 次任务未完成 · 回放均一致

显示 10 次试验
Kimi k3.1 pro 在两套执行工具下的逐次试验结果
试验执行工具任务结果动作数回放一致性原始记录
i

怎样理解这些结果?8 次有效试验都用满了 1,100 次动作,原生任务得分为 0.0,且独立回放一致。两次接口限流属于执行错误,不算任务失败样本。这是一个固定场景的有限试验记录,不能外推为通用机器人能力排名。

模型试验版本 fbeaf4d后续修改包括运行配置与引擎元数据;PR 说明模型可见内容未改变。

动作执行了,
也要能复核。

任务完成与回放一致必须同时成立。
智能体自己写下“成功”,不会获得通过奖励。

01 / EXECUTE

实时执行

智能体读取图像和状态,通过公开动作接口控制仿真机器人。

02 / RECORD

记录实际动作

可信采集器保存实际执行过程,封存可供后续验证的记录。

03 / REPLAY

独立回放评分

在全新的隔离进程中重放轨迹,检查任务条件和物理状态一致性。

CONTROL CHECKS / 2026.11.10

参考方案通过,
无动作对照不通过。

当前参考验证版本 e8a1852
Oracle 执行预录的 v12 轨迹,不进行模型推理。

查看验证运行 ↗
对照GPU 1GPU 2
Oracle713 次动作 / 回放一致通过 · 1通过 · 1
Nop不执行策略未通过 · 0未通过 · 0

从结论,回到证据。

本页是 PR #8 的展示与结果快照。
完整项目仍在评审中,源记录以对应版本为准。