这两天，Physical Intelligence（PI）纠合独创东说念主 Chelsea Finn 在� � 上，对斯坦福课题组一项最新天下模子责任 kuakua 连气儿点赞。

生成看起来可以的视频很容易，难的是构建一个实在对机器东说念主有用的通用模子——它需要紧密随从当作，还要豪侈准确以幸免通常幻觉。

这项商讨，恰是她在斯坦福率领的课题组与清华大学陈建宇团队纠合提议的可控生成天下模子 Ctrl-World。

这是一个能让机器东说念主在"念念象空间"中完成任务预演、计策评估与自我迭代的艰涩性有计议。

中枢数据高傲，该模子使用零真机数据，大幅普及计策在某些鄙人游任务的教导随从智力，得胜率从 38.7% 普及至 83.4%，平均矫正幅度达 44.7%。

其联系论文《CTRL-WORLD：A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION》已发布于 arXiv 平台。

注：Ctrl-World 专为通用机器东说念主计策的计策在环轨迹推演而想象。它生成纠合多视角瞻望（包括腕部视角），通过帧级要求适度杀青细粒度当作适度，并通过姿态要求顾虑检索看守连贯的永劫程动态。这些组件杀青了：（1）在念念象中进行精确的计策评估，并与竟然天下轨迹推演对王人（2）通过合成轨迹杀青针对性的计策矫正

商讨布景：机器东说念主查考的"竟然天下逆境"与天下模子的破局价值

现时，视觉 - 说话 - 当作（VLA）模子虽在多种操作任务与场景中展现出超卓性能，但在灵通天下场景中仍面对两大中枢费劲，这亦然团队研发 CTRL-WORLD 的中枢动因：

费劲一，计策评估老本高，竟然测试烧钱又低效。

考据机器东说念主计策性能需在不同场景、任务中反复试错。

以"抓取物体"任务为例，商讨者需准备大小、材质、体式各别的物体，搭配不同光照、桌面纹理的环境，让机器东说念主访佛成百上千次操作。

不仅如斯，测试中还可能出现机械臂碰撞（故障率约 5%-8%）、物体损坏（损耗老本单轮测试超千元）等问题，单计策评估周期常达数天。更关键的是，抽样测试无法隐藏扫数潜在场景，难以全面显现计策残障。

费劲二，计策迭代相通难，竟然场景数据长期不够用。

即便在含 95k 轨迹、564 个场景的 DROID 数据集上查考的主流模子 π ₀ . ₅，面对"抓取左上角物体""折叠带斑纹毛巾"等生疏教导或"手套、订书机"等未见过的物体时，得胜率仅 38.7%。

传统矫正样子依赖东说念主类大师标注新数据，但标注速率远赶不上场景更新速率——标注 100 条高质地折叠毛巾轨迹需资深工程师 20 小时，老本超万元，且无法隐藏扫数异形物体与教导变体。

灵通天下尚存在毒手问题，另一边，传统天下模子现在也还面对三大痛点——

为管束竟然天下依赖，学界曾尝试用天下模子（即虚构模拟器）让机器东说念主在念念象中查考。

但商讨团队在论文《CTRL-WORLD：A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION》中指出，现存天下模子大批纪律聚焦于被迫视频瞻望场景，无法与先进通用计策进行主动交互。

具体来说，存在三大关键局限，不容其撑持计策在环（policy-in-the-loop）推演：

单视角导致幻觉

大批模子仅模拟单一第三东说念主称视角，导致"部分可不雅测性问题"——举例机械臂抓取物体时，模子看不到腕部与物体的搏斗景象，可能出现"物体无物理搏斗却瞬移到夹爪中"的幻觉；

当作适度不精采

传统模子多依赖文本或开动图像要求，无法绑定高频、狭窄的当作信号，举例机械臂" Z 轴迁徙 6 厘米"与" Z 轴迁徙 4 厘米"的差异无法被准确响应，导致虚构预演与竟然当作脱节；

永劫一致性差

跟着瞻望时候延伸，微小差错会遏抑积累，导致"时序漂移"——论文实验高傲，传统模子在 10 秒预演后，物体位置与竟然物理规章的偏差，失去参考价值。

为此，清华大学陈建宇与斯坦福大学 Chelsea Finn 两大团队纠合提议 CTRL-WORLD，旨在构建一个"能精确模拟、可耐久踏实、与竟然对王人"的机器东说念主虚构查考空间，让机器东说念主通过"念念象"查考。

三大革命本事，让 CTRL-WORLD 艰涩传统天下模子局限

Ctrl-World 通过三项针对性想象，管束了传统天下模子的痛点，杀青"高保真、可适度、长连贯"的虚构预演。

论文强调，这三大革命共同将"被迫视频生成模子"滚动为"可与 VLA 计策闭环交互的模拟器"。

Ctrl-World 基于预查考视频扩散模子开动化，并通过以下样子适配为一个可控且时候一致的天下模子：

多视角输入与纠合瞻望

帧级当作要求适度

姿态要求顾虑检索

第一，多视角纠合瞻望：管束"视线盲区"，诽谤幻觉率

一般来说，以往模子靠单视图瞻望，存在部分不雅测问题与幻觉。

而Ctrl-World 不时第三东说念主称与腕部视图纠合瞻望，生成的改日轨迹精确且贴合竟然情况。

传统天下模子仅模拟单一第三方视角，本色是"信息不全"。

而 CTRL-WORLD 革命性地纠合生成第三方全局视角 + 腕部第一视角：

第三方视角提供环境全局信息（如物体在桌面的举座布局），腕部视角捕捉搏斗细节（如机械爪与毛巾的摩擦、与抽屉的碰撞位置）；

模子通过空间 Transformer 将多视角图像 token 拼接（单帧含 3 个 192 × 320 图像，编码为 24 × 40latent 特征），杀青跨视角空间关系对王人。

论文实验考据了这一想象的价值：

在波及机械臂与物体搏斗的精采操作任务中（如抓取微型物体），腕部视角可精确捕捉夹爪与物体的搏斗景象（如抓协力度、搏斗位置），显耀减少"无物理搏斗却完成抓取的幻觉"。

定量数据高傲，该想象使物体交互幻觉率诽谤；在多视角评估中，Ctrl-World 的峰值信噪比（PSNR）达 23.56，远超传统单视角模子 WPE（20.33）和 IRASim（21.36），结构相似性（SSIM）0.828 也显耀高于基线（WPE0.772、IRASim0.774），发挥虚构画面与竟然场景的高度契合。

第二，帧级当作适度：绑定当作与视觉因果，杀青厘米级精确操控

要让虚构预演"可控"，必须建造"当作 - 视觉"的强因果关系。

Ctrl-World 的管束有计议是"帧级当作绑定"：

将机器东说念主输出的当作序列（如关键速率）滚动为笛卡尔空间中的机械臂姿态参数；

通过帧级交叉珍主张模块，让每一帧的视觉瞻望都与对应的姿态参数严格对王人——就像"分镜剧本"对应每一幕剧情，确保"当作 A 势必导致视觉闭幕 B "。

注：上图展示的是 Ctrl-World 的可控性荒谬消融实验。不同的当作序列可以在 Ctrl-World 中以厘米级的精度产生不同的张开闭幕。移除顾虑会导致瞻望暧昧（蓝色），而移除帧级姿势要求会诽谤适度精度（紫色）。珍主张可视化（左侧）在瞻望 ( t=4 ) 秒帧时，对具有疏浚姿势的 ( t=0 ) 秒帧高傲出热烈的珍主张，确认了顾虑检索的灵验性。为了了了起见，每个当作块都用当然说话抒发（举例，" Z 轴 -6 厘米"）。由于空间扬弃，仅可视化了中间帧的腕部视角。

论文中给出了直不雅案例：

当机械臂施行不同的空间位移或姿态退换当作时（如沿特定轴的厘米级迁徙、夹爪开合），Ctrl-World 能生成与当作严格对应的预演轨迹，即使是狭窄的当作差异（如几厘米的位移变化），也能被准确差异和模拟。

定量 ablation 实验高傲，若移除"帧级当作要求"，模子的 PSNR 会从 23.56 降至 21.20，LPIPS（感知相似度，数值越低越好）从 0.091 升至 0.109，发挥该想象是精确适度的中枢。

第三，姿态要求顾虑检索：给永劫模拟"装踏实器"，20 秒永劫预演不漂移

永劫预演的"时序漂移"，本色是模子"健忘历史景象"。

Ctrl-World 引入"姿态要求顾虑检索机制"，通过两个关键智力管束：

荒芜顾虑采样：从历史轨迹中以固定步长（如 1-2 秒）采样 k 帧（论文中 k=7），幸免高下死不改过长导致的狡计包袱；

姿态锚定检索：将采样帧的机械臂姿态信息镶嵌视觉 token，在瞻望新帧时，模子会自动检索"与现时姿态相似的历史帧"，以历史景象校准现时瞻望，幸免漂移。

注：上图展示的是 Ctrl-World 的一致性。由于腕部录像头的视线在单一轨迹中会发生显耀变化，诈欺多视角信息和顾虑检索关于生成一致的腕部视角瞻望至关高大。绿色框中杰出高傲的瞻望是从其他录像头视角估量出来的，而红色框中的瞻望则是从顾虑中检索获取的。

论文实验高傲，该机制能让 Ctrl-World 踏实生成 20 秒以上的连贯轨迹，时序一致性办法 FVD（视频帧距离，数值越低越好）仅 97.4，远低于 WPE（156.4）和 IRASim（138.1）。

ablation 实考据明，若移除顾虑模块，模子的 FVD 会从 97.4 升至 105.5，PSNR 从 23.56 降至 23.06，考据了顾虑机制对永劫一致性的关键作用。

实验考据：从"虚构评估"到"计策普及"的全进程实效

团队在 DROID 机器东说念主平台（含 Panda 机械臂、1 个腕部相机 +2 个第三方相机）上开展三轮实验测试，从生成质地、评估准确性、计策优化三个维度全面考据 CTRL-WORLD 的性能：

生成质地：多办法碾压传统模子

在 10 秒长轨迹生成测试中（256 个随即裁剪，15 步 / 秒当作输入），CTRL-WORLD 在中枢办法上全面越过基线模子（WPE、IRASim）：

PSNR：23.56（WPE 为 20.33，IRASim 为 21.36），虚构画面与竟然场景的像素相似度普及 15%-16%；

SSIM：0.828（WPE 为 0.772，IRASim 为 0.774），物体体式、位置关系的结构一致性显耀增强；

LPIPS：0.091（WPE 为 0.131，IRASim 为 0.117），从东说念主类视觉感知看，虚构与竟然画面简直难以差异；

FVD：97.4（WPE 为 156.4，IRASim 为 138.1），时序连贯性普及 29%-38%。

更关键的是，面对查考中未见过的相机布局（如新增顶部视角），CTRL-WORLD 能零样本适配，生成连贯多视角轨迹，发挥其场景泛化智力。

计策评估：虚构打分与竟然阐发高度对王人

论文闭幕高傲：

虚构预演的"教导随从率"与竟然天下的相相关数达 0.87（拟合公式 y=0.87x-0.04）。

虚构"任务得胜率"与竟然天下的相相关数达 0.81（y=0.81x-0.11）。

这意味着，商讨者无需启动竟然机器东说念主，仅通过 Ctrl-World 的虚构预演，就能准确判断计策的竟然性能，将计策评估周期从"周级"镌汰至"小时级"。

计策优化：400 条虚构轨迹杀青 44.7% 性能飞跃

Ctrl-World 的终极价值在于用虚构数据矫正竟然计策。

团队以 π ₀ . ₅为基础计策，按以下智力进行优化（对应论文 Algorithm1）：

虚构探索：在 Ctrl-World 中，通过"教导重述"（如将"扬弃套进盒子"改为"提起布料放入盒子"）和"开动景象随即重置"，生成 400 条生疏任务的预演轨迹；

筛选高质地数据：由东说念主类标注员筛选出 25-50 条"得胜轨迹"（如准确折叠指定标的的毛巾、抓取异形物体）；

监督微调：用这些虚构得胜轨迹微调 π ₀ . ₅计策。

论文给出的细分任务矫正数据极具劝服力：

空间理奉命务：识别"左上角物体"、"右下角物体"等教导的得胜率，从平均 28.75% 升至 87.5%；

体式理奉命务：差异"大 / 小红块"、"大 / 小绿块"的得胜率，从 43.74% 升至 91.25%；

毛巾折叠（指定标的）：按"掌握折叠"、"右左折叠"等教导施行的得胜率，从 57.5% 升至 80%；

新物体任务：抓取"手套"、"订书机"等未见过物体的得胜率，从 25% 升至 75%。

抽象扫数生疏场景，π ₀ . ₅的任务得胜率从 38.7% 飙升至 83.4%，平均普及 44.7% ——更关键的是，通盘过程未破钞任何竟然物理资源，老本仅为传统大师数据纪律的 1/20。

商讨与改日：让"念念象"更靠拢竟然物理规章

尽管闭幕显耀，团队也坦言 CTRL-WORLD 仍有矫正空间：

最初，复杂物理场景适配不及。

在"液体倾倒""高速碰撞"等任务中，虚构模拟与竟然物理规章的偏差，主要因模子对重力、摩擦力的建模精度不及。

其次，开动不雅测明锐性高。

若第一帧画面暧昧（如光照过暗），后续推演差错会快速积累。

改日，团队筹算从两方面艰涩——

一方面将视频生成与强化学习不时，让机器东说念主在虚构天下自主探索最优计策；

另一方面扩大查考数据集（现时基于 DROID），加入"厨房油污环境"、"户外光照变化"等复杂场景数据，普及模子对极点环境的适配智力。

总的来说，此前机器东说念主学习依赖"竟然交互 - 数据汇聚 - 模子查考"的轮回，本色是用物理资源换性能；而 CTRL-WORLD 构建了"虚构预演 - 评估 - 优化 - 竟然部署"的新闭环，让机器东说念主能通过"念念象"高效迭代。

该闭幕的价值不仅限于实验室。

对工业场景而言，它可诽谤机械臂调试老本（单条坐褥线调试周期从 1 周缩至 1 天）。

对家庭作事机器东说念主而言，它能快速适配"操作异形水杯""整理不划定衣物"等个性化任务。

跟着视频扩散模子对物理规章建模的进一步精确，改日的 CTRL-WORLD 有望成为机器东说念主"通用查考平台"，鞭策东说念主形机器东说念主更快走向灵通天下。

论文地址：

https://arxiv.org/pdf/2510.10125

GitHub 运动：

https://github.com/Robert-gyj/Ctrl-World

一键三连「点赞」「转发」「防范心」

迎接在褒贬区留住你的念念法！

—  完  —

咱们正在招聘又名眼疾手快、激情 AI 的学术编订实习生  � �

感有趣的小伙伴迎接激情 � �  了解笃定

� � 点亮星标 � �

科技前沿进展逐日见云开体育