连拿四个第一，力压Genie 4和Atlas！中国团队造出真物理世界模型

博客地址：

把真实房间写成代码

苹果13.5米/秒撞翻显示器

普通的3D重建模型拿到房间照片后，生成出来的桌椅和抽屉都是固定在原地的静态模型，人们只能在屋里转换视角看看风景。

Mundo的做法则是把屋里的每件家具都写成场景代码，给它们加上真实的重量、质心和摩擦力，让人和机器人能够推拉、移动或撞击屋里的物体。

比如在团队展示的办公室实测中，只需对着办公桌、转椅和抽屉柜随手拍下9张照片，整间屋子就能变成一个可以用代码操控的物理世界。

代码驱动抽屉滑开与苹果撞击显示器

写几行代码下达指令，屋里的办公设备就会按物理规律一步步动起来。

除了写代码控制，用户还能用鼠标拖走地上的蓝色垃圾桶，把办公椅向后拉开0.4米，或者往桌面上施加300牛顿的冲击力。

不仅如此，换到不同材质和重力条件下，底层的960Hz 物理引擎同样能给出精准的力学计算。

不同材质球体下落与保龄球碰撞力学仿真

让体积相同的橡胶球、篮球和保龄球从同一高度落下，谁弹得高、谁砸得重完全遵循真实的弹性和重量分布，左侧面板还会同步标出15.5千牛的落地冲击峰值。

而在保龄球馆场景里，保龄球以每秒4.6米的速度冲进瓶区，撞击瞬间产生55.6千牛的冲击力，十个球瓶随之飞散，速度、接触点和冲击力曲线与画面完全同步。

屋里每一次推拉和碰撞都有可追踪的状态、可计算的过程，这样的虚拟场景才能真正拿来训练机器人。

拍几张照片重建3D空间

Astra把三维框误差压到1.9像素

要把物理碰撞算得这么准，前提是先把真实房间的三维结构还原准确。

要是虚拟桌子的位置跟现实差了一截，机器人在仿真里练得再熟，到了真机上伸手还是会抓空。

在这方面，Mundo的采集门槛很低。

你只需拿手机拍下1到12张照片，它就能把不同视角的信息放进同一个三维空间，拍到的地方按原样保留真实布局，没拍到的死角也会顺着房间结构自动补齐。

1张、3张与9张参考图的场景还原对比

哪怕只给1张照片，它也能把整间屋子补全；照片增加到3张、9张以后，连桌上马克笔、水杯和文件夹的位置都分毫不差。

甚至只输入一幅梵高的《夜间咖啡馆》油画，它也能顺着画里的透视关系，搭出一条能走进去逛的3D街景。

单幅油画3D延伸与双层住宅跨房间漫游

面对双层住宅或整层酒店这种大尺度场景，输入几十张照片，它还能一口气生成好几分钟的跨房间漫游长镜头。

分块流式生成与动态参考图切换

要知道，普通视频模型生成长镜头时很容易越走越糊。为了保持画面稳定，Mundo每次分段生成124帧画面，并留着上一段末尾的34帧画面做衔接过渡。

随着镜头往前走，系统还会自动换上沿途最匹配的参考照片，从院子一路穿过客厅、厨房走到楼梯间，画面始终连贯清晰。

3D空间搭好以后，要想让物理引擎算准碰撞，屋里每件家具的位置和边界都必须标得非常准。

Mundo三阶段完整技术流水线

要是单靠传统的3D检测器去标物体框，经常会出现椅子腿悬在半空、柜子陷进墙里的偏差，一旦开启物理引擎就会引发异常碰撞。

为了解决这一难题，Mundo结合Astra打造了全新的空间理解能力。

Astra多视角循环校准3D边界框

Astra通过「修改代码、投影比对」的循环机制来校准物体位置。

它一边调整场景程序里的家具尺寸和朝向，一边把3D框投回各个角度的原图去比对轮廓边缘，最后还要交给独立的 Agent把所有视角复核一遍才算过关。

经过几轮迭代校准，酒店客房里3D框的边缘误差从72.3像素一路降到了1.9像素。

Boxer、与Mundo的3D框对比

放在同一间客房里跟ECCV 2026的Boxer、 2025的比一比，前两个模型框出来的床铺和柜子仍有明显偏移，Mundo生成的3D框则严丝合缝地贴住了床沿与墙角。

空间位置校准之后，三个核心模块便开始协同工作，把静态照片变成可交互的逼真画面。

一张桌面照片即可适配

还能开启4D子弹时间排查死角

真实房间的三维结构和物理属性都准备就绪后，下一步就是把机器人放进去练活了。

因为三维场景里已经标清了哪儿有家具挡路、哪儿能走人，路径规划器用A*算法瞬间就能给机器人算出绕开障碍的导航路线。

A*路径规划与双视角机器人导航

无论是人形机器人还是四足机器狗，顺着规划路线走的时候，系统都会同时生成背后的第三人称跟随视角和头部的第一视角，一路上经过哪些家具、转弯后看到什么都清清楚楚。

除了室内导航，这套流程在机械臂抓取训练上也省去了大量繁琐的建模工作。

在传统仿真器里训练机械臂，每换一台机器人或换一张桌子，工程师都得重新手动搭建一套三维资产。

而在Mundo里，只需拍一张摆着红苹果、白碗和书本的木桌照片，桌面仿真环境就能自动生成。

Panda、 Robot、 3、 R1 Pro和 G1五款长相和结构各不相同的机器人，都能站到这张木桌前，轮流练习抓苹果、拿易拉罐和搭积木。

单张桌面照驱动五款机器人练习抓取

在训练过程中，画面左侧展示全局外部视角，右上角同步显示手腕或头部的第一视角，右下角则实时跳动着关节角度、物体高度和速度曲线。

研究人员在屏幕上就能把机器人「看到的画面」和「关节怎么使劲」逐帧对应起来，在真机上场前把动作策略调到最优。

如果单一视角刚好被挡住看不清动作细节，还可以随时把时间定格，开启四维时空「子弹时间」换个角度仔细排查。

四维时空「子弹时间」环绕观察动作细节

22万点云还原整层酒店

机器人进房送包、拉开洗衣机门

这套能力并没有停留在实验室的桌面上，技术团队已经把Mundo带进真实的商业酒店完成了实测。

整层酒店22万点云重建与跨房间导航

在酒店现场拍完一圈多角度照片后，整层酒店的大堂、走廊、客房和洗衣房，就被还原成了由22万个三维点组成的数字楼层。

顺着规划好的路线，人形机器人从大堂出发，自己穿过长走廊走进客房，拎起手提袋稳稳放到床上。

酒店洗衣房重建与拉开洗衣机门交互

走进空间紧凑的酒店洗衣房，面对一排滚筒洗衣机，机器人穿过狭窄过道后，还能照着还原出来的洗衣机结构伸手拉开舱门，在真机进场干活前先把整套动作跑通。

在大晓机器人以（开悟）为核心的世界模型体系中，Mundo补上了具体环境建模与仿真训练这一环，把「现场拍照采集、合成训练数据、打磨控制策略」整条流程串了起来。

目前，这套技术体系已经走进商业场景，很快将在国内头部连锁酒店落地实际应用。

世界模型上半场比拼的是谁生成的画面更逼真，下半场比拼的则是谁能把真实的物理规律装进虚拟世界。

参考资料：