编辑|杨文

过去两年,人形机器人赛道的竞争焦点,正从整机硬件进一步延伸到模型能力

整机厂商密集发布新品,翻跟头、跳舞、跑马拉松的视频轮番刷屏。但在喧嚣背后,行业也逐渐形成一个共识:决定人形机器人能力上限的,已经不只是关节与电机。能否理解环境、预测变化,并协调全身完成任务,正在成为其走向通用的关键。

世界模型、VLA 与人形机器人基础模型,也由此成为近两年这一领域最重要的技术方向之一。

热闹之下,三道难题始终摆在整个行业面前。

其一,人形机器人的真机演示数据采集成本高,采集时需要同步记录第一人称视频、本体感知数据与可执行的全身指令,受制于遥操作难度、安全风险、硬件可得性与环境多样性,很难在短时间内形成大规模、高质量的数据积累。

其二,现有不少世界动作模型沿用像素级视频预测路线,计算开销大,且大量容量被消耗在与控制关联很弱的画面细节上。人形机器人快速的自身运动和视角抖动又会进一步放大视觉预测噪声。

其三,许多现有方案仍将上肢操作与移动控制分开建模,上下半身协调性不足,难以支撑自然流畅的全身控制。

在这一背景下,具身智能公司智在无界发布了 Being-M0.7。这是全球首个面向人形机器人全身移动操作的隐式世界动作模型(Latent World-Action Model,简称 Latent WAM),也是业内首次将隐式世界模型能力从桌面灵巧操作扩展到全身移动操作的模型。

论文链接:https://file.tonglife.net/images/91/e35c5699b5382870310454ba671a2a.jpg

项目主页:https://file.tonglife.net/images/9c/91404ae1bb0e32145ca183b22cd575.jpg

它使用超 10000 小时以人为中心的混合模态数据进行预训练,再通过少量真机演示数据完成本体适配,并在真实人形机器人上完成了多项高难度的全身移动操作任务。

从 Being-H 到 Being-M,一条持续兑现的技术路线

Being-M0.7 背后,是智在无界坚持多年的一条技术路线。

这家公司是全球最早押注大规模人类视频训练路线的具身智能企业之一,同时布局通用灵巧操作与通用移动灵巧操作两条模型主线,也是国内首个推出原生具身隐式世界动作模型的团队。

其路线的核心判断在于,机器人真机演示数据昂贵、稀缺,很难像互联网文本和视频那样持续扩大规模。与之相比,人类每天都在用第一人称视角与物理世界交互,这些海量的人类行为数据蕴含着关于场景演化、物体动力学与身体协调的丰富先验。与其等待机器人数据慢慢积累,不如先让模型从人类经验中学习世界的运行方式,再将这些知识迁移到具体的机器人本体上。

今年 4 月发布的 Being-H0.7,验证了这一判断在灵巧操作侧的可行性。该模型将训练数据规模扩展到 20 万小时人类视频,在 6 项国际性评测中取得综合排名全球第一、其中 4 项登顶的成绩,并成为首个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律和上下文推理七大关键维度的通用具身世界模型。

Being-M0.7 则是这条隐式世界动作模型路线的最新成果。

如果说 Being-H 系列回答的是手如何操作世界,Being-M0.7 回答的则是整个身体如何在世界中协调地移动与作业。人形机器人的移动灵巧操作(loco-manipulation)要求模型同时决策去哪里、身体如何朝向、手脚如何配合、姿态如何保持稳定,这是一个在时间维度与身体维度上都高度耦合的问题,也是通用人形机器人绕不开的能力关口。

Being-M0.7 是一个隐式世界动作模型,先在第一人称视频和人体运动数据上进行预训练,采用 Mixture of Transformers(MoT)结构;随后通过动作专家后训练,在多样化全身操作任务的机器人轨迹数据上完成控制落地。

与许多依赖像素级视频生成的世界模型不同,Being-M0.7 在隐空间中预测未来环境状态,并将其与紧凑的全身运动表征耦合在一起。像素级预测计算昂贵,且大量算力会被消耗在与控制关系不大的外观细节上,第一人称视角下剧烈的自身运动与视角抖动还会让预测充满噪声。隐空间预测把建模能力集中在语义状态、物体布局与场景演化这些真正与控制相关的结构上,既保留了世界模型预判未来的本质,又大幅降低了计算开销。

物理理解,如何转化为全身行动?

模型是否真正具备全身移动操作能力,最终还要回到真实场景中检验。

智在无界围绕 Being-M0.7 公布了四个真机 Demo,覆盖了液体交互、镜像推理、长程任务与遮挡避障四类极具挑战性的场景。

这些任务共同检验一个问题:机器人能否根据对环境和未来变化的预测,持续生成与当前场景相匹配的全身动作。

鱼缸捞鱼

机器人走到水箱前,使用手持网具捞取水中的玩具鱼。液体没有固定形状,会流动,会对浸入其中的物体产生浮力与阻力,水面折射还会让水下目标的视觉位置发生偏移。机器人必须理解水、渔网与鱼之间的相互作用,在视觉信息被水体扭曲的情况下,协调手臂完成一次动态目标的工具化捕捞。这项任务考验的正是未来状态预测、工具使用与不确定物体动力学下的动作协调能力。

本文转自:凤凰网科技

原文地址: https://tech.ifeng.com/c/8ulziAchVnC