西湖大学成立世界模型研究中心
统计 阅读时间大约5分钟(1988字)

1天前 西湖大学成立世界模型研究中心

来源:西湖大学
推进物理智能研究与应用

10月31日,西湖世界模型研究中心在西湖大学云谷校区成立。来自高校、企业和投资机构的嘉宾参加活动,并在随后举行的“物理世界模型前沿论坛”中,围绕世界模型的科学研究、产业应用与投资前景展开交流。

中心是西湖大学面向物理智能领域设立的校级交叉科研平台,由于开丞担任主任、金耀初院士担任首席科学家,多位PI共同承担各方向研究任务。中心将聚焦世界模型与物理智能,研究智能系统如何理解物理规律、预测环境变化,并据此开展交互决策。

1.jpg

西湖世界模型研究中心揭牌仪式

在中心成立之前,相关研究已在西湖大学自主智能实验室AutoLab持续推进三年。团队提出了“概念世界模型”技术路线,并孵化出西湖数智Awomo,探索将研究成果用于自动驾驶、机器人及智能硬件等领域。

面向机器行动的概念世界模型

近年来,世界模型成为人工智能领域受到关注的研究方向。它的一项基本任务,是根据当前状态和动作,预测环境接下来会发生怎样的变化。

这类能力与机器在真实环境中的行动密切相关。例如,机器人抓取物体时,需要判断接触后物体的位置和状态会如何改变;自动驾驶系统处理复杂道路情况时,也需要预判周围环境的变化。

目前,世界模型有不同的实现路径。一类方法通过生成视频或场景,呈现可能发生的变化;西湖数智探索的“概念世界模型”,则着重在数学隐空间中建立物理概念的表征,用于推演状态变化和行动后果。

隐空间是模型编码和处理信息的表示空间。按照团队的介绍,概念世界模型将复杂场景中的空间关系、材质特性、接触状态等组织为可复用的概念,尝试通过概念之间的关联与组合,处理训练数据中没有完整出现过的新场景。

2.jpg

隐空间示意图 将复杂输入编码为表征并在其中进行预测

这条路线希望减少模型对完整场景样本的依赖,同时将计算集中在与任务相关的物理信息上,降低预测成本。

相关研究已形成Awomo-0.5等阶段性模型成果。根据西湖数智提供的评测结果,Awomo-0.5在Physics-IQ、RoboTwin-c2r、MolmoSpaces、RoboCasa和LIBERO-Plus等榜单中取得第一,在RoboDojo Sim中位列基座模型第一。其中,RoboTwin-c2r和MolmoSpaces两项成绩分别为80.6%和73.4%,各项统计日期以团队公布的评测图为准。

3.jpg

团队公布的Awomo-0.5评测成绩各项统计日期见图注

这些测试涉及物理理解、机器人操作及任务泛化等能力,为团队进一步推进模型研究提供了依据。

从自动驾驶研究中形成的新方向

于开丞对世界模型的探索,始于自动驾驶研究中的实际问题。

加入西湖大学之前,他先后在英特尔智慧系统实验室、Abacus.AI和阿里巴巴达摩院从事相关研究。在达摩院工作期间,他主要研究自动驾驶,并逐渐关注到长尾场景带来的挑战:真实道路上的情况复杂多变,训练数据难以充分覆盖,少见条件相互叠加后,还会形成更多新的场景组合。

2023年,于开丞加入西湖大学,组建自主智能实验室AutoLab,开始世界模型方向的研究。当时,团队首先尝试通过生成模型补充自动驾驶数据,制造恶劣天气、突发事故等难以在现实中充分采集的场景,为驾驶模型提供训练素材。

这条路径较快取得了进展。2024年,团队获得ECCV自动驾驶相关赛事冠军,并与车企开展技术部署合作。

随着研究和部署深入,团队开始思考另一种可能:如果模型已经能够生成复杂场景,其中学到的环境信息和变化规律,能否直接用于判断和行动?

这一思考推动了技术路线的调整。2024年底,AutoLab转向概念世界模型,尝试利用隐空间中的物理表征开展预测,让模型学习到的知识能够在不同场景中重新组合。

4.jpg

团队围绕模型研究开展讨论

于开丞用“背考题”比喻模型对既有样本的依赖。他希望探索的是,让模型通过学习物理规律,更有效地处理没有完整见过的情况。

研究进入2025年后,团队在早期实验中观察到,建立概念拆解与关联机制,有助于提升复杂任务的成功率。与所比较的模仿学习和强化学习基线相比,模型表现有所改善,同时保持了较低的预测成本。

这些初步结果,为后续孵化企业奠定了基础。2026年初,西湖数智正式成立,将物理世界基础模型作为研发和产品方向。

探索跨设备复用的模型能力

从实验室走向应用,西湖数智希望将概念世界模型建设为不同设备能够复用的物理智能基座。

据公司介绍,团队现阶段主要研发模型及智能中枢,面向第三方硬件提供模型能力授权与集成。自动驾驶、通用机器人、工业设备和智能硬件,都是其探索的应用方向。

不同设备具有各自的传感器、执行机构和任务条件。西湖数智希望,模型学习到的物理认知能够在这些设备之间迁移,再通过后训练和工程适配满足具体需求。

在于开丞的设想中,这种方式有望降低下游开发者的数据采集与训练成本。他提出,未来开发者可能仅需20至30小时的后训练,就能在通用物理基座上定制特定领域的模型。这仍是团队希望实现的目标。

对于小企业和开发者而言,共享基础模型也意味着可以将更多精力投入具体应用。在更长远的设想中,用户能够根据自身需求定制机器人或智能助手,拓展物理智能的使用方式。

据此前《浦江科技评论》对其的采访,西湖数智计划于2027年年中发布一个约10B规模的通用世界模型,并计划开放早期模型,吸引开发者参与。

目前,公司已完成累计超亿元种子轮、天使轮融资,投资方包括英诺基金、东方嘉富基金、正轩投资、天启资本、西湖创新投资基金、金蚂投资等。

此次成立的研究中心,将进一步汇聚多领域研究力量,推进世界模型基础理论、关键技术与应用探索。依托西湖大学的科研基础与交叉学科优势,中心将研究感知、认知、预测与行动相结合的智能体系,研发能够理解物理规律、预测行动后果,并在真实反馈中持续学习的通用世界模型。

推荐阅读
{{item.author_display_name}}
{{item.author_display_name}}
{{item.author_user_occu}}
{{item.author_user_sign}}
×
右键可直接复制图片
×