摘要:

“要真正实现世界模型,没有 3D 原生智能是不可能的,其他都是效果呈现手段。”

凤凰网科技《浪潮》出品

作者|赵子坤

编辑|董雨晴

小时候拼过模型的人都知道,一张精美的封绘和一套能用的套件,完全是两回事。

封绘上的角色英姿飒爽,但打开盒子如果发现零件没分件、水口乱飞、没有说明书,你只能对着一堆塑料发呆,虽然好看,但其实拼不起来,更别说让它动起来了。

过去几年的 AI 3D,就像是只有封绘、没有套件的模型盒。

当 Sora 让全世界第一次直观感受到视频生成的冲击力时,AI 3D 还只在专业圈层打转:生成的模型渲染图惊艳,但面数低、拓扑乱、不可编辑,拖进游戏引擎就原形毕露,离真正的工业生产还差着十万八千里。

但短短半年,事情起了变化。VAST,这家成立仅 3 年、在 AI 3D 赛道一路狂奔的创业公司,9月1日官宣完成约 30 亿元 B 轮和 B+ 轮融资,合计约30亿人民币,经纬创投领投,完美世界、蓝色光标、三七互娱等多家产业资本入局。

其旗下拥有 Tripo 系列 3D 大模型、Project Eden 世界模型、Tripo Studio 一站式 AI 3D 创作平台和 Tripo API 平台。凤凰网科技了解到,近半年内,在订阅和 API 双重驱动下,VAST 单月收入增长超 10 倍。

他们刚刚发布的 P2.0 模型,第一次让 AI 生成的 3D 资产实现了原生四边面拓扑,三角面面数最高可达 5 万、四边面最高可达 2.5 万,自带分件、支持局部编辑。可能是“第一次达到了接近人工的水准”。

换句话说,AI 3D 终于从“一张好看的封绘”,变成了“一套能拼、能改、能动的完整套件”。意味着其真正能进入游戏、影视、工业设计等领域的生产管线。从一次性抽卡到可迭代可编辑,从高模参考到直接可用的模型资产,一条从实验室到工业化的通路正在被打通。

不过,VAST 的野心远不止于此。

在联合创始人、首席科学家曹炎培博士看来,生成工业可用 3D 资产只是第一步。“降本增效背后隐含的是服务一个已有行业,而我们看到更大的机会是让普通人也能享受创作乐趣。”

他们的终极目标是从技术出发,建设“下一代交互的基础设施”,让没有美术背景、编程能力的普通人,都能像发朋友圈一样,轻松构建属于自己的 3D 交互世界。他甚至认为,年内就能实现分钟级可玩的交互内容。

曹炎培有计算机图形学背景,师从胡事民院士,是国内最早探索文本 / 图像生成 3D 的研究者之一,也经历过从实验室到创业被收购、再到大厂、又重新出发的完整周期。一个月前,他刚当选2025年度《麻省理工科技评论》TR35 中国区榜单,并带领团队登上 SIGGRAPH 2026 主舞台发表 Keynote 主题演讲。

在当前热闹的世界模型叙事里,他相信,3D 作为一种模态,终将发展出原生智能。

“要真正实现世界模型,没有 3D 原生智能是不可能的,其他都是效果呈现手段。”他认为,当下视频生成模型把所有帧塞进 context 的做法,在技术上注定撞墙;要实现真正无限时长的画面生成,背后必须有一个不随时间膨胀的 3D 状态基底。当前,短期路径是先用 3D 智能构建可控状态,再用视频模型呈现画面;长远目标,则是创造一个运行在 3D 模态上的智能模型。

以下是凤凰网科技《浪潮》栏目和曹炎培的对谈,经过不更改原意的删改:

谈技术进步:“别家都做不了的,从零到有的能力”

凤凰网科技: 这半年以来,VAST比较重要的技术进展是什么?能不能用通俗语言介绍一下?

曹炎培:如果选一个最重要的,就是最近发布的P2.0模型升级。从P1.0到P2.0,3D生成真正开始从“一次性生成、外观比较美观”进入到生产流程,并且能由专业人士持续迭代。

P2.0延续了年初P1.0的路线,背后是我们在SIGGRAPH 2026(ACM SIGGRAPH组织的计算机图形学领域年度顶级会议)发布的Nexus方法,专用于实时3D资产的生成。最核心的突破是可以原生生成四边面拓扑,面数也大幅提升,四边面支持从500到2.5万,三角面支持500到5万。这个范围已经能覆盖从手机游戏到主机游戏主要资产的需求。

四边面(Quad)为什么重要?简单说,它更易于编辑和动画。三角面(Tri)网格很难形成规整的“圈线”,做肢体动画时容易产生拉伸变形,也几乎没有人工修改空间,需人工重拓扑才能进生产管线。有了四边面之后,可编辑性、可动画性都有非常自然的提升。

另外两个重要特性:一是自带原生分件,生成一个玩具警车,车身、车门、车轮、后视镜、警灯天然就是分开的,不再需要事后手工选区;二是局部重试、编辑,以前生成模型是“一次抽卡”,90%满意但10%不满意也只能整体重抽,现在可以锁定满意区域,只对需要修改的部分微调。

凤凰网科技:大家试用的反馈里,惊喜于哪些能力,还有哪些需求希望你们进一步迭代?

曹炎培:从去年下半年开始,整个AI 3D行业的生成能力都有明显提升,社交媒体和专业创作者社区里已经能看到很多非常精细的模型。只是不够直接可用。比如,高模可以生成非常精细,但对游戏这种实时图形应用来讲,没法直接被使用,只是工业化管线中的第一步,高模雕刻的reference(参考)。

但艺术家们常常会问:你把布线打开给我看一下,是不是真的只有一层高模的皮,还是布线也达到了工业可用标准?

最近一两周,很多专业用户会发帖说:哇,模型现在已经能够生成这种级别的拓扑了,改变了以前对于AI 3D“中看不中用”的印象。

凤凰网科技:从“表面上像3D”到真正能进入生产管线,中间的鸿沟是什么?

曹炎培: 一个真实世界中的3D对象,和在图形或典型游戏工业中用到的3D资产,有比较大的形式差距。

一个典型的游戏资产,除了“几何”和“纹理”之外,还需要“网格拓扑”,在计算机里,几乎所有可用的三维模型都是被离散近似的,用表面上很少的点,加上点之间连起来的多边形,去近似那个表面。这样才能在现有算力下,做实时的动画渲染。

除此之外,为了方便艺术家或游戏引擎操控,所有的3D资产必有“部件”的概念,以及部件层级的概念。纹理要和几何联系起来,中间得有一个“展UV”的阶段——所有贴图信息其实都存在2D图片上,需要一个算法把2D图片转化到3D模型上,数学上叫参数化,图形学叫展UV。为了让模型动起来,还需要有“骨骼”或控制器的绑定,动画依赖在这些控制器之上。

所以,物理世界一个有机的3D对象,对应到计算机图形学里用到的3D资产,就有这样一些额外需求。这是3D相较于2D比较大的区别:一张2D图像从现实世界到计算机里的gap很小,但3D对象和计算机图形学对象之间的映射关系比较复杂。

搞清楚这个问题之后,自然就能回答:一个长得像3D的东西,和一个游戏引擎或计算机图形学管线能用到的对象之间,差距是什么?

一个能进游戏引擎的资产,要具备几何、纹理、UV、布线、部件、绑定,以及可能有交互式动画槽的一整套属性。大家之前看到的3D生成模型只完成了前面几何和纹理的部分,我们现在做的,就是让整个拼图更完整。

凤凰网科技:这些是别家都做不了的吗?

曹炎培:原生四边面能力,尤其是可以上升到两三万四边面,以及局部编辑能力,附带精细度、效果、还原度、效率,这些都是此时行业内独一份的能力。正因如此,大家才会第一次觉得AI 3D生成模型已经接近人工水准,达到了工业可用的标准。一定是一个从无到有的、世界上第一次出现的模型,才会让艺术家们如此惊喜。

凤凰网科技:拉开和同行差距的关键点在哪?

曹炎培:几个方面。第一是数据,我们有大几千万的原始高质量3D资产素材和一套完整自动的打标清洗流程——这部分数据的功底是所有3D生成模型的基础,我们在数量和质量上都是最高的。

第二是技术路线。所有直观的3D对象信号怎么放进引擎,是很有门槛的事情,训练神经网络也是一样,需要找到合适的表征,把3D对象变成能高效训练的token,叫3D表征。另一面是神经架构,每一类三维表征都需要自己适合的生成架构和更底层的生成算法。

这两部分是基于我们过去两三年很多的研究工作。P2.0的起点就是我们SIGGRAPH 2026的研究工作Nexus——它是第一批可以实现原生3D网格生成的方法。

以前要生成网格,大家可能选自回归路线,仿照语言模型的路径把多边形网格变成1D token按顺序输出。但我们经过实验发现,自回归路线存在误差积累和效率问题。所以我们比较有魄力地在一个时间点摒弃了当时看上去主流的方案,从表征层面重新构建,训练自己的生成模型。

这也是为什么P1.0、P2.0能够脱颖而出,把网格生成实现为一个工业可用的先决条件。研究方面的know how和积累也是一个蛮高门槛。

第三是AI infra。在很好的AI infra基础上,能很快把研究成果转化为产品级模型,再以产品功能的形式提供给用户,快速回收反馈,再进一步迭代和改进。

谈未来愿景:“我们的目标就是大家的脑子里没有门槛这个词”

凤凰网科技:你多次提到不想只做“降本增效”的环节,更想成为下一代互动基础设施,这个愿景从创始之初就有吗?

曹炎培:降本增效背后隐含的是服务一个已有行业,但我们看到的机会是,生成式AI能真正把3D可交互内容的创作门槛进一步降低,让以前不知道“三维模型是什么”的小白用户也能进入这个行业。在降低门槛的同时,生成出来的资产也是工业可用的。

某种程度上,这可以看成两个垂直的轴,我们所有技术发展都是同时为这两个目标做优化。

凤凰网科技:你们年初提到今年有望推出自己的UGC 3D平台,进展怎么样?

曹炎培:现在已经有内测版本了。它背后依赖Tripo已有的工业能力,加上Coding Agent快速发展,构建交互逻辑的门槛也进一步降低。资产生成的成熟度和门槛降低的同时,游戏机制实现的门槛,也以前所未有的速度被拉低了。

两者加持之下,我们在内测版本上已经观察到蛮多有意思的用户案例,用一句话就能生成一个可玩的交互体验,不需要任何程序或美术功底。

正式发布时间线还没那么明确,还想进一步打磨工具的易用性、生成时长成本,以及内容分发方式,让生产和消费有一个更合理的经济模式后再正式推出。

从平台属性来讲,它更像短视频平台——有生产者又有消费者,一部分高精尖创作者生产高品质内容,分发给更多消费者体验。生产内容形式,可能更像一些比如Roblox这样的平台,但门槛比它低非常多。

Roblox点开后依然是一个非常复杂的Roblox Studio,95%的人下载之后不知道下一步该干什么。但我们生产出来的是类似的轻量3D内容,不再需要依赖一套桌面端非常复杂的软件套件,能够把用户意图更直接地转化为交互体验,过程中也允许多轮修改。

凤凰网科技:你们预想中,未来发布一个3D互动作品的门槛的低到什么程度?

曹炎培:我们的目标是,大家的脑子里应该没有“门槛”这个词了。就像发微博、发朋友圈,会考虑有什么技术门槛或创意门槛吗?

凤凰网科技:所以在上面创作、发布一条龙都可以实现,听上去像3D版的短视频社交平台,那这个平台未来的商业逻辑也类似吗?

曹炎培:平台属性确实更像短视频。大家无论用手机还是更专业的设备拍视频素材,可以在抖音上剪辑、加特效、发布。如果不考虑模态和内容形式,确实像。

但商业逻辑现在都还是完全open的,可能是订阅、分成等任何一种形式。技术角度,年内大家就能做出分钟级可玩的交互3D内容。但平台长什么样子依然是非常早期的讨论,技术的发展与平台的形式是两条独立的线。

谈落地领域与竞争:“不是simulation(仿真)资产没用,而是之前没有”

凤凰网科技:AI 3D目前最大工业级应用领域是游戏,我们了解到,游戏大厂内部对世界模型能否改变原有游戏流程也挺焦虑的。你们的合作方也有网易、腾讯等,你们观察大型游戏公司对AI 3D态度是怎样的?

曹炎培:模型能力在快速爬坡,资产的可用性和能触及的应用场景也在非常快速扩展。比如去年底,大家更多用精细高模作为高品质游戏在高模建模阶段的美术参考。P1.0发布后,大家开始尝试把生成的低模资产直接应用到游戏demo中。技术渗透需要过程,P1.0是3月份正式发布,真正蔓延到整个行业还需要几个月。

到七八月份,有世界上日活最高的游戏之一的主美跟我们讲,内部用了P1.0很久了,也提了很多反馈,问什么时候能做四边面、什么时候支持更高面数。不到一个月后P2.0发布,再回头找他们,态度又在动态变化。现在有了直接生成四边面的能力,他们也许会更激进地在一些主角级、需要高品质动画的模型上也尝试融入3D生成。

我们每做出一点研发成果,都让生成资产更加工业可用,用户和开发者每天都会发现有一些新的场景可以在下游试用。

凤凰网科技: P1.0发布时就有人说建模师要失业了,类似执行能力转移后,从业者自己需要哪些新要求?

曹炎培:现在更需要发挥艺术家的taste,发挥他们真正有别于不懂美术、没有审美的人的优势。基础的几何造型能力有了后,每个人工作都更接近艺术指导。我们是想把大家从每天调整几个顶点位置的事情中解放出来,去发挥人具有的更大价值。

凤凰网科技:有游戏引擎公司公开说,AI 3D模型或世界模型生成更多是资产方向,但游戏是复杂系统工程,认为AI 3D和游戏引擎更像上下游,你怎么看这种论调?

曹炎培:对现状的判断是准确的,现在的成熟品质游戏确实没办法被AI 100%覆盖,但不妨碍我们相信和追求这个目标。

我们也不会把它限定为游戏这个狭义概念。类比短视频和20年前的电视节目,完全是两种内容形态和生产方式。未来三五年后,大家玩的3D交互体验,可能也完全是现在没见过的形式——就像20年前谁能想到今天大家刷短视频。

一个悲观的技术论调也许是,再过三五年也没办法一句话生成一个能玩三五个小时的成熟游戏,但一定会有一种新的、更轻量的3D交互式内容体验出现。

凤凰网科技:现在大家都说可以接入生产管线,提效百分比有稳定计算吗?以什么标准证明未来彻底离不开AI 3D,而不只是辅助工具?

曹炎培:其实现在大家追求的,不是去抠提效60%还是90%(这个)数字,而是更广泛地看到底能帮助完成什么任务,从这个层面评估,AI 3D进化到哪个阶段、还有哪些gap。这些判断直接影响我们技术研发的方向,没到追求提效数字的阶段。

第二,不同工作室有不同的工作管线,把AI 3D能力用在不同的管线中,提效比例因使用方式不同有很大区别。

第三,更激进说,我们希望AI 3D生成能力在降低普通人获得3D模型门槛的同时,也能够革新现有成熟游戏工业管线制作游戏的流程。这可能会超脱“提效百分之多少”这样相对传统的指标。而是,我有没有办法基于以前无法想象的自动化能力,构建出新的制作游戏的方式。

如果去和游戏工业的策划聊,大家脑子里其实有很多想法,但以前由于技术所限根本没办法执行。比如一个自由度非常高的想法,盘算下来背后需要5万个3D资产,成本有公式可以算出来,一下就超过了项目预算。但现在能够免费海量地获得3D模型之后,这些门槛不复存在,会让专业的游戏开发者和策划设计出新的形式。

以《蛋仔派对》为例,即使是这样一些看上去蛮直观的UGC互动能力,如果没有AI 3D生成能力,都是没有办法实现的。因为不可能由背后一个美术团队每时每刻服务每一个用户——用户想获得一个猫猫头的大棒,就有一个美术快速建模出来提供给他。这些非常小的物件,背后都需要坚实的、生产可用的AI 3D能力作为基础。

凤凰网科技:这部分收入会是现阶段商业化比较大的板块吗?

曹炎培:游戏毫无疑问占了蛮高的比重。除了游戏,3D打印、甚至一些工业设计领域也都在不同层面贡献。大家使用AI 3D能力的方式很不一样。游戏里的3D模型标准是什么样,我们聊了很多;3D打印或工业应用,或者机器人仿真资产,又会提出各种新的要求。我们希望用尽可能统一的一套技术底座服务所有行业。

凤凰网科技:像3D打印领域,你们和拓竹等头部合作挺深入。但腾讯混元也在和拓竹合作,对厂商来说合作好像更开放、没有排他性。这个领域竞争到了需要抢客户的阶段吗?

曹炎培:竞争很正常。头部3D打印厂家同时接入或测试几家,都是正常的商业行为。典型情况是,一个集中的接入商可能分门别类在不同场合测试各家模型。比如我们的模型整体泛用性比较好,可能作为default(默认)模型提供,但在头像生成或图标生成等垂类,有些API供应商做了专门优化,效果更优。所以厂家同时接入不同模型,提供差异化服务,也很正常。

这依然是一个比较早期的阶段,市场空间还很大,不是说大家在一个固定盘子里抢具体占比。至少从我们视角,还是希望通过生成更高精度、还原度更高的模型,打开更大市场空间。

比如去年能生成一些简单手办,但手办也分很多种——卡通手办是一种,还有非常精细的雕塑级变形金刚、游戏动漫手办、影视级手办,对于高模生成能力的要求远不是今天技术能完美满足的,这部分更大的市场给技术迭代留了很大空间。

凤凰网科技:具身智能厂商跟你们合作的需求中,有哪些未来可以共同探索的方向?

曹炎培:最直接的肯定是资产生成,但资产分不同层面。单个物体比较直接——在现有模拟器里提供带有物理属性或具身属性的3D资产,具身操作模型能在pre-training(预训练)或post-training(后训练)阶段用上。

还有一些典型的,是走real-to-sim-to-real(真实-仿真-真实)路径的厂商,对海量整个模拟环境有需求;二是在sim-to-real(仿真到真实世界)阶段,比如要在某个场景部署时,需要非常快速的一次性构建一个和最终部署环境基本一比一复刻的sim-ready(可仿真的)环境。比如一个通用的生产线操作模型,当要布置到某个具体生产线时,因为成本和保密原因,你可能没办法提前获取具体生产环境数据,也很难人工建模一套。但如果有一个快速的sim-to-real的sim-ready环境构建能力,可以在one shot 3D(一次性3D生成)的环境里完成。

和很多做embodied AI(具身人工智能)的朋友聊起来,大家觉得具身数据首先是一个非常大的挑战。大家为什么那么相信实采数据?因为觉得视频scalable(可规模化扩展的)——可以方便地带着各种头戴设备或手持设备去采视频数据。但这些依然要靠人工去采,scalability (规模化能力)可能是世界上多少人乘以每天多少小时。

大家之前不太相信simulation(仿真) 的一个重要原因,是获得sim-ready (可用于仿真)的资产成本非常高。当这个门槛不再存在,可以像自来水一样获得无穷无尽又多样化的sim (仿真)数据之后,大家对具身模型预训练的数据方案可能会有新的认识。

所以说,不是simulation(仿真)资产没用,而是之前没有。现在有了之后,也许大家可以完全从头考虑一下仿真数据方案在具身智能里的作用。

凤凰网科技:之前跟一些具身行业的人聊,大家确实觉得仿真环境不知道是不是可行方向,你认为这种对路线的质疑本质上是受制于技术?

曹炎培:肯定一定程度上受制于现有仿真环境的多样性和获取成本。当你告诉一个做具身大脑的团队,我现在可以无穷无尽或一次性提供50万个环境,哪怕先把它转化成视频,也可以转化成500万个小时的视频,那大家大概率会重新思考这个问题。

凤凰网科技:这半年以来,具身或工业、实体制造产业是你们比较增量的客户吗?

曹炎培:过去半年还不是,实话实说。但可能会是接下来的重要目标场景之一。

谈世界模型:“要真正实现世界模型,没有3D原生智能是不可能的”

凤凰网科技: 现在世界模型概念很热,但大家讲的似乎又不是同一个东西。有些做AI 3D的同行觉得不应该凑这个热闹,但你们态度一直很积极?

曹炎培:我们不是从竞争出发,而是打心底里相信智能的实现需要原生3D能力。管它叫空间智能也好、世界模型也好。在我们的观念里,要从现有的只能生成,到开始能够理解,在3D模态里做原生预测,再到构建自演化的智能体,或让智能体在物理世界完成真正任务,都离不开3D智能,需要一步一步拓展AI 3D的范畴和3D原生智能的能力。

凤凰网科技:你们世界模型具体进展到哪一步了?如果还只到L0阶段,感觉非常早期。

曹炎培:分短中长期不同的技术目标。短期,比如Project Eden核心是想解决:最终哪怕只要一个可以交互的画面,也需要更好的方法实现真正可控的交互和高效生成。

我们会用基于3D的智能和3D的模态在底层构建一套可以稳定控制和交互的状态基底,再用最近发展很快的视频模型能力,在这个基底上呈现最终画面,可能还是面向可交互体验内容的技术栈,而不是一下子就要迈到L3、L4。

我们思考的是,想要实现真正无限时长的画面生成,背后没有一个不随时间膨胀的状态存在是不可能的。对比现在的经典视频生成或流式视频生成,生成多长,就有多长的历史状态,而要想要不做任何遗忘,就要永远把所有生成的帧放在context或记忆里,这在技术上,显而易见以现在的水平是不可能实现的。所以我们最开始先有3D world state,就是为了解决持续性、多人交互、确定性控制……这些是纯视频模型解决不了的技术难题。

凤凰网科技:感觉现在做世界模型的选手,选择的攻克方向和点不是同一套逻辑?

曹炎培:我们做世界模型的方式,可能更“本源”一些。世界模型原本目标,是希望有一个模型能预测世界上未来发生什么,在一个可以变化的世界里,智能体可以对应地和世界交互。但慢慢地,大家把世界模型等效成一些具体的技术实现方式,比如流式视频生成、action conditioned video generation model(动作条件视频生成模型)、场景生成。

我们对于世界模型的思考还是:既然最终要解决怎么建模世界、怎么预测世界,那我们就直接去解决那个问题,其他的都是效果呈现手段。

这又回到前面对于3D智能不同阶段的定义。真的要实现世界模型,没有3D原生智能是不可能的——没有办法仅通过代码或仅通过画面,就能完美地对世界建模,从而在里面预测。

这是长远目标。此时此刻大家还是要用手头工具,发展最快的coding agent结合3D原生生成能力,可以非常快建立一些programmable(可编程的)3D world。

Programmable的特性天然带有可预测性,有一套可以自我验证和自我修复的机制,是现在比较直接地实现类似世界建模能力的方式——但这样构建出来的,可能只有底层3D描述和由代码表示的世界状态变化,具体画面可能依旧需要视频模型来呈现。我们现在短期内采用这样一个分层方式来阶段性地做,但最终目标是真的想实现一个建模世界、预测世界的智能模型。

凤凰网科技:在这种竞争态势下,AI 3D赛道的最终壁垒是什么,决定性胜出优势是什么?

曹炎培:两方面。一方面在任何行业里,最终都是为了把用户意图转成能完成任务的资产。即使跳脱游戏行业,每一步都需要做得很精细,最终比拼的还是谁的模型方案能最高效、最低成本、最稳定地完成。模型能力是第一要素,第二是对行业的理解。

另一方面,AI 3D最终形态是什么样,现在还是完全开放的问题。不应该把从一张图或一段文字生成一个3D资产定义成AI 3D本身。

三维作为模态,本来就是天然的模态。现在主流智能模型基本建立在语言之上,很多做世界模型的研究希望视频模态具有自己的智能。AI 3D如果放在智能实现的框架里看,可能才刚刚起步。

大家刚完成L0,能够生成。往上走,理解3D、规划3D、预测3D,是不是有一个终极智能模型运行在3D为主的模态而不是语言模态?这些答案都完全open。

大家不应该把终局限定在L0生成阶段,而是更有信心地认为3D完全有机会发展出自己的智能,解决很多语言模型里难以实现的智能,比如空间智能、世界模型。

谈创作与未来:“创造游戏的过程本身,就是一种体验”

凤凰网科技:你们怎么考虑ROI?现在有的产品C端口碑好,但背后算力成本压力很大,你们这个账能不能算得过来?

曹炎培:这也是为什么此时此刻3D生成和图像视频领域最大的区别——至少对我们来说,以生成模型能力提供服务的方式,毛利是非常高的,推理成本非常低,甚至可以认为忽略不计。

和Seedance这种巨无霸视频模型或闭源语言模型相比,完全反过来。这是以前大家对于3D生成行业的一个误解。

因为我们在infra层面做了非常多优化,同时构建每一代模型时把成本作为重要考量。生成一个P系列模型,随着面数不同,最快5秒钟,就算用世界上最贵的算力折算,那部分算力消耗和它作为资产带来的价值相比,真的是忽略不计的。

凤凰网科技:这个挺反直觉,是因为3D资产比较值钱吗?

曹炎培:它可以复用。这是3D资产和图像视频最大的区别:图像视频生成出来就是final output,大家要看的就是那个帧;但3D资产只是整个工作流的开始。

比如用它做游戏,获得一个可以动的角色,那只是大家玩这个游戏几十上百小时的开始,可能一直是复用这一个游戏资产在运行。不像视频生成完就是分发。另外,即使不考虑B端、不考虑现有游戏制作成本或采买3D资产成本,我们的3D模型生成效率就是非常高,成本事实上也非常低。

凤凰网科技:新一轮融资的钱主要投入方向是哪些,未来精力会更多放在哪些板块?

曹炎培:技术角度分不同目标:首先L0的3D生成能力,依然需要高频迭代,持续更新模型把最新技术成果带给用户。更长远目标,把世界模型从一个research preview变成真正能交到用户手里有交互体验的产品形式,需要非常重的研发投入。更长远的从L0走到L3、L4,给3D模态带来更多智能,势必需要花费更多算力和数据,背后都是实打实的资金投入。

研发团队三个方向齐头并进。我个人精力现在更偏向后两者:世界模型怎么实现,以及更长期的怎么给3D模态带来智能。

凤凰网科技:你们这轮融资后人才引进或缺口还大吗,会更想要什么样的人才?

曹炎培:现在大家能切身体验到AI或agent给工作带来了实打实的变化,不管做研究、产研还是战略。大家对于能力和擅长点的评价也不再是静态的。AI在有些层面确实超越了单个个体的知识范畴或能力范畴。我们肯定希望尽可能多引入AI native的人才——就是真的懂怎么和AI agent协作,能够跟AI协作释放甚至十倍于自己原本能力的人才。

现阶段大家学习新知识的速度前所未有地快,在agent加持和算力充足的情况下,实现很多idea(想法)也前所未有地容易。归根到底,还是大家说的比较玄的taste(品味)。

落到研究上,就是真真正正知道什么是值得研究的、什么是对的方向,出了问题能判断到底是方向问题还是实现问题。现在对于不同方向的尝试已经不再是一个一个来,人可以同时尝试十件事。但能想到目标是什么、值得研究的问题是什么样的人,这才是我们现在最希望引入的人才。背景反倒不再那么关键,当然整体上还是希望对3D有热情。

凤凰网科技:当下AI在顶尖研究领域拉平了人的差距,还是把天才和普通人的差距进一步放大?

曹炎培:如果以研究能力为纵轴、人群个体为横轴,现在整体分布被抬高是毫无疑问的,整个研究界的生产效率一定提升了。

但最顶尖那部分可能有10倍提升,普通研究者入门门槛也低了很多,average(平均)部分可能差两三倍。整体做事生产力肯定更高了,但差距……实话实说可能被拉大了。有的人可以实现十倍于自己之前的生产力,有的人就两倍,但他们俩原本可能只有1倍差距,这个差距被AI进一步放大了。大面上还是很利好,毕竟对每个个体来说自己的能力都被放大了。

凤凰网科技:你经历过从实验室到创业再到大厂再出来,过去经验积累中对你影响最大的know-how是什么?

曹炎培:我越来越坚定的是,真的需要用正确的方式来降低构建3D的门槛。

我小时候学了很长时间美术,雕塑也试过,但实在不是自己擅长的。上了本科接触到计算机图形学,才发现自己擅长的数理部分和真正的兴趣的交织点在这里。

计算机图形学在几十年前就已经提供了技术手段,让物理世界创作3D艺术不那么擅长的人有了新的发挥空间。但那时候,整个计算机图形学研究的重点还是怎么在专业软件里做更好的功能,最后基本都落实在像Adobe、Autodesk的一整套软件套件里。

做到后面我发现,存在比较显然的问题:它可能让更专业的人更快了,但并没有让更多像我一样动手能力一般的人进入这个行业。

刚毕业时,我尝试用3D重建降低门槛,但得到的3D资产形式和主流工业管线之间依然有比较难弥补的问题。期间主流技术范式迭代了很多次,我使用不同方式尝试去低成本构建3D内容的目标,都不是特别成功。

最后发现,这一波生成模型的范式是最有可能实现这个目标的——因为生成模型就是在用人类历史上积累下来的美术经验和工业数据直接做训练,这是实现最初目标最直接的方式。你需要什么形式的output,就应该在这种data上直接做训练和生成。之前其他方式多多少少都在绕远路。很难讲有什么新know-how,更多是随着一波波技术更迭,让我有了更好的工具实现最初目标。

凤凰网科技:那三年前你从腾讯AI Lab 出来,会不会比较兴奋,终于看到了一个可实践最初降低门槛梦想的路径出现?

曹炎培:能感觉到这类技术和以前的技术方案不一样,入口变得非常简单。像LLM或最早的Stable Diffusion,都是一个对话框起手,最终output就出来了,不管是一段文章、代码还是图片。在此之前,所有想要生成这些媒体,一定都要经过很长的人工交互过程。

既然看到新时代生成模型有这样的潜力,就隐隐约约能感觉到它在3D上一定能实现,又由于生成模型天然有低门槛特性,就觉得应该尽早把它交到用户手里,更应该作为一个创业公司来在产品和技术方面一起迭代。

凤凰网科技:从外界视角看,大厂自己就有游戏场景。比如你之前所在的实验室已经并到IEG了,按理说可以有很好的协同能力。但现在腾讯也在跟外部公司合作,是不是说明这个领域还在英雄不问出处的阶段?

曹炎培:大家还是看效果。游戏工作室都蛮独立的,大家肯定以哪家最好、最便宜、服务最好、质量最好来选择最终使用的AI工具。

凤凰网科技:不一定要用内部的。

曹炎培:是的。

凤凰网科技:你从博士期间做3D到现在做数字资产,对3D模态的理解发生了什么变化?3D领域创业风潮有什么大变化?

曹炎培:可以说是阶段性收敛吧,但如果放在更大的视角上看,现在如果认为它只是L0,那肯定还远没有到收敛的时候。

凤凰网科技:你们作为商业公司,怎么平衡技术前沿探索和当下商业化需求?

曹炎培:我们和LLM大厂是倒置的:做订阅化产品并不亏钱,而是毛利很高、推理成本很低。

即使我们一直朝着最长远目标做技术研发,沿途做出的产品确实在现有市场下触达了更多潜在用户,对收入商业化有正向循环。

凤凰网科技:现在最快生成速度已经可以到2秒,你说试错成本几乎拉平到0,那当未来生产成本被极限压缩后,对创作者的要求是否跟今天不一样?

曹炎培:AI发展这么快,大家对于未来长什么样子也是不断在calibrate(校准)的过程。如果有一天生产力极大提升,大家不再需要为了收入而工作,就需要更多样的形式来满足自己创作的本能。创作或构建交互式内容的过程,可能本身就是实现自我价值或获得乐趣的核心方式。

电子游戏为什么能成为主流体验?一是沿袭了幼时儿童在物理世界做游戏的心理习惯,有很强的社交属性;RPG满足了人类扮演需求,开放世界满足了建造需求。大家都是在虚拟世界里实现想象中自己的价值。但现有的电子游戏,都是几个游戏策划设定好的框架,玩家在这个框架里完成。即使这样,绝大多数玩家已经有很强的代入感和实现感。

如果交给大家一个真正能无限自由度创作的数字交互体验,自由度再大十倍百倍千倍,那它都不太能以一个现有游戏的创作体验来设想了……本身创造游戏的过程,就是一种体验。

凤凰网科技:你最近一次创作中惊艳到你的瞬间,或让你觉得它完成了甚至超出想象的效果是什么?

曹炎培:P2.0做出来之后,第一件事就是把它接到我之前做的一个agent里,让它把静态3D模型完成部件梳理,每个部件有自己的语义,能完成非常复杂的动画。做了一堆动画的风车、奇怪的异形生物,但又有合理在地上走跑跳的交互行为构建。

现在AI在两条线上齐头并进带来的体验:一方面生成出来的资产确实和现有3D软件天生适配,另一方面和coding agent有很好结合,生成的低模资产能很容易被coding agent理解和操控,自然可以利用大语言模型的智能完成以前需要非常复杂手工操控的动画。

比如之前做的一个大蜘蛛动画。按以前,为了学图形学,在学校里空闲时也学了各种软件套件,硬要让我手工做其实也能做,但可能要五六天。现在P2.0生成出来丢给agent,没有过多优化agent流程,就是一个prompt一直迭代,可能过几分钟就获得一个有音效、有光影、有动画的完整3D体验。放到去年底,即使对于我们这种技术最前沿的人,都很难想象有一天自己能做出来这种东西。

凤凰网科技:这种从零去创作一个难度较高的东西带来的成就感,和你之前用笔画画或iPad简单勾勒相比,是一样的吗?

曹炎培:可视媒体从图像到视频到3D,这个体验一定是迭代的。最开始有DALL-E或SD的时候,生成一个怪兽蜘蛛觉得挺厉害,我十几岁的时候也画不出这种画;后来比较可用的视频模型出来,试过让它生成动画,但它就是一个被动内容,播完一遍就完了。

但按刚才我们现在流程做出来的可交互的数字资产,有N多种方法可以从不同视角看它,在屏幕上实时交互,还可以动态改变它,通过程序控制让它爬得快一点、慢一点、更creepy(可怕)一点。这种升维的体验,肯定是不断加深的。

凤凰网科技:它跟我们现在看AI生成图片视频带来的冲击,或者考虑“这个东西到底是不是我创作的”,你会有这种时刻吗?

曹炎培:视频帧是创作的终点,但3D资产只是完成任务的起点。我最后想build的可能是一个异形生物互相战斗的游戏,只是现在毫不费力地获得了一个可以自由操控的大蜘蛛。AI是在帮我完成task,而不是帮我完成创作。

所以比较难出现大家所谓的AI slop——视频AI看多了,除非做得特别有名的AI IP,大家现在看AI脸就厌烦不想看了。但AI 3D资产没有这个层面的问题:人做的资产和AI做的资产是一样的。AI真正帮助到的,是获得准确的几何、纹理、工业可用的布线、艺术家可操控的骨骼,而不是完成艺术创作。

凤凰网科技:从构建单个资产到形成真正的“我的世界”,普通人可以做的阶段,你们觉得还有多久?

曹炎培:目标放低一点,结合AI 3D和coding agent做出一段体验三五分钟的交互世界,到年底是蛮乐观的时间,最多明年上半年。但这不是终局。类比短视频之于广播电视,真正厉害的交互式内容形式现在还没有出现。

凤凰网科技:随着新一轮融资落地,外界期待也会到达新高度,你有没有预估过AI 3D真正进入规模化、成为生产标配的临界点在哪里?

曹炎培: 3D打印和游戏,已经无限接近,或者乐观点讲,已经迈过了工业可用的那个坎。只是工业可用是一个很大的范畴,不同品质的游戏、不同制作流的游戏有不同要求。对于仿真和真正的工业设计,可能才刚刚起步。

游戏、3D打印、具身智能,再加上一些真正工业设计里的尝试,是未来3到6个月内能touch到的领域。只是阶段不同,3D打印已经实实在实现了很多曾难以想象的场景,带来效率提升和门槛降低。工业还在试水阶段,现有技术栈还没有完全为工业设计或泛工业领域做深层次优化,但这会是未来几个月的重心之一。

机器人行业是发展很快的领域,我们在和很多具身智能厂商一起迭代,在embodied AI或simulation领域,我们的策略是和行业内move最快的玩家一起迭代。

本文转自:凤凰网科技

原文地址: https://original.ifeng.com/c/8w4KZ1n8pqj