陆川重塑历史现场，王珞丹AI创作熬夜，阿里全模态引领生产力变革

田晏林 发自 徽声在线
量子位 | 公众号 QbitAI

5天时间，一场跨越400年的明代灾难场景被成功复现。

无需搭建实景，也不必等待演员就位，导演陆川及其团队借助AI技术，将明代宫廷、火药库以及史料中记载的烟云如黑灵芝般的大爆炸场景，生动地呈现在观众眼前。

按照传统影视工业的标准，这样的场景复原往往需要数月时间，并投入巨额资金。

然而，陆川团队仅用了5天时间便完成了这一壮举！

话不多说，让我们先睹为快，欣赏几个精彩片段。

这些片段是否让你感到震撼？

人物的脸部特征、皮肤质感以及神态表现都极为逼真，明代人物形象也不再是过去那种一眼就能看出的AI合成效果，缺乏真实感。

再来看爆炸场景，烟尘、碎片、火光四溅，这种极易穿帮的复杂场面，也被AI技术稳稳地呈现出来。

按照传统影视工业的做法，过去仅一场爆炸戏就需要耗费19天时间。

陆川团队将史料中的文字描述逐一转化为现代视觉概念，经过大约四轮提示词优化，并参考真实爆炸影像进行校准，最终实现了这一效果。

阿里视频生成模型对烟尘、碎片等复杂画面的还原，准确度高达团队预期的95%以上。

如今的AI技术已经不仅仅是为导演提供素材那么简单了。

从史料搜集、画面制作到主题讨论，AI开始全面介入创作链路；在视频生成环节，阿里模型的贡献度更是超过了一半。

9月22日，在云栖大会上，阿里云再次发力，将一系列模型成果公之于众。

先来看看千问基座模型，其在架构、自我进化、全模态、参数规模等方面均取得了显著进展：

Qwen3.8-Max实现了自我训练，Qwen3.8-Flash提前展示了下一代架构，Qwen3.8-Omni为大模型开辟了全新的思考分区，Qwen4已经投入训练，Qwen4.5、Qwen5也在紧锣密鼓地研发中。

而且，这些模型的参数规模更是直接瞄准了5万亿～10万亿的级别。

此外，图像生成模型Qwen-Image-3.1、音乐生成模型Happy Shrimp 1.1、世界模型HappyOyster 2.0 Preview、语音模型家族Qwen-Audio-3.1以及同声传译模型Qwen3.8-LiveTranslate也悉数亮相。

下一代视频生成模型更是预告将于11月发布，令人期待。

单独拎出任何一个模型，都有诸多亮点可讲。但结合陆川的短片来看，这些模型的整体表现更是令人瞩目。

阿里这一轮全模态升级，已经不再局限于单项能力的提升，而是更加注重这些模型能否更快地融入实际场景，成为真正的生产力工具。

阿里的全模态布局已初具规模

将云栖大会上发布的模型更新全部展开，一幅相当完整的全模态地图已经呈现在眼前。

在文字和通用智能领域，有Qwen3.8以及已经投入训练的Qwen4。

在图像生成与编辑方面，有Qwen-Image-3.1；视频生成方面，则有Wan、Happy Horse系列以及计划11月发布的下一代视频模型；声音处理方面，有Qwen-Audio-3.1；音乐创作则交给了Happy Shrimp 1.1。

再往真实世界延伸，HappyOyster 2.0 Preview开始处理世界模型和交互环境；Qwen3.8-Omni-Flash将文字、图片、音频、视频纳入统一理解框架；Qwen Intelligence则继续将Agent能力推向手机终端。

这一连串的名字让人目不暇接，仿佛置身于一场新品发布会之中。

然而，当我们将这些模型融入一项具体任务时，它们之间的关系就变得清晰多了。

无论是拍摄一条广告还是制作一部电影，脚本、商品图、人物、口播、音乐等元素都是密不可分的。

导演给模型的可能是一段文字、一张参考图或一首音乐，但最终交付的却是一套完整的视听内容。

现实任务天生就是混合模态的。

文字、图像、视频、声音、空间信息往往同时出现，模型最终要处理的也很少是一种单独的信息。

现实任务不分模态，模型也很难再一项一项地单独处理。

云栖大会现场，阿里巴巴ATH事业群副总裁、淘天集团首席科学家郑波提到：

文本、图像、视频、声音、空间的能力正在加速协同，AI也从生成一张图、一段视频、一首音乐，继续走向理解人的意图，创造完整沉浸式视听体验。

阿里方面判断：如果语言模型是机器的大脑，那么多模态模型正在成为机器感知世界、创造内容并与物理世界互动的中枢。

此时再回头看阿里这一整套模型布局，其关系就更加清晰了。

Qwen负责语言、知识和推理；Image、Wan、Happy Horse、Audio、Happy Shrimp则将能力延伸至视觉、影像、声音和音乐领域；HappyOyster则进一步拓展至三维空间和交互环境。

Omni继续处理不同模态之间的统一理解，Agent则将这些能力接入实际任务之中。

当这些能力开始被融入同一条任务链时，评价标准也随之发生了变化。

一张图生成得多么漂亮，一段视频有多么震撼，依然重要。但在生产环境中，还会多出一长串更现实的考题。

能否稳定交付？能否连续工作？能否理解同一个任务？

从Demo到生产线，多模态开始接受真实考验

这些问题，只有在实际工作流中才会彻底暴露出来。

第一层：内容生产

这是最成熟的一层，也是视频模型最先面临的挑战。

Wan3.0已经支持单次30秒生成，还能接受文档、表格、网页等结构化输入。

据阿里披露，它曾在Artificial Analysis的文生视频和视频编辑两项榜单上名列前茅。

然而，在商业场景中，榜单排名只能算作入场券。

以广告为例，一条片子中的商品外观、Logo、人物和口播只要有一个出现偏差，前面生成得再炫也难以直接交付。

这套更苛刻的指标同样适用于图像、语音、音乐等其他模态。

「能否稳定生产」已经成为多模态进入生产环境后的核心考题。

不过，Wan3.0已经获得了正向反馈。据使用者介绍，其已接近真实广告拍摄水平。

第二层：进入专业创作

陆川的《历史·现场》就是一个典型的案例。

5天重建一场400年前的历史现场令人惊叹，但这次尝试更有意义的地方在于它将AI带到了创作者真正难以攻克的位置。

通用模型很容易生成大家熟悉的古装剧质感，但真正的历史现场却需要陌生感、更严谨的史料以及模型对导演意图的理解。

对此，阿里巴巴视频生成模型技术负责人表示，未来将与更多导演、行业专家及历史学者合作，为模型引入更全面、更严谨的专业信息。

此时，模型面对的已经不仅仅是画面质量的问题，还要开始理解专业知识和创作意图。

音乐创作则面临着另一套难题。

9月22日下午，在2026云栖大会的视听分论坛上，太合音乐集团总裁余灏坦言，AI给音乐行业带来的焦虑并不新鲜。

电子合成器、MIDI（乐器数字接口）、DAW（数字音频工作站）都曾经引发过类似担忧，但最终都成为了新的生产工具。

而现在，AI又进一步将音乐创作成本大幅降低，普通用户和专业艺人都开始将其视为生产力工具。

但音乐一旦进入产业领域，问题就变得比「能否生成一首歌」复杂得多。

训练素材如何获取？版权如何计算？AI翻唱是否应该授权？收益如何分配？这些问题都绕不过去。

太合和阿里Happy Shrimp的合作也开始向音乐人共创、产业生态、版权机制和AI音乐新消费场景延伸。

余灏特别提到，无授权AI翻唱的成本太低，大量版本泛滥会直接侵蚀原版版权方和艺人的价值。

此时，AI音乐已经从一个创作工具上升到了产业规则层面。

小旭音乐创始人卢小旭在论坛上的分享更像是一张「多模态生产流程图」。

他的工作室做AI歌手时，单靠一个模型根本无法完成整个流程。

需要先做人设和视觉锚点，再用音乐模型做歌曲、人声和编曲，接着将音乐交给视频模型做MV和对口型视频，后面还要接大模型做评论抓取、分类和运营反馈。

整个流程本身就是一个多模型协同工作流。

不过，这套生意还远未到可以闭眼复制的阶段。

卢小旭提到，他们平均4个项目才能跑出1个成功AI歌手账号。

但小团队的生产效率在阿里多模态模型的加持下得到了明显提升。

据他透露，其团队6个人就能孵化十多个AI歌手IP，一些账号4个月涨粉20万，全网累计播放量突破2亿。

将这些案例放在一起看，会发现专业创作对模型提出的要求完全不同于普通生成。

电影需要理解导演意图，音乐需要处理版权和产业规则，AI歌手还得将音乐、视觉、人设、运营串成一整套工作流。

进入专业创作之后，多模态拼的已经不仅仅是生成质量，还要能吃进专业知识、理解创作目标并接入完整生产流程。

第三层：进入终端和物理世界

再往外走，多模态开始离开内容产业。

目前，千问端到端全双工实时语音交互大模型Qwen-Audio-3.1-Realtime已经应用于千问办公、Qoder（阿里智能体编程工作台）、千问AI眼镜、随身助理和桌面机器人等领域，能够边听、边想、边说。

Qwen Intelligence继续将Agent能力融入手机之中，希望完成跨应用复杂任务。

HappyOyster 2.0 Preview则将战线拉到了物理世界。它要解决的是另一类问题：环境能否长期保持一致？物体运动能否符合物理规律？用户操作后能否及时得到反馈？

这张多模态布局图已经越来越清晰：先给人生成内容，再帮人完成工作，接着让机器真正理解并作用于世界。

但问题在于，这么多单项能力越来越强，AI怎么才能在一件复杂任务里一直记得自己到底在干什么？

多模态的下一关：连续理解和完成任务

这个问题在创作者那里已经出现了。

演员王珞丹在视听分论坛现场分享了她的AI创作体验。

图源王珞丹微博

今年年初，她开始认真学习AIGC技术，并亲自下场做短片。最开始时，她连人物三视图都要一点点学习。

再往后，就是排队、抽卡、反复尝试。

王珞丹曾经抽卡抽到凌晨4点，一度感到绝望。到了早上6点时，她终于抽到了想要的镜头。

但更麻烦的是表演部分。

她的脑子里明明有一个很具体的状态描述，但模型却很难准确呈现。反而在给出一个宽泛概念时，模型倒有可能突然给出惊喜。

这很能说明现在多模态创作的一个尴尬现状：

尽管单个镜头已经越来越强，但故事一长时，人物的状态、情绪和气质就很难一直保持下去。

但创作者需要的恰恰就是AI能记住前面的内容，并一直跟着同一个故事往下走。

放到更广泛的Agent任务里，则是记住上下文、环境变化以及前面已经执行过什么。

问题到这里就很清楚了。图像、视频、语音、世界模型分别变强只解决了单项能力的问题。

但一项完整任务往往同时包含视觉、声音、语言、空间、时间和动作等多种信息，并且这些信息还会一路变化。

AI需要在这些信息之间保持同一个任务上下文。

每切一次模态就像重新开始一次对话一样，这种方式很难撑起真正复杂的工作。

这也是多模态下一阶段最重要的一道题：各自很强之后怎么开始一起工作？

多模态走到下一阶段时看的已经不只是能不能看、能不能听、能不能生成了，更要看它能不能围绕同一个目标持续理解下去。

阿里将更远的方向指向了「原生全模态统一模型」。郑波给出了一个判断：

三年之内会出现一个原生的全模态统一生成模型，未来体验将不再受限于模态边界。

重点在「原生」二字上。

今天很多多模态系统更像是一场接力赛。

图像模型负责做图，视频模型接着生成视频，音乐模型负责声音部分，Agent再去调用不同工具。

能力都能用得上，但一次次交接也意味着上下文可能丢失。

原生全模态想解决的就是这种割裂感。

不同模态从模型底层共享同一个任务、同一份上下文和同一套世界理解机制，图像、视频、声音、空间、动作都围绕同一个目标共同前进。

据了解，阿里的下一代视频模型已经沿着这条路继续推进。新模型将在11月发布，方向之一就是从生成单个镜头走向理解完整叙事。

阿里往前探索了一步，郑波把这个方向称为「Agentic Video」。

意思是模型开始理解创作目标和创作意图，从一个想法、一段故事出发自动拆剧情、做分镜、组织角色和场景再完成生成。

这和今天的「抽卡式创作」已经是两种截然不同的体验了。

今天创作者还得反复重讲人物、风格和情绪等信息；但理想状态则是把故事和角色讲清楚一次后，AI就能记住全片设定并一路跟下去。

王珞丹熬夜抽卡的经历暴露的正是多模态创作最后一公里的问题所在。

但陆川的《历史·现场》已经让另一种可能开始浮现。AI可以真正进入专业创作链路并承担相当一部分生产工作了。

只是今天这条链路还需要导演和团队在中间不断组织：查史料、定视觉、调提示词、校准画面，再把不同模型的能力接起来。

原生全模态想继续往前走一步，让AI不只接住一个镜头，而是接住一整件事。

这意味着AI要从理解创作意图到记住人物、场景和叙事，再到调用图像、视频、声音乃至空间能力持续完成任务。

这样再回头看阿里这一轮密集的多模态更新时，真正值得关注的也就不只是又多了几个模型那么简单了。

一张更大的拼图已经铺开在眼前。

接下来要比的，是谁能把这些能力真正拧到一起，让AI从会生成走向会把事情做完。