7月28日晚,继上周阿里AI三连发后,阿里又扔出新的开源模型,电影级视频生成模型通义万相Wan2.2。Wan2.2直接将光影、色彩、镜头语言三大电影美学元素装进模型,可以随意组合60多个直观可控的参数,大幅提升电影级画面的制作效率。
通义万相官方展示了《星际穿越》、《布达佩斯大饭店》、《海上钢琴师》等电影的经典画面,向影视经典致敬,目前该模型单次可生成5s的高清视频,用户可通过多轮提示词进一步完成短剧制作,未来通义万相还将继续提升单次视频生成的时长,让视频创作更高效。
据介绍,Wan2.2此次共开源文生视频(Wan2.2-T2V-A14B)、图生视频(Wan2.2-I2V-A14B)和统一视频生成(Wan2.2-TI2V-5B)三款模型,其中文生视频模型和图生视频模型均为业界首个使用MoE架构的视频生成模型,总参数量为27B,激活参数14B,均由高噪声专家模型和低噪专家模型组成,分别负责视频的整体布局和细节完善,在同参数规模下,可节省约50%的计算资源消耗,有效解决视频生成处理Token过长导致的计算资源消耗大问题,同时在复杂运动生成、人物交互、美学表达、复杂运动等维度上也取得了显著提升。
Wan2.2还首创了电影美学控制系统,光影、色彩、构图、微表情等能力媲美专业电影水平。例如,用户输入「黄昏」、「柔光」、「边缘光」、「暖色调」「中心构图」等关键词,模型可自动生成金色的落日余晖的浪漫画面;使用「冷色调」、「硬光」、「平衡图」、「低角度」的组合,则可以生成接近科幻片的画面效果。
输入提示词:视频展示了一位三十多岁的黑人女性在黄昏色调的复古滤镜下,平静地坐在行驶中的地铁车厢内。周围人群来回走动,形成明显的运动模糊,而她始终保持清晰,象征着混乱中的静止。柔和的光线与电影画质营造出喜怒无常的环境氛围,突显她在喧嚣世界中的沉稳与内敛,呈现出强烈的现实主义风格。通义万相即可精准理解提示词中的美学词,并生成一段复古且富有文艺感的视频。
输入提示词:白天,晴天光,边缘光,暖色调,低饱和度,极端全景,平衡构图,画面中有两名穿着宇航服的人,他们正站在一片广阔的水域中。他们都穿着白色为主、带有深色拼接和标记的厚重宇航服,并头戴配有面罩的头盔。位于前方的人正朝着观看者的方向涉水前行,水面淹及他的大腿,他的面部表情严肃。另一人站在他身后稍远的位置,同样身处水中。在他们身后,一艘外形具有未来感的飞行器停泊在水面上。这艘飞行器有着扁平、宽大的机翼和棱角分明的设计。整个场景的背景是布满云彩的天空和无边无际的水面。通义万相可生成一段复刻电影《星际穿越》中宇航员在米勒星球的经典画面。
通义万相还开源了一款5B小尺寸的统一视频生成模型,单一模型同时支持文生视频和图生视频,可在消费级显卡部署。该模型采用了高压缩率3D VAE架构,时间与空间压缩比达到高达 4×16×16,信息压缩率提升至 64,均实现了开源模型的最高水平,仅需22G显存(单张消费级显卡)即可在数分钟内生成5秒高清视频,是目前24帧每秒、720P像素级视频生成速度最快的基础模型之一。
即日起,开发者可在GitHub、HuggingFace、魔搭社区下载模型和代码,企业可在阿里云百炼调用模型API,用户还可在通义万相官网和通义APP直接体验。
自今年2月以来,通义万相已连续开源文生视频、图生视频、首尾帧生视频和全能编辑等多款模型,在开源社区的下载量已超500万,是开源社区最受欢迎的视频生成模型之一。