阿里巴巴近日开源了新一代动作生成模型——通义万相Wan2.2-Animate,该模型能够将静态照片转换为动态视频,同时支持动画生成和角色替换两种模式。用户只需输入一张角色图片和一段参考视频,即可将视频中的动作、表情精准迁移到图片角色上,实现高度自然的动态效果。
与此前技术相比,Wan2.2-Animate在动作控制、表情还原和环境交互方面都有显著提升。该模型采用统一的表示格式处理角色信息、环境背景和动作数据,并分别使用骨骼信号和隐式特征来精确复刻身体运动和脸部表情。在替换模式下,还引入了独立的光照融合LoRA模块,确保生成视频的光影效果更加真实。
实测数据显示,Wan2.2-Animate在视频生成质量、主体一致性和感知损失等关键指标上,超越了StableAnimator、LivePortrait等开源模型,甚至在人类主观评测中表现优于Runway Act-two等闭源模型。
该模型支持人物、动漫形象和动物照片的动态生成,可广泛应用于短视频创作、舞蹈模板生成和动漫制作等领域。自今年2月以来,通义万相已开源20多款模型,总下载量超过3000万次,成为开源社区最受欢迎的视频生成模型之一。