通义万相发布视频生成模型,可一键创作影视级高清视频

9月 19 日,在杭州云栖大会上,阿里云CTO周靖人宣布通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,可应用于影视创作、动画设计、广告设计等领域。即日起,所有用户可通过通义APP及通义万相官网免费体验。

据介绍,通义万相首批上线文生视频、图生视频功能,在文生视频功能中,用户输入任意文字提示词,即可生成一段高清视频,支持中英文多语言输入,并可以通过灵感扩写功能智能丰富视频内容表现力,支持16:9、9:16等多种比例生成;在图生视频功能中,支持用户将任意图片转化为动态视频,按照上传的图像比例或预设比例进行生成,同时可以通过提示词来控制视频运动。

现场,阿里云演示了该模型强大的运动生成和概念组合能力,输入「穿着滑冰鞋的小兔子在冰面上灵活移动的可爱场景」,通义万相仅用数分钟就能生成一段高清、逼真的视频。

通义万相视频生成大模型集成了多项创新技术,有效解决画面表现力和大幅度运动等视频生成技术难题。针对运动生成和物理模拟等难点优化算法,实现了大幅度主体运动和运镜控制,并有效模拟真实世界物理特性;设计了高压缩比、高质量视频VAE框架,有效降低视频信息冗余,并保持高质量视频重构能力;同时,基于轻量微调框架和精选数据集优化训练,在中式传统元素、风格化视频生成上表现更好。

去年7月,通义万相图像生成大模型首次亮相,目前已累计生成7500万张图片。云栖大会现场,通义万相宣布视觉生成大模型全面升级为Diffusion Transformer框架,同时结合通义千问复杂提示词解释能力,有效提升画面表现力、语义理解能力、可控生成能力。随着通义万相视频生成模型的发布,通义大模型已覆盖文本生成、图像理解、视频理解、音频理解、图像生成、视频生成等全模态场景。

相关文章

10月23日消息,OpenAI竞争对手Anthropic宣布推出升级版的Cla...
10月23日消息,随着AI技术发展,越来越多的AI应用不再局限于...
十月,这个充满科技气息的月份,无疑成为了各大手机厂商激烈...
编辑:编辑部 HYZ 太科幻了,深夜上线的Claude,可以像人类一...
近日,第七届中国模式识别与计算机视觉大会(简称“PRCV 202...
摘要: 波形智能创立于2023年3月,创始人兼CEO是98年生人。旗...