您现在的位置是:深度 >>正文
阿里推声画同步框架EMO 1张图片加音频即可生成对口型视频
深度185人已围观
简介要点:阿里提出了EMO框架,可根据单张图像和声音生成具有表情丰富的头像视频。方法包括两个主要阶段:帧编码和扩散过程,利用多种注意机制和时间模块实现头像生成。EMO支持多语言歌曲和不同风格的头像生成,可 ...
要点:
阿里提出了EMO框架,阿里可根据单张图像和声音生成具有表情丰富的推声头像视频。
方法包括两个主要阶段:帧编码和扩散过程,画同利用多种注意机制和时间模块实现头像生成。步框
EMO支持多语言歌曲和不同风格的架E即头像生成,可应用于歌唱、张图对话和跨角色表演等领域。片加频
CSS站长资源(ChinaZ.com)2月28日 消息:近期,音频阿里巴巴智能计算研究所提出了一种新的生成生成式框架EMO,只需输入图片和音频即可生成具有表现力的对口视频,而且视频中的型视嘴型还可以与声音匹配。这项技术支持多语言、阿里对话、推声唱歌以及快速语速的画同适配,但也可能成为造假的步框利器,因此一些名人可能需要警惕了。
该框架包含两个主要阶段,首先是帧编码阶段,利用ReferenceNet从参考图像和动作帧中提取特征;其次是扩散过程阶段,通过预训练的音频编码器处理声音嵌入,并结合多帧噪声和面部区域掩码来生成头像。在此过程中,采用了两种注意机制(参考注意和音频注意)和时间模块,以保持角色身份并调节运动速度。
项目地址:https://top.aibase.com/tool/emo
EMO不仅支持多语言歌曲和不同风格的头像生成,还可以处理歌唱、对话等不同场景。它能够根据输入音频的长度生成不同时长的视频,并保持角色的身份特征在长时间内的稳定性。此外,EMO还展示了在快节奏音乐中保持与音频同步的能力,确保角色动画的表现力和动态性。
这一研究对于头像视频生成领域具有重要意义,为多语言、多样化场景下的角色表现提供了新的可能性。它不仅可以应用于娱乐产业,还可以在学术研究和教育培训等领域发挥重要作用。然而,需要注意的是,该框架目前仅用于学术研究和效果演示,还有待进一步优化和扩展其应用范围。
Tags:
相关文章
肯德基、美团无人机合作:深圳两店率先实现“空投吃鸡”
深度快科技2月3日消息,外卖点一份2公里外的吮指原味鸡需要等多久?在深圳,可能只要几分钟。美团无人机官方公众号发文称,美团与肯德基达成合作。接下来,美团将在深圳为肯德基新中航天逸店”和新保利店”推出无人机 ...
【深度】
阅读更多小米SU7翼子板上的孔是干吗的 雷军揭秘:为了高性能
深度快科技4月16日消息,雷军日前发布视频,介绍了小米SU7翼子板上的一个孔”。雷军称,好多网友不知道翼子板处的孔”是干吗的,还有网友问是被撞坏了吗?雷军向网友科普道,这个孔是小米汽车特意设计的通风口,为 ...
【深度】
阅读更多百度文心一言用户数突破2亿,API 日均调用量2亿
深度划重点:⭐️ 文心一言用户数突破2亿,API 日均调用量2亿⭐️ 文心大模型4.0工具版推出,提升训练效率5.1倍⭐️ 百度推出三大开发工具:AgentBuilder、AppBuilder 和 Mod ...
【深度】
阅读更多