您现在的位置是:资讯 >>正文
阿里对口型项目EMO开启内测 可将照片转为唱歌视频
资讯526人已围观
简介CSS站长资源ChinaZ.com)4月25日 消息:千呼万唤始出来!阿里对口型项目EMO终于开启内测了。它能够将一张简单的照片转化为唱歌视频,为用户提供了一种全新的数字人出镜体验。EMO模型的特点: ...
CSS站长资源(ChinaZ.com)4月25日 消息:千呼万唤始出来!阿里对口型项目EMO终于开启内测了。阿里它能够将一张简单的对口照片转化为唱歌视频,为用户提供了一种全新的型项数字人出镜体验。
EMO模型的开启特点:
简便的操作: 用户只需提供一张照片和克隆的语音模型,即可定制自己的内测数字人像。
低成本: 与Heygen等需要录制长视频和高算力成本的照片转产品相比,EMO模型提供了一种免费且高效的唱歌解决方案。
广泛的视频适用性: 不仅限于写实人像,3D模型和二次元漫画风格也能生成视频,阿里满足不同用户的对口需求。
自然的型项表达: EMO模型在talking head领域首次提出weak condition(弱控制)设计,通过较弱的开启控制条件引导diffusion去噪过程,生成表情丰富、内测表现力强的照片转人脸。
技术实现:
EMO模型通过算法pipeline中的唱歌face locator和speed layers控制人脸生成区域与人头动作频率,保留了diffusion模型的生成创造能力。
模型在训练中学习音频特征与图像像素的对应关系,放大音频特征对相关像素的影响,确保人物表情口型与音频特征一致。
EMO在250小时的人物讲话视频上训练,不仅匹配了音频中具体发音与人像口型,还发现了音频中的语气特征与人物表情的关联性,将音频中的情绪色彩反映到人物微表情上。
内测链接申请地址:https://www.wjx.top/vm/exOVbr1.aspx#
项目地址:https://top.aibase.com/tool/emo
Tags:
相关文章
预制菜,配当年夜饭吗?
资讯火热的预制菜行业再起风波。距除夕还有8天,年夜饭的预定活动进入高潮,各地餐馆的年夜饭预定十分火爆,但与往年不同的是,今年的年夜饭市场,被预制菜围攻了。线上的电商平台、生鲜平台和线下的传统商超里,都开设 ...
【资讯】
阅读更多存款5万可辅导孩子作业?银行回应:活动已经暂停
资讯据红星新闻报道,近日,浦发银行北京东花市支行推出了一项针对小学语数英作业的免费辅导服务,由该行员工负责带班。这一消息在网络上引起了热议。有网友调侃道:“存款500万岂不是天天辅导了?”也有网友认为:“ ...
【资讯】
阅读更多存款5万可辅导孩子作业?银行回应:活动已经暂停
资讯据红星新闻报道,近日,浦发银行北京东花市支行推出了一项针对小学语数英作业的免费辅导服务,由该行员工负责带班。这一消息在网络上引起了热议。有网友调侃道:“存款500万岂不是天天辅导了?”也有网友认为:“ ...
【资讯】
阅读更多