您现在的位置是:知识 >>正文
腾讯开源人像照片生成视频模型V-Express
知识94人已围观
简介CSS站长资源ChinaZ.com)6月7日 消息:腾讯公司开源了一款创新的模型V-Express,它能够使用人像照片生成视频。这一技术通过一系列逐步丢弃的操作来平衡不同控制信号,使得音频等较弱的信号 ...
CSS站长资源(ChinaZ.com)6月7日 消息:腾讯公司开源了一款创新的腾讯模型V-Express,它能够使用人像照片生成视频。开源这一技术通过一系列逐步丢弃的人像操作来平衡不同控制信号,使得音频等较弱的照片信号得以有效利用,实现对姿态、生成视频输入图像和音频的模型综合控制。
作者团队表示,腾讯在会说话的开源人脸生成任务中,当目标视频与参考角色不是人像同一个人时,选择与参考人脸姿势更相似的照片目标视频将能获得更好的效果。目前,生成视频该模型在英语上的模型表现较为出色,但对其他语言的腾讯适应性和表现尚未经过详细测试。
V-Express模型的开源开源,为肖像视频生成领域带来了新的人像发展机遇。在这一领域,使用单个图像生成视频的方法正变得日益流行。这通常涉及到使用生成模型增强适配器来实现受控生成,其中控制信号可能包括文本、音频、图像参考、姿势、深度图等。V-Express通过渐进式的丢弃操作,解决了弱信号在强信号干扰下难以发挥作用的问题,尤其是在音频信号常常被姿势和原始图像等强信号掩盖的情况下。
实验结果显示,V-Express能够有效生成受音频控制的肖像视频,这在以往的研究中是一个难以实现的突破。V-Express方法的逐步丢弃操作,不仅有效实现了对弱条件的控制,而且为多条件生成提供了新的可能性和思路。
V-Express模型为肖像视频生成领域带来了创新的思路和方法,通过平衡不同强度的控制信号,成功实现了受音频控制的视频生成。这一成果不仅具有重要的理论和实践意义,而且为未来的多条件生成提供了新的路径。腾讯表示,将继续深入研究V-Express方法,并探索其在更广泛领域的应用,以促进肖像视频生成领域的进一步发展。
项目地址:https://top.aibase.com/tool/v-express
Tags:
相关文章
问界1月交付32973辆 首夺新势力月销冠军
知识快科技2月1日消息,AITO汽车今日发布最新的销量数据显示:1月份,问界全系交付新车32973辆,环比增长34.76%,其中24天单日交付破千,首次成为中国市场新势力品牌月销量冠军。问界新M7交付再创 ...
【知识】
阅读更多老品牌如何玩转视频号、小红书?京润珍珠给了3个答案
知识2024年,视频号和小红书成为了炙手可热的新流量平台。前者不必多言,2023全年GMV达到4000亿,商业化效率还在不断提升;后者在成功推出单场过亿的头部主播后,逐渐将“买手电商”从概念落地为现实。很 ...
【知识】
阅读更多坦克300 Hi4-T、领克07 EM-P等车型在列:减免购置税目录揭晓
知识快科技3月11日消息,日前,享受车船税减免优惠的节约能源 使用新能源汽车车型目录第五十九批)、减免车辆购置税的新能源汽车车型目录第三批)正式发布。在此次目录中,不少热门车型纷纷上榜,例如坦克300 H ...
【知识】
阅读更多