您现在的位置是:小程序 >>正文
Make-Your-Anchor:输入1分钟视频训练能生成带手部动作的虚拟人
小程序9人已围观
简介划重点:⭐️ 提出了一种基于扩散的二维头像生成框架,名为 Make-Your-Anchor。⭐️ 通过仅需一分钟的视频片段进行训练,实现了自动生成带有准确躯干和手部动作的锚点样式视频。⭐️ 实验结果表 ...
划重点:
⭐️ 提出了一种基于扩散的输入视频手部二维头像生成框架,名为 Make-Your-Anchor。分钟
⭐️ 通过仅需一分钟的训练视频片段进行训练,实现了自动生成带有准确躯干和手部动作的生拟人锚点样式视频。
⭐️ 实验结果表明,成带在视觉质量、动作的虚时间连贯性和身份保留方面,输入视频手部该系统在扩散 / 非扩散方法中具有更高的分钟效果和优越性。
CSS站长资源(ChinaZ.com)3月29日 消息:近日,训练一项名为 Make-Your-Anchor 的生拟人研究成果即将在 CVPR2024上展示。该项目输入1分钟视频进行训练,成带可以合成带手部动作的动作的虚虚拟人视频,支持嘴型同步,输入视频手部支持换脸。分钟
这一创新系统在创造与全身动作的训练锚点样式视频方面取得了重要突破,尽管基于说唱头像的创作解决方案已有显著进展,但直接生成具有完整躯干和手部动作的视频仍然具有挑战性。
该系统提出了一种全新的解决方案,仅需一个个体的一分钟视频片段进行训练,随后就能自动生成具有精确躯干和手部动作的锚点样式视频。具体而言,他们在输入视频上微调了一个结构引导的扩散模型,将3D 网格条件渲染为人类外观。为了将动作与特定外观有效地绑定,他们采用了两阶段训练策略来训练扩散模型。
为了生成任意长的时间视频,他们将帧间扩散模型中的2D U-Net 扩展到3D 样式,而无需额外的训练成本,并且提出了一个简单而有效的批次重叠的时间去噪模块,以在推理过程中绕过视频长度的限制。最后,引入了一种新颖的特定身份的面部增强模块,以改善输出视频中面部区域的视觉质量。不过这一项目代码还没发布。
经过比较实验,结果显示该系统在视觉质量、时间连贯性和身份保留方面的有效性和优越性,优于当前最先进的扩散 / 非扩散方法。这一创新的框架为头像生成领域带来了新的可能性和前景。
产品入口:https://top.aibase.com/tool/make-your-anchor
论文:https://arxiv.org/abs/2403.16510v1
Tags:
相关文章
河南网红王大娟老公因胰腺癌去世:年仅32岁
小程序1月31日,网红王大娟在社交媒体上宣布,她的丈夫高波不幸因胰腺癌去世,年仅32岁。王大娟透露,高波去世的时间为1月31号早上7点半,并定于2月4号出殡。据了解,王大娟和老公高波是一对来自河南的网红夫妻 ...
【小程序】
阅读更多忘记带身份证怎么坐火车 两种方法请牢记
小程序快科技2月1日消息,据央视新闻报道,近日正是春运高峰期,一些旅客在称火车出行时,难免会出现忘带身份证类似的情况。如果成年旅客忘带身份证的话,有两种方法补救,并且不会耽误太多的乘车时间,经常忘的朋友可以 ...
【小程序】
阅读更多嗨AI海报体验入口 人工智能一键海报设计工具软件在线使用地址
小程序嗨AI海报是一款AI驱动的海报设计工具,通过简单的文字描述,用户即可一键生成各种风格的海报,无需设计功底即可制作精美的海报。主要功能包括支持一句话生成海报,智能匹配模板,提供多种节日海报、社交海报模板 ...
【小程序】
阅读更多