您现在的位置是:资讯 >>正文
一键替换视频主体!Slicedit让普通人秒变钢铁侠
资讯7人已围观
简介CSS站长资源ChinaZ.com)5月23日 消息:巴黎矿业大学和以色列理工学院的研究人员联合推出了一款创新视频模型——Slicedit。这款模型能够在不改变视频背景的情况下,对视频中的主要对象进行 ...
CSS站长资源(ChinaZ.com)5月23日 消息:巴黎矿业大学和以色列理工学院的键替研究人员联合推出了一款创新视频模型——Slicedit。这款模型能够在不改变视频背景的换视情况下,对视频中的频主普通主要对象进行修改。例如,体S铁侠可以将冲浪者变成钢铁侠,让人秒或将转球的变钢男孩变成NBA巨星库里等。
Slicedit模型结合了文生图像的键替扩散模型和对视频时空切片的预处理。尽管修改后的换视视频可能会出现一些模糊和扭曲,但对于不熟悉专业视频编辑软件的频主普通业余人员来说,Slicedit提供了一种快速完成视频内容修改的体S铁侠方法,类似于视频版的让人秒Photoshop。这使得它非常适合用来制作搞笑视频,变钢用于鬼畜、键替抖音、换视快手等平台。频主普通
Slicedit通过以下几个关键技术克服了视频编辑中的难题:
空间时间切片:从视频的三维空间中提取的二维平面,可以是固定时间点上的视频帧,或者是特定方向上跨越时间的连续帧组合。这使得模型能够处理视频中的动态元素,同时保持背景和其他非目标区域的稳定和完整性。
扩展注意力:Slicedit改进了传统的注意力机制,使其能够处理时间序列数据。模型在处理当前帧时,不仅考虑当前帧的信息,还会考虑与之相邻的帧,从而捕捉视频帧之间的动态变化。
DDPM反演:Slicedit采用了一种反推的去噪过程,从目标数据开始,找到一组噪声向量,这些向量在经过DDPM的生成过程后能够重建原始数据。这涉及到将输入视频帧转换为噪声空间,并进行条件去噪,以符合用户的编辑标准。
研究人员表示,他们计划很快开源Slicedit模型,以便更多的开发人员可以构建自己的视频编辑器。
这项技术的发展可能会对视频编辑领域产生重大影响,使得视频编辑变得更加容易和可访问,同时也为内容创作者提供了更多创新的可能性。
论文地址:https://arxiv.org/pdf/2405.12211
Tags:
相关文章
顶配卖近3万元!库克回应Vision Pro太贵:用了5000项专利
资讯快科技2月2日消息,北京时间今日晚间,苹果Vision Pro将正式在美国开售,售价3499美元起,1TB顶配为3899美元约合2.8万元人民币)。据国内媒体报道,苹果CEO库克今天的财报电话会议上表 ...
【资讯】
阅读更多吉大三院:成功用苹果Vision Pro辅助完成腹腔镜手术
资讯快科技4月26日消息,日前,吉林大学白求恩第三医院”公众号发文,称成功应用Apple Vision Pro头显辅助完成腹腔镜乙状结肠癌根治术。据介绍,Vision Pro在此次手术中发挥了多层面的重要 ...
【资讯】
阅读更多Interactive3D:可直接通过交互操作指导3D模型生成
资讯CSS站长资源ChinaZ.com)4月26日 消息:Interactive3D技术为3D内容的创造和修改提供了一种极其灵活的方法。用户可以直接通过交互操作来指导3D模型的生成,这一过程不仅直观,而且 ...
【资讯】
阅读更多