您现在的位置是:热点 >>正文
Sora平替?2分钟超长AI视频模型StreamingT2V免费开源 试玩地址公布
热点393人已围观
简介CSS站长资源ChinaZ.com)4月15日 消息:近日,Picsart AI Research等团队联合发布了一款名为StreamingT2V的AI视频模型,该模型能够生成长达1200帧、时长达2 ...
CSS站长资源(ChinaZ.com)4月15日 消息:近日,平替Picsart AI Research等团队联合发布了一款名为StreamingT2V的分钟费开AI视频模型,该模型能够生成长达1200帧、超长时长达2分钟的视频视频,这在技术上超越了之前备受关注的模型V免Sora模型。StreamingT2V的源试发布不仅在视频长度上取得了突破,而且它是玩地一个免费开源的项目,可以无缝兼容SVD和animatediff等模型,平替这对于开源生态的分钟费开发展具有重要意义。
在Sora之前,超长市场上的视频视频生成模型如Pika、Runway、模型V免Stable Video Diffusion(SVD)等,源试通常只能生成几秒钟到十几秒的玩地视频。Sora的平替出现以其60秒的视频生成能力成为行业的新标杆。而现在,StreamingT2V的推出,不仅在时长上有所突破,理论上还可以做到无限长,这为视频生成领域带来了更多可能性。
StreamingT2V的架构采用了先进的自回归技术,能够创建具有丰富运动动态的长视频,同时保持视频的时间一致性和高帧级图像质量。与现有的文本到视频扩散模型相比,这些模型通常集中在高质量的短视频生成上,而在扩展到长视频时往往会出现质量下降、表现生硬或停滞等问题。StreamingT2V通过引入条件注意力模块(CAM)和外观保留模块(APM),以及一种随机混合方法,有效地解决了这些问题。
CAM作为短期记忆块,通过注意机制调节当前一代的视频,以实现一致的块过渡;而APM作为长期记忆块,从第一个视频块中提取高级场景和对象特征,防止模型忘记初始场景。此外,StreamingT2V还利用高分辨率文本到视频模型对生成的视频进行自动回归增强,以提高质量和分辨率。
目前,StreamingT2V已经在GitHub上开源,并在huggingface上提供了免费试玩。尽管服务器负载可能较高,但用户可以尝试输入文字和图片提示来生成视频。此外,huggingface上也展示了一些成功的案例,证明了StreamingT2V在视频生成方面的强大能力。
StreamingT2V的发布不仅为视频生成领域带来了新的技术突破,也为开源社区提供了一个强大的工具,有助于推动相关技术的发展和应用。未来,我们或许可以期待更多基于这类技术的创新应用,例如在电影制作、游戏开发、虚拟世界构建等领域发挥重要作用。
开源代码:https://top.aibase.com/tool/streamingt2v
论文地址:https://arxiv.org/pdf/2403.14773.pdf
试玩地址1:https://huggingface.co/spaces/PAIR/StreamingT2V
试玩地址2:https://replicate.com/camenduru/streaming-t2v
Tags:
相关文章
14岁女儿将爸爸出轨录音拷贝给妈妈 起诉情人返还25万余元
热点据红星新闻报道,四川绵阳的李女士在2023年底发现丈夫唐先生与情人王女士的通话录音,并发现丈夫在一年内给王女士转账25万余元。李女士认为这是丈夫唐先生出轨的行为,于是向法院起诉王女士要求返还这笔钱。法 ...
【热点】
阅读更多广西一80斤巨蟒吞食山羊 林业部门回应:已被收容
热点6月19日消息,日前广西河池一条巨蟒吞食山羊的消息在网络上传播,引起众人围观,近日,此事有了新进展。据河池融媒”报道,6月14日深夜,广西大化瑶族自治县板升乡升平村一村民在自家羊圈发现一条重达80斤的 ...
【热点】
阅读更多11264个毕业生名字投影成了星空 网友:别人家的毕业典礼
热点6月18日晚,东南大学为即将踏上新征程的2024届毕业生们精心策划了一场别开生面的毕业典礼——"璀璨星河,逐梦未来"3D星空投影盛典。这场盛典在九龙湖校区上演,吸引了众多毕业生和师 ...
【热点】
阅读更多