您现在的位置是:业界 >>正文
北大团队发起复现Sora计划“Open Sora” AnimateDiff大神响应
业界81898人已围观
简介要点:1. 北大团队联合兔展发起了复现Sora的计划,框架已搭建,袁粒和田永鸿领衔。2. Open Sora计划采用三部分组成的框架,包括Video VQ-VAE、Denoising Diffusio ...
要点:
1. 北大团队联合兔展发起了复现Sora的团队计划,框架已搭建,发起复现袁粒和田永鸿领衔。计划
2. Open Sora计划采用三部分组成的神响框架,包括Video VQ-VAE、团队Denoising Diffusion Transformer和Condition Encoder。发起复现
3. 计划已经完成了初步功能的计划实现,团队在集结开源社区力量,神响希望尽可能完成复现。团队
CSS站长资源(ChinaZ.com)3月4日 消息:北大团队联合兔展启动了复现Sora的发起复现计划,该项目名为Open Sora。计划这一举措的神响背后是资源有限的情况下,团队希望汇集开源社区的团队力量,以尽可能完成复现工作。发起复现
项目的计划核心团队由北大信息工程学院助理教授袁粒和北大计算机学院教授田永鸿等领导,共有13名成员。除了团队成员外,北大校友和AnimateDiff贡献者等也积极响应,并有人表示愿意提供高质量的数据集。
项目地址:https://top.aibase.com/tool/open-sora-plan
关于Sora的复现技术细节已经公布,项目框架包括三个主要部分:Video VQ-VAE、Denoising Diffusion Transformer和Condition Encoder。
为了解决Sora视频的可变长宽比问题,团队采用了上海AI Lab提出的FiT技术,实施了一种动态掩码策略。同时,团队还通过位置插值来处理可变分辨率,并使用Video VQ-VAE来支持可变时长的视频处理。团队已经初步实现了三个功能,并在项目主页上提供了两个demo,展示了10秒和18秒视频的重建效果。
尽管已经取得了一些进展,但团队面临着诸多挑战。目前的训练是在8个A100-80G上进行的,但仍然远远不够,而且需要更多的数据和GPU进行训练。团队已经完成了一些任务,包括采样脚本和在embeddings上添加类条件,但仍有一些待办事项需要完成。
项目的领衔者之一是袁粒,他是北大信息工程学院的助理教授,曾获得福布斯30岁以下亚洲杰出人物榜单的荣誉。另一位领衔者是田永鸿,他是北京大学博雅特聘教授,拥有丰富的科研经验和荣誉。
关于谁能率先发布中文版Sora的问题,目前仍然是一个未解之谜。在业内,有传言称字节可能会成为首个发布中文版Sora的公司。尽管有一些AI模型类似于Sora,比如最近出现的Boximator和Dreamina,但它们与Sora仍存在一定差距。然而,这个问题的答案还有待时间的揭晓。
Tags:
相关文章
因谷歌业绩低迷,AI相关公司市值损失1900亿美元
业界**划重点:**- 📉 **股市震荡:** 在微软和谷歌母公司Alphabet发布令人失望的季度业绩后,AI相关公司股市市值在周二损失了高达1900亿美元。- 🤔 **投资者谨慎:** 技术公司在AI ...
【业界】
阅读更多高德地图发布AutoSDK 750 车机升级多项功能
业界CSS站长资源ChinaZ.com)6月18日 消息:高德地图最近发布了AutoSDK750,这是面向汽车行业的一个全新升级,它带来了多项功能更新,包括新能源导航、多场景车道级安全预警、车道级导航5. ...
【业界】
阅读更多南非一学校粪便涌入操场 学生不愿上学 中国人出手拯救
业界快科技6月19日消息,盖茨基金会的首席执行官马克苏斯曼近期在清华大学进行了一次演讲,他分享了自己从南非记者转变为全球最大私人慈善基金会领导者的旅程。在演讲中,苏斯曼还讲述了一个将他的祖国南非和中国紧密 ...
【业界】
阅读更多