您现在的位置是:深度 >>正文
大佬拆解Sora工作原理 看完你就知道Sora为什么这么牛了
深度3456人已围观
简介CSS站长资源ChinaZ.com)2月21日 消息:Sora是一款独特的视频生成工具,其工作原理深入浅出,值得我们深入了解。something new/old创始人brett goldstein在X ...
CSS站长资源(ChinaZ.com)2月21日 消息:Sora是大佬一款独特的视频生成工具,其工作原理深入浅出,拆解值得我们深入了解。工作something new/old创始人brett goldstein在X上给大家拆解了Sora工作原理,原理通俗易懂。看完
Sora的知道工作原理结合了扩散模型和Transformer架构。扩散模型从噪声开始,大佬逐渐精细化到所需的拆解视频。而Transformer架构则负责处理连续的工作视频帧,确保视频中的原理动作流畅自然。
Sora的看完独特之处在于其处理视频生成的方法。它不是知道直接将文本转换为视频帧,而是大佬依赖于所谓的“空间时间补丁”。这种方法不直接将文本转换为视频帧,拆解而是工作处理空间(发生的事情)和时间(何时发生)的快照。这可以看作是微观视频拼图的每一小块。
时空立方体:
通过这种方式,Sora将视频视为一个包含空间和时间维度的巨大立方体,然后再将其切割成更小的立方体,每个立方体代表空间和时间的片段。
剖析描述并确定了核心要素:
• 物体(盛开的花朵、阳光普照的窗台)
• 行动(随着时间的推移而增长)
• 位置(郊区环境)
• 甚至艺术风格(定格动画美学)
为了能够将这些补丁有意义地组合成一个连贯的视频,Sora利用了其内部的知识图谱。这些知识图谱包含了关于物理世界、对象如何相互作用,甚至包括不同艺术风格的信息。借助这些知识,Sora能够理解例如一朵花如何逐渐开放、如何与阳光互动以及如何保持停动画风格等复杂过程。
在视频生成的下一阶段,扩散模型开始对每个嘈杂、抽象的补丁进行处理,逐渐精细化,直至最终呈现出清晰的图像。而Transformer架构则负责分析时间跨度上补丁之间的关系,确保视频中的动作流畅自然,停动画风格在整个视频序列中保持一致。
尽管Sora能够执行各种与视频相关的任务,并展现出惊人的视频生成能力,但仍有一些挑战需要克服。例如,它在模拟一些基础物理互动的精确性方面还有待提高,有时会产生不自然的效果,如人物的手势看起来不够真实。尽管如此,Sora在视频生成技术方面展示了巨大的潜力,为未来的人工智能应用开辟了新的可能性。
拆解原文地址:https://twitter.com/thatguybg/status/1759935959792312461
猜你想看:
Sora怎么用?sora提示词大全:超100个Sora专属提示词
sora怎么用?sora从哪里下载?sora提示词教程 附30个sora提示词案例
Sora怎么用?附详细Prompts及使用入口地址
Tags:
相关文章
奇瑞回应徐奶奶车被奔驰男砸:我们的车主奶奶我们自己宠 已送新车瑞虎9代步
深度快科技2月1日消息,近日,71岁徐奶奶自驾奇瑞与奔驰男子发生行车纠纷并被砸引擎盖一事持续发酵。视频中,老人驾车在轮渡港口排队时,被一辆奔驰车加塞辱骂,引擎盖被对方砸出坑。据了解,视频中徐奶奶驾驶的是瑞 ...
【深度】
阅读更多Midjourney发布random功能 可基于提示词生成完全随机的图像风格
深度CSS站长资源ChinaZ.com)4月23日 消息:今天,Midjourney发布了一个有趣的功能,可以基于提示词生成完全随机的图像风格。使用方式:在提示词后添加 --sref random,如果找 ...
【深度】
阅读更多90后二次元北大校友做出AI漫画创作工具,融资千万
深度AI绘画已经火了两年,但仍有一群人并不满意。对于他们,仅仅是一张极尽精致的图片还不够,他们希望为画中的人物赋予更完善的性格、好恶、身世、人际关系、世界观,让Ta有血有肉,仿佛真实存在。“这就是为什么我 ...
【深度】
阅读更多