Sora文生视频火爆出圈！清华大学公布文生视频专利

2024-07-04 04:20:05 分类：资讯 阅读(86)

快科技2月20日消息，文生文生2月16日，视频视频OpenAI发布其首款文生视频大模型Sora。火爆

Sora可根据文字提示生成60秒视频，出圈输出视频堪比影视CG，清华一经发布火爆出圈。大学

据国家知识产权局网站显示，公布2月2日，专利清华大学申请的文生文生一种定制化多主体文生视频方法、装置、视频视频设备及介质”专利公布。火爆

专利摘要显示，出圈该申请提供一种定制化多主体文生视频方法、清华装置、大学设备及介质，公布涉及神经网络技术领域。

申请包括：获取多个主体分别对应的主体文本表述以及主体图像；基于多个主体分别对应的主体文本表述以及主体图像，获取混合文本以及组合图像。

将混合文本以及组合图像输入文生视频模型，生成第二噪声预测值，并基于第二噪声预测值与组合图像，获取第二损失和第三损失；基于第一损失、第二损失与第三损失，对文生视频模型进行优化，得到优化的文生视频模型。

该申请通过多种损失对文生视频模型的参数进行优化，使优化的模型基于文本描述生成视频中的图像时，文本描述与定制化主体保持一致，且在每个主体在生成过程中的特征不会发生混淆的同时消除合成痕迹。