您现在的位置是:深度 >>正文

字节发布视频控制方式Boximator 比Runway运动笔刷更精确

深度89382人已围观

简介CSS站长资源ChinaZ.com)2月6日 消息:字节研究院发布了一个名为Boximator的视频控制方式,看起来相当不错。这种控制方式允许用户选择需要运动的物体,并绘制其结束位置和运动路径,物体将 ...

字节发布视频控制方式Boximator 比Runway运动笔刷更精确

CSS站长资源(ChinaZ.com)2月6日 消息:字节研究院发布了一个名为Boximator的字节视频控制方式,看起来相当不错。发布方式这种控制方式允许用户选择需要运动的视频物体,并绘制其结束位置和运动路径,控制物体将严格按照用户绘制的比笔刷位置和路径进行运动。与Runway的运动运动笔刷相比,Boximator可以更精确地控制物体的更精运动结束位置。

项目地址:https://top.aibase.com/tool/boximator

Boximator采用了硬性约束和软性约束两种约束机制。字节用户可以通过硬性约束选择视频中特定对象的发布方式条件帧,并通过这两种约束方式来指定该对象在未来画面中的视频位置、形状或运动轨迹。控制Boximator可以作为现有视频合成模型的比笔刷一个附加组件。

在训练过程中,运动为了保留原模型的更精知识,研究院选择冻结了原始权重,字节只对控制模块进行训练。引入创新的自我追踪技术,简化了学习框选对象与其关联的过程。

实验证明,Boximator在视频质量方面达到了行业领先水平,相较于基础模型有所提升,并在引入框选约束后进一步增强了效果。人类评估显示,用户更喜欢Boximator生成的视频效果,而不是基础模型的输出。

Tags:

相关文章