您现在的位置是:热点 >>正文
Instant3D!上交大推新框架Bootstrap3D 显著提升3D生成能力
热点215人已围观
简介CSS站长资源ChinaZ.com)6月11日 消息:上海交大和香港中文大学的研究团队推出了一个名为Bootstrap3D的新框架,它通过结合微调的3D感知多模态大模型,能够自动生成任意数量的高质量多 ...
CSS站长资源(ChinaZ.com)6月11日 消息:上海交大和香港中文大学的上交升D生成研究团队推出了一个名为Bootstrap3D的新框架,它通过结合微调的大推3D感知多模态大模型,能够自动生成任意数量的新框D显高质量多视角图片数据,显著提升3D生成模型的著提能力。这个框架的上交升D生成合成数据集已经全面开源,供研究人员和开发者免费使用。大推
关键特点:
数据构建Pipeline:自动生成多视角图像数据和详细描述文本,新框D显是著提框架的核心创新之一。
文本提示生成:使用大语言模型生成创意和多样化的上交升D生成文本提示,为图像生成提供素材。大推
图像生成:结合2D扩散模型和视频扩散模型,新框D显根据文本提示创建单视图图像。著提
多视图合成:将单视图图像扩展为多视角图像,上交升D生成确保不同视角下的大推一致性。
质量筛选和描述重写:通过3D感知模型MV-LLaVA对图像进行质量筛选和描述文本的新框D显重写。
此外,研究团队还提出了**训练timestep重安排(TTR)**策略,优化去噪过程的不同阶段,解决多视图扩散模型训练中的图像质量和视图一致性问题。TTR策略限制合成数据的训练时间步,主要参与早期去噪阶段,而真实数据参与所有时间步的训练,提供高频细节和真实感。
实验结果证明,使用TTR策略的多视图扩散模型在图像-文本对齐、图像质量和视图一致性方面表现优异,有效提升了多视图生成的效果。
项目地址:https://top.aibase.com/tool/bootstrap3d
Tags:
相关文章
库克:iPhone 15系列用户满意度达99%!
热点快科技2月2日消息,在今天的2024财年第1财季2023年第四季度)电话会议上,苹果CEO蒂姆库克表示,iPhone 15系列的用户满意度达到了99%。当被问及如何看待iPhone 15系列的表现以及 ...
【热点】
阅读更多20款手机/手表正式升级鸿蒙4!六年前Mate 20重生
热点快科技3月6日消息,华为官方宣布,即日起,又有20款设备开放升级到HarmonyOS 4正式版本,都是一些几年前的手机、手表。其中,手机大多是2018-2019年左右发布的,比如说Mate 20系列是 ...
【热点】
阅读更多Meta投资人工智能推动视频推荐 融合Feed和Reels
热点CSS站长资源ChinaZ.com)3月7日 消息:Facebook母公司Meta正大力投资人工智能技术,作为其"到2026年的技术路线图"的一部分,旨在开发全新的人工智能推荐模型 ...
【热点】
阅读更多