您现在的位置是:小程序 >>正文
CRM:上传图片生成3D模型,10秒搞定
小程序55735人已围观
简介划重点:1. 🚀Convolutional Reconstruction ModelCRM)是一种高保真度的前馈单图像到3D生成模型,充分考虑了稀疏3D数据的限制,强调了在网络设计中整合几何先验的必要 ...
划重点:
1. 🚀Convolutional Reconstruction Model(CRM)是传图成一种高保真度的前馈单图像到3D生成模型,充分考虑了稀疏3D数据的片生限制,强调了在网络设计中整合几何先验的模型秒搞必要性。
2. 🖼️CRM通过生成六个正交视图图像,传图成经过卷积U-Net处理,片生利用其强大的模型秒搞像素级对齐能力和显著的带宽,创建了高分辨率的传图成三平面
3. ⏱️ 模型在仅10秒内从图像中生成高保真纹理网格,无需任何测试时优化。片生
CSS站长资源(ChinaZ.com) 3月12日 消息:近期,模型秒搞清华大学的传图成研究团队在图像处理领域取得了重要进展,他们提出了一种名为Convolutional Reconstruction Model(CRM)的片生前馈式单图像到3D纹理网格生成模型。与传统的模型秒搞大型重建模型(LRM)相比,CRM在生成速度上表现出色,传图成同时克服了基于Transformer的片生方法在几何先验方面存在的不足。
传统的模型秒搞3D生成模型虽然在生成速度上有所突破,但由于Transformer方法未充分利用三平面组件的几何先验,导致在有限的3D数据和缓慢的训练情况下质量不佳。为了解决这一问题,研究团队提出了CRM,一个高保真度的前馈式单图像到3D生成模型。
CRM的关键观察是,三平面的可视化呈现出六个正交图像的空间对应关系。模型首先从单个输入图像生成六个正交视图图像,然后将这些图像输入卷积U-Net进行处理,利用其强大的像素级对齐能力和显著的带宽,创建高分辨率的三平面。与此同时,CRM采用Flexicubes作为几何表示,实现对纹理网格的直接端到端优化。
整个推理过程仅需要在A800GPU上花费约10秒的时间,其中包括U-Net的前向传播(不到0.1秒)、查询表面点的UV纹理和文件I/O。与传统方法相比,CRM从图像中仅需短短的时间就能生成高保真度的纹理网格,无需在测试时进行任何优化。
图中,展示了整个方法的流程。输入图像首先经过多视图图像扩散模型,生成六个正交图像。然后,另一个扩散模型用于生成基于这六个图像的CCMs(conditional convolutional masks)。最后,这六个图像和CCMs一起输入CRM,重建最终的纹理网格。
研究团队通过生成的纹理网格展示了CRM的性能,包括玫瑰、青蛙、大象、哆啦A梦、猫和校车等互动网格。同时,CRM还展示了其在创建类似乐高风格的对象方面的潜力。
在与现有方法的比较中,CRM展现出了卓越的性能和效率。研究团队通过BibTeX引用了他们的工作,这表明了对该模型的高度认可。
这一项研究为单图像到3D纹理网格的生成提供了一种新的前馈式模型,具有卓越的速度和质量,为图像处理领域带来了新的可能性。
项目入口:https://top.aibase.com/tool/crm
Tags:
相关文章
刘强东老家光明村就业率 2023年人均收入2.5万元 增长30%以上
小程序快科技2月3日消息,近日,京东创始人刘强东为江苏宿迁老家光明村1300多户村民送去了一份特别的年货千余件羽绒服。同时送去的还有7吨年货礼盒,每盒11斤,有22种年货,大人小孩都能吃。据媒体报道,在发放 ...
【小程序】
阅读更多马面裙成女性新中式的顶流:众多明星纷纷爱上马面裙
小程序3月8日消息,据国内多家媒体报道,近些年,新中式穿搭成潮流,今年众多明星更是纷纷爱上马面裙。在某跨年活动中,演员赵昭仪给素人用马面裙做穿搭,网友赞叹:马面裙才是新中式的顶流。公开报道显示,在各大电商平 ...
【小程序】
阅读更多免费AI背景移除工具iFoto算法升级,发丝都能扣得干净
小程序划重点:⭐️ 上传照片,点击一下即可免费在线移除背景⭐️ 支持产品、汽车、人物等照片背景去除⭐️算法升级,连发丝都可以扣得干干净净CSS站长资源ChinaZ.com)3月8日 消息:在电子商务领域,引 ...
【小程序】
阅读更多