您现在的位置是:业界 >>正文
AI实时绘画系统StreamMultiDiffusion 支持局部涂抹+提示生成图片
业界2283人已围观
简介CSS站长资源ChinaZ.com)3月15日 消息:近期,一篇名为"StreamMultiDiffusion"的论文提出了一种新颖的实时、交互式的文本到图像生成系统。这种系统能够 ...
CSS站长资源(ChinaZ.com)3月15日 消息:近期,实时生成一篇名为"StreamMultiDiffusion"的绘画论文提出了一种新颖的实时、交互式的系统文本到图像生成系统。这种系统能够根据用户提供的支持手绘区域和相应的语义文本提示来生成图像,为专业图像创作者提供了一个强大的局部工具,可以用于快速原型设计和创意探索。涂抹提示图片
项目地址:https://github.com/ironjr/StreamMultiDiffusion
扩散模型在文本到图像合成领域取得了巨大成功,实时生成成为了图像生成和编辑的绘画有前途的候选者。然而,系统将这些模型用于实际应用仍面临两大挑战:一是支持需要更快的推理速度,二是局部需要更智能的模型控制。这两个目标需要同时满足,涂抹提示图片才能在实际应用中发挥作用。实时生成为了解决这些挑战,绘画作者提出了StreamMultiDiffusion框架。系统
该框架是第一个实时基于区域的文本到图像生成框架。通过稳定快速推理技术并重构模型为新提出的多提示流批处理架构,实现了比现有解决方案更快的全景图生成速度,并在单个RTX2080Ti GPU上实现了基于区域的文本到图像合成的1.57FPS生成速度。
该框架引入了几种关键技术。首先是Latent Pre-Averaging,在推理的每个步骤中,先对中间潜在表示进行平均,以适应快速推理算法。其次是Mask-Centering Bootstrapping,在生成过程的前几步中,将每个遮罩的中心点对齐到图像中心,以确保对象不会被遮罩边缘切断。再次是Quantized Masks,通过量化遮罩来控制提示遮罩的紧密度,从而在不同噪声水平下平滑地融合生成区域。
此外,StreamMultiDiffusion还引入了一个名为Semantic Palette的新概念,这是一种交互式图像生成范式,允许用户通过手绘区域和文本提示实时生成高质量图像。这种方法类似于使用画笔在画布上绘制,但使用的是文本提示和遮罩。例如,用户可以在红色区域生成人物,在耳朵和尾巴区域标记为狗,系统会根据涂抹的区域生成长着狗狗耳朵和尾巴的人物。
论文中的实验结果表明,StreamMultiDiffusion在全景图生成和基于区域的文本到图像合成方面,相比于现有的MultiDiffusion方法,实现了显著的速度提升,同时保持了图像质量。这证明了该系统在实际应用中的巨大潜力和价值。
Tags:
相关文章
同比增长105.8%!理想汽车:2024年1月交付新车达31165辆
业界快科技2月1日消息,今日,理想汽车公布了2024年1月的交付数据。数据显示,2023年1月理想汽车交付15141辆,2024年1月理想汽车交付31165辆,同比增长105.8%。且2020、2021、 ...
【业界】
阅读更多冰淇淋重回5元时代 “雪糕刺客”淡出消费者视线
业界近日,“冰淇淋重回 5 元时代”成为网络热议的话题,反映了雪糕冰淇淋市场的新变化。媒体报道指出,今年雪糕和冰淇淋的价格逐渐回归理性,主流价格区间已稳定在 3 至 5 元每支,显示出网红品牌的影响力逐渐 ...
【业界】
阅读更多马斯克:SpaceX星舰第四次试飞准备就绪
业界快科技6月3日消息,SpaceX首席执行官埃隆马斯克在社交平台X发文称:星舰已准备好起飞。回顾今年3月,星舰在第三次尝试中成功完成了近乎完美的太空飞行测试。这次飞行不仅首次达到了轨道速度,更是打破了以 ...
【业界】
阅读更多