Meta推新框架OPT2I 提高SD图像生成一致性

CSS站长资源（ChinaZ.com）3月28日 消息:Meta公司最近推出了一款名为OPT2I的推新提高图像新框架，该框架利用大型语言模型（LLM）来提高SD 图像从提示词到图像(T2I)的框架生成过程中的一致性。

OPT2I是生成一个优化框架，旨在提升T2I模型中的致性提示-图像一致性。它的推新提高图像工作流程始于用户输入的提示词，并通过迭代的框架方式生成修订后的提示词，目标是生成最大化一致性得分。

论文地址：https://arxiv.org/pdf/2403.17804.pdf

经过在两个数据集MSCOCO和PartiPrompts上的致性广泛验证，研究显示，推新提高图像OPT2I能够显著提高初始一致性得分，框架同时保持FID（一种评估生成图像质量的生成指标）并增加生成数据与真实数据之间的召回率。

OPT2I框架由三个主要部分构成:预训练的致性T2I模型、LLM以及一个自动提示-图像一致性评分器。推新提高图像该框架通过迭代地利用提示-评分对的框架历史记录，提出修订后的生成提示，从而生成更符合用户意图的图像。

此外，作者们还探讨了如何设计元提示（meta-prompt），以及如何通过反馈调整LLM的探索-利用权衡，以进一步提升模型的性能。总的来说，OPT2I框架为提高T2I模型的提示-图像一致性提供了一种新的有效方法。