DeepMind发布Gecko:专注于文档检索 性能媲美大7倍模型

2024-07-04 05:00:35 分类：热点 阅读(8)

划重点:

⭐️ Gecko 是发布一种通用的文本嵌入模型，可用于训练文档检索、专注于语义相似度和分类等任务。文档

⭐️ Gecko 通过从 LLM 中提炼知识，检索并融入到检索器中，媲美实现了强大的大倍检索性能。

⭐️ 在大规模文本嵌入基准上，模型具有256个嵌入维度的发布 Gecko 优于具有768个嵌入尺寸的现有模型。

CSS站长资源（ChinaZ.com）4月7日 消息:谷歌 DeepMind 发布了一种名为 Gecko 的专注于文本嵌入模型，专注于文档检索、文档语义相似度和分类等多种任务。检索文本嵌入模型在自然语言处理中扮演着重要角色，媲美通过将文本转换为高维向量空间中的大倍向量表示，实现捕捉文本的模型语义信息。

Gecko 通过从 LLM 中提炼知识，发布然后融入到检索器中，实现了强大的检索性能。在大规模文本嵌入基准上，具有256个嵌入维度的 Gecko 表现优异，超越了具有768个嵌入尺寸的现有模型。

该研究为多个任务创建了通用嵌入模型，利用 LLM 生成的合成数据集 FRet 进行训练，并得到 LLM 的支持。

研究结果显示，Gecko 在与大7倍模型和5倍高维嵌入进行比较时，取得了相竞争的结果。Gecko 的出现为改善信息检索系统提供了一种强大的替代方案，同时在分类、STS 和摘要方面也达到了新的 SOTA 水平。

论文地址:https://arxiv.org/pdf/2403.20327.pdf