Allen AI开源微调模型OLMo-7B-Instruct

2024-07-04 04:37:38 分类：业界 阅读(83482)

CSS站长资源（ChinaZ.com）2月29日 消息:Allen AI最近宣布开源了微调模型OLMo-7B-Instruct，源微这是调模一个真正意义上的开源项目。该模型是源微基于AI2的Dolma数据集构建的，该数据集包括了用于语言模型预训练的调模三万亿标记的开放语料库，还包括生成训练数据的源微代码。

官网：https://allenai.org/olmo

项目页：https://top.aibase.com/tool/olmo

此外，调模OLMo框架还包括四种7B规模模型变体的源微完整模型权重，每个模型至少训练了2T个标记。调模推理代码、源微训练指标和训练日志也都已提供，调模让用户可以轻松复刻微调过程。源微

为了帮助用户更好地评估模型性能，调模Allen AI还发布了用于开发中使用的源微评估套件。每个模型在训练过程中每1000步都有500多个检查点，调模并且提供了在Catwalk项目框架下的源微训练和评估代码。

这一系列的开源内容将使用户能够全面了解从预训练模型到RLHF微调模型的整个过程，为他们的研究和实践提供了强大的支持。Allen AI的举措为开源社区提供了更多可能性，促进了模型研究和应用的发展。