您现在的位置是:自媒体 >>正文
苹果研究团队揭示WRAP技术:用合成数据进行预训练大模型 成本低准确性高
自媒体78人已围观
简介**划重点:**1. 🔄 **预训练效率提升:** WRAP应用于嘈杂的C4数据集,预训练速度提高了近三倍,显著降低了LLM训练的高昂成本和时间投入。2. 🚀 **模型性能提升:** WRAP在相同计 ...
**划重点:
**1. 🔄 **预训练效率提升:** WRAP应用于嘈杂的苹果C4数据集,预训练速度提高了近三倍,研究用合显著降低了LLM训练的团队高昂成本和时间投入。
2. 🚀 **模型性能提升:** WRAP在相同计算预算下使模型性能更出色,揭示技术据进通过使用Pile的成数不同子集,减少了超过10%的行预训练型成性高歧义,并在13种不同活动的大模零-shot问题回答准确性上提高了超过2%。
3. 📝 **重新构造网络文档:** WRAP使用中等规模的本低LLM对网络文档进行改写,以多种风格呈现。准确
CSS站长资源(ChinaZ.com)2月5日 消息:近几个月来,苹果大型语言模型(LLMs)在人工智能社区中引起了极大的研究用合关注和流行。这些模型在文本摘要、团队问答、揭示技术据进代码完成、成数内容生成等任务中展示出了强大的行预训练型成性高能力。
然而,LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构,表达不清晰。按照现有的扩展原则,即随着模型规模的增加,计算能力和数据量也应该成比例增加,这带来了挑战。
困扰研究人员的主要问题有两个。首先,预训练涉及显着的计算成本和时间。其次,互联网上高质量数据的稀缺性问题迫在眉睫。在最新的研究中,来自苹果和卡内基梅隆大学的研究团队通过引入Web Rephrase Augmented Pre-training(WRAP)的概念,解决了这些问题。
WRAP是一种创新方法,利用已存在的、经过指令调整的LLM。这个LLM用于将在线页面改写成特定风格,包括模仿维基百科的语气或将文本转换为问答格式。WRAP的主要目标是通过添加真实和人工改写的数据来提高LLMs的预训练效果。
图源备注:图片由AI生成,图片授权服务商Midjourney
WRAP的主要特点包括:
- **预训练效率:** 将WRAP应用于嘈杂的C4数据集,显著加快了预训练速度,约为三倍。这种效果对于减少与LLM训练通常相关的高昂费用和时间投入至关重要。
- **模型性能提升:** WRAP在相同的计算预算下使模型性能更出色。使用Pile的不同子集减少了超过10%的歧义,提高了13种不同活动的零-shot问题回答准确性超过2%。
- **网络文档改写:** WRAP使用中等规模的LLM对网络文档进行改写,呈现多种风格。这种方法不同于创建新数据,而是通过改进已有内容,保持原始信息的质量和多样性。
WRAP生成的合成数据有两个主要好处。首先,它包含反映应用中使用的语言多样性的各种风格。有了这种多样性,LLM更好地为更广泛的实际事件做好准备。其次,WRAP改写的合成数据比原始网络抓取的数据质量更高。这种质量的提升源于语言更有序、更连贯,从而促进更有效的模型学习。
WRAP是LLM预训练领域的一项重大进展。通过使用高质量、不同风格的合成数据,WRAP不仅加速了训练过程,还提高了LLMs的整体性能。考虑到低质量网络数据的丰富性和经典LLM训练方法的资源密集性,这种方法提供了一种可能的前进方式。
论文网址:https://arxiv.org/abs/2401.16380
Tags:
相关文章
AI写作引擎体验入口 人工智能文案创作工具免费在线使用地址
自媒体AI写作引擎是一款专注于内容和营销文案创作的智能工具,比GPT更智能,能够提升创作效率十倍。该引擎涵盖多个领域,包括新闻稿、文章、故事小说、论文大纲、总结报告等。通过AI写作引擎,用户可以轻松生成各种 ...
【自媒体】
阅读更多南京咖啡阿姨想趁热度帮寻亲:尽一份微薄之力
自媒体5 月 30 日,江苏南京的手冲咖啡大师韩阿姨,通过社交平台发布了一则充满温情与力量的视频。视频中,她不仅分享了自己独特的咖啡技艺,更传达了一个深沉而迫切的愿望——利用自己的影响力,帮助那些失去孩子的 ...
【自媒体】
阅读更多Motionshop完全指南:AI视频编辑工具 - 使用方法教程与免费体验入口
自媒体探索Motionshop能为你带来哪些改变为什么选择Motionshop?Motionshop不仅仅是一款产品——它是一项革命性的技术,致力于将视频中的人物自动转换为3D卡通角色。通过这项技术,Mot ...
【自媒体】
阅读更多