您现在的位置是:知识 >>正文
全球!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T
知识175人已围观
简介快科技6月19日消息,据中国电信”官微发文,中国电信人工智能研究院TeleAI)联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T,成为国内首批发布稠密万亿参数大模型 ...
快科技6月19日消息,全球据中国电信”官微发文,中国中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T,电信单体成为国内首批发布稠密万亿参数大模型的发布机构。
面对大模型训练过程中算力消耗巨大的稠密参数挑战,TeleAI与智源通过深度研发,语义结合模型生长和损失预测等关键技术,模型成功推出了Tele-FLM系列模型。全球这一系列模型在算力资源的中国使用上,仅消耗了业界普通训练方案的电信单体9%,展现出极高的发布算力能效。
通过使用112台A800服务器,稠密参数TeleAI团队在短短4个月内完成了3个模型总计2.3T tokens的语义训练,全程无需任何调整和重试,模型充分证明了模型训练的全球稳定性和收敛性。
值得一提的是,Tele-FLM-1T版本即将开源,此举旨在为社区提供训练万亿稠密模型的技术参考,有效解决万亿模型训练收敛难等问题,进一步推动大模型技术的进步。
TeleAI不仅在技术创新上不断突破,还积极通过开源方式推动大模型技术的普及和国产化进程。他们接连开源了7B、12B、52B参数规模的大模型,这些模型在开源社区中引发了广泛讨论和使用,开源模型下载量已超过万次,吸引了超过40万用户
Tags:
相关文章
库克确认,苹果生成式AI功能将于今年晚些时候推出
知识**划重点:**1. 📱 苹果首席执行官蒂姆·库克证实,生成式人工智能软件功能将在今年晚些时候登陆iOS和其他苹果平台。2. 🚀 布隆伯格的报道表明,iOS18可能成为操作系统历史上最大的更新,库克的 ...
【知识】
阅读更多比尔盖茨晒外孙女温馨同框:房间硕大气派
知识快科技2月11日消息,比尔盖茨在微博晒出了自己与外孙女莱拉同框的照片,画面非常温馨。比尔盖茨配文:生日快乐,莱拉!你人生的第一年过得很充实我迫不及待地想看到你在第二年学到了什么、发现了什么、享受了什么 ...
【知识】
阅读更多刘谦含着眼泪离开春晚舞台:祝大家好运留下来
知识2月10日消息,据国内多家媒体报道,有网友发现,参加完春晚的刘谦是含着眼泪”离开的。刘谦通过个人微博发布祝福视频,祝大家好运留下来,烦恼丢出去。公开报道显示,央视春晚与魔术师刘谦从2009年开始,刘谦 ...
【知识】
阅读更多