您现在的位置是:小程序 >>正文
NVIDIA GPU弱爆了!世界AI芯片升级4万亿晶体管、90万核心
小程序1人已围观
简介快科技3月14日消息,Cerebras Systems发布了他们的第三代晶圆级AI加速芯片WSE-3”(Wafer Scale Engine 3),规格参数更加疯狂,而且在功耗、价格不变的前提下性能翻 ...
快科技3月14日消息,爆世Cerebras Systems发布了他们的界A级万第三代晶圆级AI加速芯片WSE-3”(Wafer Scale Engine 3),规格参数更加疯狂,芯心而且在功耗、片升价格不变的亿晶前提下性能翻了一番。
2019年的体管第一代WSE-1基于台积电16nm工艺,面积46225平方毫米,爆世晶体管1.2万亿个,界A级万拥有40万个AI核心、芯心18GB SRAM缓存,片升支持9PB/s内存带宽、亿晶100Pb/s互连带宽,体管功耗高达15千瓦。爆世
2021年的界A级万第二代WSE-2升级台积电7nm工艺,面积不变还是芯心46225平方毫米,晶体管增至2.6万亿个,核心数增至85万个,缓存扩至40GB,内存带宽20PB/s,互连带宽220Pb/s。
如今的第三代WSE-3再次升级为台积电5nm工艺,面积没说但应该差不多,毕竟需要一块晶圆才能造出一颗芯片,不可能再大太多了。
晶体管数量继续增加达到惊人的4万亿个,AI核心数量进一步增加到90万个,缓存容量达到44GB,外部搭配内存容量可选1.5TB、12TB、1200TB。
乍一看,核心数量、缓存容量增加的不多,但性能实现了飞跃,峰值AI算力高达125PFlops,也就是每秒12.5亿亿次浮点计算,堪比顶级超算。
它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型,能在单一逻辑内存空间内存储24万亿参数,无需分区或者重构。
用它来训练1万亿参数大模型的速度,相当于用GPU训练10亿参数。
四颗并联,它能在一天之内完成700亿参数的调教,而且支持最多2048路互连,一天就可以完成Llama 700亿参数的训练。
WSE-3的具体功耗、价格没公布,根据上代的情况看应该在200多万美元。
Tags:
相关文章
史上开源大模型重磅登场!破纪录公开代码/权重/数据集/训练全过程,AMD都能训
小程序多年来,语言模型一直是自然语言处理NLP)技术的核心,考虑到模型背后的巨大商业价值,最大最先进的模型的技术细节都是不公开的。现在,真·完全开源的大模型来了!来自艾伦人工智能研究所、华盛顿大学、耶鲁大学 ...
【小程序】
阅读更多AMD RDNA4没有旗舰 但有全新光追
小程序快科技5月2日消息,AMD RDNA4架构的RX 8000系列虽然很遗憾不会有顶级旗舰,但也不是完全躺平,仍会有可取之处,比如光追。根据最新曝料,RDNA4架构的光追部分将会是完全重新设计的,而现在的 ...
【小程序】
阅读更多549元 小米米家风扇灯开启众筹:定制全光谱灯珠
小程序快科技5月2日消息,小米米家风扇灯目前已经开启众筹,众筹价为549元。在照明方面,米家风扇灯采用了定制全光谱灯珠,以太阳光光谱为基准,模拟真实光照效果。其Ra97显色指数确保了色彩的真实还原,参考教室 ...
【小程序】
阅读更多