廊坊新闻网-主流媒体,廊坊城市门户

生成式AI又添利器!英伟达推出超级芯片GH200 Grace,内存增3.5倍、带宽增三倍

2023-08-09 01:09:45 来源:华尔街见闻


(资料图片)

生成式AI又添强大助力,英伟达升级产品,推出GPU+处理器双强组合的超级芯片GH200 Grace,力求巩固AI芯片领域的霸主地位。

美东时间8月8日周二,英伟达发布新一代GH200 Grace Hopper平台,该平台依托于搭载全球首款HBM3e处理器的新型Grace Hopper超级芯片,专为加速计算和生成式AI时代而打造。

新平台旨在处理世界上最复杂的生成式AI工作负载,涵盖大型语言模型、推荐系统和矢量数据库,将提供多种配置。英伟达称,GH200将于2024年第二季度投产。

新平台采用的Grace Hopper超级芯片可以通过英伟达的NVLink技术连接其他芯片,共同部署在生成式AI的大模型上。这种技术让GPU能充分访问CPU内存,在双配置时提供合计1.2TB的快速内存。

相比前代平台,新平台的双配置内存容量增加3.5倍,带宽增加三倍,一个服务器就有144个Arm Neoverse高性能内核、8 petaflops 的 AI 性能和282GB的最新HBM3e内存技术。

HBM3e是一种高带宽内存,该内存比当前的HBM3快50%,提供总共10TB/秒的组合带宽,使新平台能运行比前代大3.5倍的模型,同时通过快三倍的内存带宽提高性能。

本周二,在计算机协会(ACM)计算机图形和交互技术特别兴趣组织(SIGGRAPH)的年度大会上发表主题演讲时,英伟达CEO黄仁勋将GH200称为“世界上最快的内存”。

黄仁勋说,为了满足生成式 AI 不断增长的需求,数据中心需要有针对特殊需求的加速计算平台。新的GH200 Grace Hopper 超级芯片平台提供了卓越的内存技术和带宽,以此提高吞吐量,提升无损耗连接GPU聚合性能的能力,并且拥有可以在整个数据中心轻松部署的服务器设计。

黄仁勋表示,在AI时代,英伟达的技术可以替代传统数据中心,投资800 万美元的新技术可以取代用旧设备建造的1亿美元设施,而且用电量可以减少20倍。“这就是数据中心在向加速计算转变的原因。你买的越多,越省钱。”

关键词: