Nvidia 为其“超级芯片”Grace-Hopper 提供更快的AI内存

英伟达计划明年推出一款所谓的“超级芯片”的增强版，它将 CPU 和 GPU 结合在一起，并配备更快的内存，以便将更多数据移入和移出芯片电路。Nvidia 首席执行官黄仁勋周二在洛杉矶 SIGGRAPH 计算机图形展上发表主题演讲时宣布了这一消息。

GH200 芯片是今年早些时候发布的 Grace Hopper 组合芯片的下一版本，该芯片的初始版本已在戴尔和其他公司的计算机中发货。 

另外：  Nvidia 推出了用于人工智能的新型以太网，Grace Hopper“超级芯片”已全面量产 

最初的 Grace Hopper 包含 96 GB 的 HBM 内存来为 Hopper GPU 提供数据，而新版本则包含 140 GB 的 HBM3e，这是高带宽内存标准的下一版本。HBM3e 将 GPU 的数据传输速率从原始 Grace Hopper 的 4 TB 提高到每秒 5 TB（万亿字节）。 

GH200 将在原版 Grace Hopper 之后一年推出，黄在 5 月份表示，该版已全面投产。 

他周二表示：“这些芯片已经投入生产，我们将在今年年底左右进行采样，并在第二季度末 [2024 年] 投入生产。”

与原版一样，GH200 在 Grace 芯片中具有 72 个基于 ARM 的 CPU 内核，在 Hopper GPU 中具有 144 个 GPU 内核。两个芯片通过高速缓存一致内存接口 NVLink 在电路板上连接，该接口允许 Hopper GPU 访问 CPU 的 DRAM 内存 

Huang 描述了如何将 GH200 连接到双配置服务器中的第二个 GH200，以获得总共 10 TB 的 HBM3e 内存带宽。 

升级 GPU 部件的内存速度对于 Nvidia 来说是相当标准的。例如，上一代 GPU——A100“Ampere”——从 HBM2 迁移到 HBM2e。 

由于视频游戏图形的 4K 显示器内存需求不断增加，HBM 于 2015 年开始取代之前的 GPU 内存标准 GDDR。HBM 是一种“堆叠”内存配置，各个内存芯片垂直堆叠在一起，并通过“硅通孔”相互连接，该“硅通孔”穿过每个芯片到焊接的“微凸块”到每个芯片之间的表面上。

AI 程序，尤其是像Chatgpt这样的生成式 AI程序，非常消耗内存。它们必须存储大量的神经权重或参数，这些矩阵是神经网络的主要功能单元。这些权重随着生成式人工智能程序（例如大型语言模型）的每个新版本而增加，并且它们正趋向于达到一万亿个参数。 

另外： 英伟达横扫人工智能基准，但英特尔带来了有意义的竞争

此外，在展会期间，英伟达还宣布了其他几款产品和合作伙伴关系。

AI Workbench是一个在本地工作站上运行的程序，可以轻松以容器化方式上传神经网络模型到云。AI Workbench目前正在注册用户以抢先体验。 

戴尔、惠普、联想等公司推出的用于生成人工智能的新工作站配置，以“RTX”品牌命名，将结合多达四个该公司的“RTX 6000 Ada GPU”，每个都有 48 GB 的内存。 Nvidia 表示，桌面工作站可以提供高达每秒 5,828 万亿次浮点运算（TFLOP）的 AI 性能和 192 GB 的 GPU 内存。