HBM 内存芯片需求从何而

　　Shoot

　　叠起来的内存芯片

　　想要在新的AI 时代保持优势地位，英伟达需要不断加快升级旗舰AI 芯片的脚步，而这一次的竞赛焦点变成了内存芯片。

　　近日，英伟达发布了最新款旗舰AI 芯片H200GPU，和其当前主力AI 芯片产品、被称为“AI 加速器”的H100 相比，H200 延用了Hopper 架构，峰值算力、功耗等指标两者大体相当；但是在集成更快、更大容量的HBM（High Bandwidth Memory，高带宽内存）的加持下，H200 内存带宽和容量大幅提升。

　　其实H100 使用的内存同样是第三代HBM，只不过H200 所用的内存芯片已经升级至更先进的HBM3e，显存带宽达到4.8TB/s，内存容量升至141GB，分别较H100 高出约43% 和76%。据芯片巨头美光介绍，HBM3e 在1 秒内可处理230 部全高清（FHD）级电影（5 千兆字节）。简单来讲，HBM3e 保证了H200 可以更快地从内存访问数据，以缩短应用程序处理时间，进一步加速包括生成式AI 大模型、高性能计算在内的各类计算任务。

　　HBM 到底跟其他内存芯片有什么不同，可以实现如此夸张的性能？其实最重要的是结构上的区别。

　　传统内存芯片比如DDR4 或GDDR5 的设计中，内存芯片和其他部件都是通过封装基板或者PCB（印制电路板）连起来，焊在GPU 周围，走的路径相对来说比较长。想提升性能就是把内存芯片做得更小，听起来简单但是天花板也出现得很快。

　　HBM 就要复杂一些了，它使用的是3D 堆叠技术，各个存储层之间通过垂直互连（Through-Silicon-Via，TSV）进行通信。再详细点讲，封装基板上一般会有一个硅片，以前这个硅片只是作为一个托盘使用，里面没有任何走线或者电路，大家都是平面的。但是HBM 技术是3D 的，垂直堆叠的内存芯片、逻辑模（logic die）之间需要用微管连接，微管最终要穿过硅衬底，连接GPU，这就是TSV——既要连接左右，又要连接上下。

　　这样一来，内存芯片需要的面积一下子缩小了很多，HBM2 就已经比GDDR5 直接省了94% 的表面积；同时，内存和GPU 距离更近，以至于单根内存条容量和性能大幅提升，进而提升整个显卡的性能。

　　不过HBM 也有缺点，即高生产成本和复杂的生产工艺。由于硅衬底作为连接内存堆栈和处理器的中介，在硅中介层中要完成精细的数据走线，并获得HBM 接口所需数量的数据线数，据媒体报道，HBM的平均售价至少是其他内存芯片的三倍，占英伟达GPU 成本的45%-50%。

　　三家厂商的比赛

　　随着云端AI 应用快速发展，尤其是大模型训练等场景爆发，GPU 内存带宽、容量时常成为算力之外的硬件“瓶颈”。因此，凭借容量大、位宽高的优势，HBM 几乎是如今高算力芯片的标配，这也让HBM背后的主要厂商更是信心满满，筹备扩产。

　　HBM 市场一直是三星、SK 海力士两家韩国大厂和美光三家的争霸赛。据市场调研机构集邦咨询数据，现在HBM 市场，SK 海力士是第一大厂商，以50% 的市占率稳居第一，三星、美光分别占据40%、10% 的份额。

　　三星近日宣布，计划在2024 年将其HBM 产能较2023 年提升2.5 倍，以维持业内最大的HBM供应能力。正在向AMD 供应HBM3 的SK 海力士也不甘示弱，宣布明年第四代HBM3 产品和第五代HBM3e 产品的供应量已完全售空，订单排到了2025 年。美光则在财报会上宣称，已经开发出了业界最好的HBM3e 产品，并将于2024 年初开始生产，主要大客户之一就是英伟达。

　　现在看来，只要AI 还在不断迭代，对于HBM的需求就不会停止。

关注读览天下微信， 100万篇深度好文， 等你来看……