
AI算力需求指数级增长,HBM为高带宽需求提供更优解决方案。根据GLOBE NEWSWIRE数据,2022年生成式AI市场规模为106亿美元,2032年将达到1519亿美元,年复合增长率预计为31.4%。包括ChatGPT在内的生成式AI服务场景多元,但其本质都是使用生成式对抗网络(GAN)等大模型来学习海量数据后创造新内容,对于算力需求极高,训练GPT-3、Megatron-Turing NLG 530B等超大语言模型所要求的算力提升速度呈数倍到数百倍的增长。
AI服务器需要在短时间内处理大量数据,而高带宽连接能够满足其对数据量和传输速率的需求。目前,高带宽GPU存储方案主要分为GDDR和HBM:
两个16位宽通道(32条数据线)将GDDR6 PHY连接到相关的SDRAM。GDDR6接口以每针16Gbps的速度运行,可以提供64GB/s的带宽。GDDR速度更快,但带宽不如HBM有优势。
HBM:通过3D堆叠内存,HBM可以以极小的空间实现高带宽和高容量需求。HBM2每个堆栈最多包含8个内存芯片,每个封装256GB/s的内存带宽(DRAM堆栈)。HBM2E可以实现每堆栈461GB/s的内存带宽。连接到一个处理器的四块HBM2E内存堆栈将提供超过1.8TB/s的带宽。