
AI大模型训练需要更多运算单元的同时参与,算力难点之一是解决并行问题(AI训练网络强调点对点充分互联;成本压力下,AI推理网络仍需高性能网络)。
网络架构:两极格局,均有机会,本土RoCE等网络及400G以上光通信演进,是进一步重要趋势!(Nvidia子公司Mellanox代表的Inf iniBand网络阵营,是AI网络架构的新力量,优势是性能与生态;传统硬件与科技大厂为代表,则形成基于以太网底座的高性能网络阵营,优势是通用性与成本)。
中美对比:电信运营商的算网融合战略明确,体现资源复用率、梯次布局、算力整体优势,将是“中国式”算力大市场。
云端AI:存储、电源、PCB量价齐升(HBM突破算力内存墙,有望成为AI服务器标配;电源为算力能耗之基石,AI服务器单机价值量可达2.8万;PCB:GPU模块加入,主板面积提升,PCIe AI服务器合计PCB价值量约1.4万元/台,NVLink AI服务器PCB价值量约1.5万元/台。
端侧AI:云端下沉,带动消费电子终端变革(高通、Intel发布集成NPU(AI计算)的SoC;“安迪-比尔”定律有望在生成式AI中继续演绎,国内外手机厂陆续跟进)。