2018-2022年AI大模型参数规模

综上，建议关注：（1）整机领域的紫光股份（具备稀缺的完整ICT解决方案能

力）、浪潮信息（国内AI服务器龙头）、中科曙光、拓维信息；（2）算力芯片领域的寒武纪、海光信息；（3）头部IDC厂商宝信软件等。

1.生成式AI快速发展显著拉动算力基础设施需求

算力是生成式AI发展的前提与核心，以ChatGPT为代表的诸多大模型平台在训练和推理阶段都需要大量算力基础设施的支持。在Transformer模型推出后，自2018年开

始，AI模型的参数近乎每年一个数量级的速度快速增长。模型的参数、数据集规模和训练、推理时所消耗的算力存在正相关关系。AI大模型对于AI算力的需求不仅存在于训练阶段，在各场景推理任务中也需要。大规模智能算力基础设施是各科技公司训练AI大模型的前提，正逐渐成为其在AI领域竞争的关键要素。

AI模型 发布时间 模型参数规模 训练数据量 所用算力 训练时间 训练成本

Transformer 2017年 - 6.9万个字符 8个P100 3.5天 3840美元

BERT 2019年 3.4亿 33亿文字 64个TPU 4天 1.5万美元

GPT-3 2020年5月 1750亿 570GB 355个GPU-年 1200万美元

MT-NLG 2021年10 5300亿 1.5TB 4480个GPU1个月 8500万美元

数据来源：《人工智能计算中心发展白皮书》，商汤招股说明书，微软官网，BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding，广发证券发展研究中心

AI大模型向参数规模更大、跨模态的方向发展，对AI算力资源的需求有望进一步增长。在Transformer模型推出后，自2018年开始，AI模型的参数近乎每年一个数量级的速度快速增长。模型的规模和训练、推理时所消耗的算力存在正相关关系。未来，

AI算力有望随着模型的参数量增大而增长。此外，多模态大模型中包含的较大比例的非结构化数据的计算需求也是拉动AI算力增长的重要因素。以A100为例，其对BERT自然语言模型推理运算性能为每秒1828次，而对3DU-Net医疗影像模型的推理运算性能为每秒4次。我们认为，多模态大模型所需处理的数据类型更多、算法更复杂的情况下，在应用和推理阶段对算力的消耗也更大。

图58：2018-2022年AI大模型参数规模表10：英伟达AI芯片对不同AI模型推理计算性能对比

A100 H100

DLRM（智能推荐模型） 282771 745480

BERT（自然语言模型） 1828 8007

RetinaNet（物体检测模型） 725 1479

RNN-T（语音识别模型） 13278 23106

3DU-Net（医疗影像模型） 4 7

数据来源：Arstechnica，广发证券发展研究中心数据来源：英伟达官网，广发证券发展研究中心

（1）GPU

英伟达23Q1业绩和23Q2指引均超市场预期，强化了算力需求的长期趋势。2023年

Q1，英伟达营收72亿美元，高于市场预期的65亿美元；净利润20亿美元，高于市场预期的15亿美元；其中数据中心业务43亿美元，高于市场预期的39亿美元；2023Q2指引，营收110亿美元，高于市场预期的72亿美元；毛利率70%，高于市场预期的67%。这反映了AI大模型在训练和推理阶段都存在较大的AI算力的需求。国内方面，截止2023年5月底，全国10亿以上参数规模的大模型已经发布了79个。AI大模型技术的通用化效果突破驱动了国内科技公司向生成式AI技术持续投入。展望2023年下半年，随着AI大模型训练量和应用量的持续提升，AI算力需求有望保持旺盛的态势。