2018-2021年全球AI大模型规模变化

包括ChatGPT在内的大模型在训练和推理阶段都需要大量算力的支持。在Transformer模型推出后，自2018年开始，AI模型的参数近乎每年一个数量级的速度快速增长。模型的规模和训练、推理时所消耗的算力存在正相关关系。AI大模型对于AI算力的需求不仅存在于训练阶段，在各场景推理任务中也需要。大规模智能算力基础设施是各科技公司训练AI大模型的前提，正逐渐成为其在AI领域竞争的关键要素。我们认为，未来，随着AI大模型的开发和应用，其有望驱动AI芯片和AI服务器等硬件需求的增长，利好寒武纪和浪潮信息等国产AI硬件公司。

of Deep Bidirectional Transformers forLanguage Understanding，广发证券发展研究中心

训练AI大模型所需的超大规模AI算力是主要壁垒。2020，OpenAI推出的GPT-3大模型拥有1750亿参数，使用了570 GB的数据进行训练，训练成本达到了1200万美元。

2021年，微软和英伟达使用了4480个GPU训练出的拥有5300亿参数的MT-NLG大模型，训练数据多达1.5TB，其训练成本更是高达8500万美元。科技公司开发AI大模型需要专有AI算力基础设施和足够资金的支持。我们认为，受限于资金和算力基础设施，中小规模的AI公司对AI大模型虽有强烈诉求但无力开发，未来或需要依靠公共部门或大型科技公司的算力和AI大模型。而商汤在战略上预计持续投入底层AI算力基础设施，建设AIDC，有望保持长期竞争力。