
大模型军备竞赛的浪潮下,算力需求快速增长。以GPT-3模型为例,随着模型朝更大体量的方向演进,参数量从GPT-3Small的1.25亿个增长到GPT-3 175B的1746亿个,一次训练所需的计算量从2.6PFlop/s-day增至3640PFlop/s-day。与此同时,在不同学习样本(包括小样本、单一样本、零样本)条件下的模型,随着参数量的提升均实现不同幅度的上下文学习能力改善,外在表现为语言准确率的提升。我们认为,随着大模型训练表现出越来越强大的实战能力,未来或将成为NLP训练的主流选择。
算力规模扩张或将带动算力硬件采购需求。训练与推理数据量增加、模型算法愈加复杂、应用场景的深入和扩展,带来了对算力需求的快速提升。据IDC,以半精度(FP16)运算能力换算,2022年中国智能算力规模约268EFLOPS,预计2026年智能算力规模将达到1271EFLOPS,22-26年CAGR将达48%;2022年中国通用算力规模约57EFLOPS,预计2026年达111EFLOPS,22-26年CAGR将达18%。我们认为,随着大模型持续迭代升级和AIGC各项应用的落地,市场对训练与推理算力需求与储存需求将持续旺盛增长,AI及通用服务器的市场空间将得到进一步扩张。