
量为1750亿,算力消耗为3640PF-days(即每秒运算一千万亿次,运行3640天),需要至少1万片GPU提供支撑。据统计,当模型参数扩大十倍,算力投入将超过十倍,模型架构、优化效率、并行处理能力以及算力硬件能力等因素均会影响具体增加的倍数。当前,大模型发展带来的算力需求增加远超算力产业的摩尔定律增速,据A.Mehonic&A.J.Kenyon的测算(如下图),2010年以前,AI训练应用的算力需求每24个月翻倍,但2012年后每3.4个月就会翻一番,2018年后该数据缩短至2个月。
大模型快速演进拉动算力基础设施需求增长。IDC测算结果显示,2022年中国智能算力规模达259.9每秒百亿亿次浮点运算(EFLOPS),2023年将达到414.1 EFLOPS,预计到2027年将达到1117.4 EFLOPS;通用算力规模预计到2027年达到117.3 EFLOPS。传统计算基础设施难以满足大模型时代对于算力、存储和网络的高性能需求,伴随算力规模快速扩大,市场要求技术提供商构建软硬件生态,以优质算力加速模型开发,AI硬件市场空间进一步扩大。