
◼IDC预计23-26年我国智能算力复合增长率达47.58%,推理侧的算力需求也相当可观。根据IDC报告,2022年智能算力规模达到268EFLOPS(半精度FP16),预计2026年规模达到1271.4EFLOPS。训练阶段基于充裕的数据来调整和优化人工智能模型的参数,使模型的准确度达到预期。训练阶段结束以后,人工智能模型已经建立完毕,已可用于推理或预测待处理输入数据对应的输出(例如给定一张图片,识别该图片中的物体),此过程被称为推理阶段。推理阶段对单个任务的计算能力要求不如训练那么大,但是由于训练出来的模型会多次用于推理,因此推理运算的总计算量也相当可观。据IDC数据,2021年我国数据中心用于推理的服务器的市场份额占比已经过半;预计到2026年,用于推理的工作负载将达到62.2%。