
算力需求多样化:随着数字经济的崛起,算力需求逐渐走向多元化,如自动驾驶对算力需求集中在高性能、低延迟、实时性;而生成式AI由于需要大量GPU并行计算,对算力需求集中在稳定长时间输出能力上;边缘计算的需求点主要在于短距离和低时延。
未来伴随AI、5G、数字经济的持续发展,算力资源持续紧缺,算力调优将成为算力使用者的终身课题。无论是传统算力、智算算力、或边缘算力,都对算力具备相当持久的需求,未来技术的迭代创新、各类AI应用的渐次爆发、算力辐射范围从B端到C端的扩大,都会进一步加大算力资源的紧缺,无论是从效用角度、成本角度出发,算力调优都将成为算力使用方必须重视和投资的关键环节。
AI时代GPU成为核心处理器,分布式训练诉求提升。GPU采用并行计算方式,擅长处理大量、简单的运算,因此多适用于图像图形处理和AI推理。但是大模型复杂度日益提升,单卡GPU显存有限,无法满足训练需求,比如百度文心一言大模型有2600亿个参数,但是实际上一个80G显存的A800,算上训练中间的计算状态,只能存放10-20亿参数,存放2600亿的模型就需要100-200块GPU;此外,后续大模型训练需要更多参数和更多计算,由此产生的GPU需求更为庞大。为适应算力需求,需要联合多张GPU甚至多台服务器协同工作,分布式训练成为核心训练方式。