
机器学习大模型点燃算力需求,全球算力规模快速增长。AIGC更关注如何利用深度神经网络自动生成新的创作内容,例如创作文章、图像、音乐等。前者往往在小数据集下也能得到较高准确率的输出,而后者则需要依赖大规模高质量的训练数据,海量数据的背后,是算力需求的爆发式增长。根据《通信世界》研究显示,以目前业界分析较多的通用语言模型GPT-3为例,它拥有1750亿个参数,仅训练阶段就需要10, 000张V100GPU持续运行约14.8天,整体算力消耗为625PFlops。而于23年3月发布的GPT-4不仅参数量增加了10余倍,其对应的算力需求也大幅增加。