2018-2023 年模型参数规模变化

大模型参数量提升为重要技术路线之一，计算资源刚需属性凸显。据《中国人工智能系列白皮书》，预训练语言模型的研发过程中遵循经验法则——扩展定律（Scaling Law），即模型能力与任务效果将会随模型参数规模和预训练数据规模的增加，而不断改善；OpenAI亦证明了模型参数量上升是提升模型能力重要路径：OpenAI在研发GPT系列模型过程中，先后探索了GPT-1（1.1亿参数）、GPT-2（15亿参数）、以及GPT-3（1750亿参数）三个不同参数规模的模型，GPT-3在没有微调的情况下，可以仅通过In-context learning（上下文学习）完成多种任务，甚至在某些任务上超过当时最好的专用模型。

据《2023智能算力发展白皮书》（中国信息通信研究院等，2023.8），大算力满足人工智能高并发、高弹性、高精度的计算需求，在训练和推理过程中，能够提升效率和准确度；高性能的计算能力为机器学习、深度学习和自然语言处理等人工智能技术的发展提供了有力的支持，通过实现复杂任务的智能化，推动人工智能技术升级与应用。