
服务器构成:主要硬件包括处理器、内存、芯片组、I/O (RAID卡、网卡、HBA卡)、硬盘、机箱(电源、风扇)。以一台普通的服务器生产成本为例,CPU及芯片组大致占比50%左右,内存大致占比15%左右,外部存储大致占比10%左右,其他硬件占比25%左右。
服务器的逻辑架构和普通计算机类似。但是由于需要提供高性能计算,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
服务器市场规模持续增长。根据Counterpoint的全球服务器销售跟踪报告,2022年,全球服务器出货量将同比增长6%,达到1380万台。收入将同比增长17%,达到1117亿美元。根据IDC、中商产业研究院,我国服务器市场规模由2019年的182亿美元增长至2022年的273.4亿美元,复合年均增长率达14.5%,预计2023年我国服务器市场规模将增至308亿美元。
大模型参数量持续提升,对于算力资源需求提升。GPT模型对比BERT模型、T5模型的参数量有明显提升。GPT-3是目前最大的知名语言模型之一,包含了1750亿(175B)个参数。在GPT-3发布之前,最大的语言模型是微软的Turing NLG模型,大小为170亿(17B)个参数。GPT-3的paper也很长,ELMO有15页,BERT有16页,GPT-2有24页,T5有53页,而GPT-3有72页。回顾GPT的发展,GPT-1只有12个Transformer层,而到了GPT-3,则增加到96层。其中,GPT-1使用无监督预训练与有监督微调相结合的方式,GPT-2与GPT-3则都是纯无监督预训练的方式,GPT-3相比GPT-2的进化主要是数据量、参数量的数量级提升。