您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。• 根据IDC 测算,国内智能算力规模正在高速增长,2021 年中国智能

• 根据IDC 测算,国内智能算力规模正在高速增长,2021 年中国智能

分享
+
下载
+
数据
• 根据IDC 测算,国内智能算力规模正在高速增长,2021 年中国智能
数据
© 2026 万闻数据
数据来源:国信证券经济研究所整理,OpenAI
最近更新: 2024-02-17
补充说明:1、E表示预测数据;2、*表示估计数据;

数据描述

OpenAI没有公布Sora视频数据切割的细节,我们以Ze Liu等著《Video SwinTransformer(2021)》为例,输入一个尺寸为T×H×W×3的视频(此处T选取32,代表从视频中采样得到32帧,采样方法可自行选择,通常为等间隔采样,视频长度通常约10s;每帧包含H×W×3个像素),通过3D Patch Partition可以得到(T/2)*(H/4)*(W/4)个3D Patch( 尺寸为2*4*4*3), 即为Tokens, 之后再经过Video Swin Transformer和PatchMerging获得多帧数据的高维特征,完成视频数据训练。根据《Willwerunoutof data?AnanalysisofthelimitsofscalingdatasetsinMachineLearning(Pablo等著,2022年)》披露数据,Youtube每分钟大约上传500小时视频,则我们可以得到Youtube一年增量视频数据为500×3600×24×365=157.68亿秒。通常分类任务视频为10s左右,对应采样帧数为32,假设每帧图片分辨率为1024×768,则10s视频对应的Token数量为(32/2)*(1024/4)*(768/4)=78.64万个Tokens,则Youtube一年增量视频数据为1.24e15个Tokens,假设使用Youtube一年增量视频数据对5000亿大模型完成一遍训练对应的算力需求为500B×1.24e15×6=3.72e27FLOPs。以英伟达H100为例,在FP16精度下算力为1979TFLOPS,仍假设芯片利用率为46.2%,则3.72e27FLOPs/(1979TFLOPs×46.2%×3600s×24h/天×30天/月)=156.98万张H100/月,即完成对视频数据的训练需使用156.98万张H100训练一个月(针对单一模型,仅计算Youtube一年增量视频数据);且后续Video Frame Interpolation(VFI,帧插值)模块仍需要算力支撑。

多模态大模型拉动全球算力需求快速增长,关注国产AI算力侧机会。AI训练算力同大模型参数、训练Token数量成正比例关系,在模型参数量不变的条件下,训练Token数量的增长会拉动训练算力需求的增长。经我们测算,视频等训练素材将对应巨量的Token数量,进而拉动全球AI算力需求快速增长,我们持续看好国产算力需求提升,建议关注国产AI算力龙头公司海光信息。

宏观经济复苏不及预期,云厂商资本开支不及预期,市场竞争加剧,产品研发不及预期,国产AI算力芯片导入不及预期等。