
•算力:据Epoch AI,美国掌握了全球大约70%的算力资源,中国只有15%-20%,尤其是对头部模型厂商来说,算力的差距使得Google有能力去尝试不同的模型架构而不用担心算力不足的问题(Titans架构本身依旧对算力消耗要求非常高),而国内在算力受限的背景下,无法尝试更大的模型参数。
•算法:目前在多模态领域,国内尚未找到如何用一套统一的tokens表示不同内容形态的方法,因此在原生多模态上与谷歌仍有差距。但在强化学习领域海外并没有明显的算法能力上的领先,并且由于算力的限制,国内的算法方向更多聚焦于实现训练推理效率的提升。
•数据:模型训练中,数据的质量和丰富度对模型性能影响至关重要,因此催生了Scale AI、Surge AI等数据标注的公司,但国内大厂本身拥有丰富的数据团队以及垂类应用场景,无论数据质量还是丰富度,都没有明显落后于海外。