在中国科技界，一场围绕十万卡集群的竞赛正在悄然展开。多家国内科技巨头正积极投入资源，以支撑大模型的快速发展。在百度世界2024大会上，百度集团执行副总裁、百度智能云事业群总裁沈抖透露，百度在打造十万卡集群方面取得了两大关键突破，为大模型的高速发展提供坚实支撑。
百度创始人李彦宏在大会上透露，文心大模型的日均调用量已达到15亿，短短六个月内实现了从2亿到15亿的飞跃。这一显著增长不仅证明了大模型的市场潜力，也反映了企业对大模型和生成式AI技术的强烈需求。李彦宏表示：“‘应用来了’，这是我们对当前大模型和生成式AI的判断。”
随着大模型应用的不断涌现，中国云厂商也在积极调整策略，以应对客户快速增长的算力需求。尽管受到投入和芯片供应的限制，中国云厂商的表现相对稳健，但也在逐步向十万卡集群迈进。百度杰出系统架构师王雁鹏表示，近年来，他频繁接触到高校客户，他们对算力的需求显著增加。特别是今年诺贝尔物理学奖和化学奖颁给人工智能相关专家后，AI for Science成为研究热点，高校对智算基础设施的投入也大幅增加。
车企也是当前智算市场的重要客户。一位大型车企人士表示，用户对智驾技术的需求正在迅速增长，端到端智驾技术已成为行业主流方案。未来1-2年内，车企智算算力有望再翻两番左右。在教育行业，好未来集团CTO田密表示，大模型为教育行业带来了新的曙光，可以实现大规模因材施教。好未来已推出九章大模型MathGPT，并在百度智能云上租赁数千卡算力，以支持其AI教育科技的发展。
除了教育和车企，餐饮、能源等多个行业也在积极探索大模型的应用。百胜中国CTO张雷表示，百胜中国是最早开始使用生成式AI的餐饮企业之一，已采用百度智能云的客悦AI智能客服系统，每天协助处理超15万次消费者沟通。国家电网也在与百度合作，基于文心大模型和千帆平台，探索AI原生应用，以推动电力行业的高质量发展。
随着大模型应用的不断落地，算力与算法的重要性开始对等，企业的投入比例也发生了变化。一位车企人士表示，过去在智驾研发中，人力、数据和算力的投入比是6：2：2，而现在端到端智驾研发中，算力投入占比已高达50%甚至更高。这些企业纷纷选择与云厂商合作，以获取更稳定、高效的智算基础设施。
百度王雁鹏观察到，行业龙头企业的算力需求通常在1000卡到5000卡之间，而大模型创企的需求则高达万卡水平。这些企业在训练和推理过程中遇到了各种问题，对智算基础设施提出了高速网络互联、集群稳定性、资源利用率和大模型训练和推理工具等需求。这些需求与CPU云时代截然不同，给云厂商带来了新的挑战和机遇。
面对这些挑战，云厂商正在积极调整策略，以适应大模型时代的发展。百度从2009年开始使用GPU做集群加速，并逐步形成了丰富的技术栈，通过百度百舸异构计算平台解决了龙头企业在算力上的问题。长安汽车与百度智能云合作，应用百舸平台提升了GPU利用率40%以上。视频大模型创企生数科技也基于百度百舸平台推出了自研视频大模型Vidu，并在影视、动画、文旅等领域实现落地。
在海外，美国市场的算力竞争已进入十万卡甚至百万卡集群的级别。微软计划向OpenAI提供约30万个英伟达最新GB200图形处理器，而OpenAI也在与甲骨文合作建设超级数据中心。面对国际竞争的压力，中国云厂商也在加速追赶。百度已解决了十万卡集群的两个难题：一云多芯混合训练效能折损控制在5%以内，跨地域机房部署性能折损控制在4%以内。这些技术突破为中国云厂商在十万卡集群竞赛中赢得了先机。
尽管Scaling Law的增速有所放缓，但中国云厂商仍在积极推动大模型技术的发展。他们通过与国内企业的合作，加速平台建设，推动大模型技术浪潮在市场的快速演进。未来，随着更多行业的加入和技术的不断进步，中国云厂商将在全球科技竞争中扮演更加重要的角色。
