天脉资讯
财经视野 科技数码 探索发现 教育学习 娱乐红人 时尚秘籍 动漫电影 游戏天地 星座解读 宠物小乖 营养美食 大燕公益 商业快讯

百度或早于OpenAI发现AI扩展定律,前OpenAI高管证实

2024-12-30来源:天脉网编辑:瑞雪

近期,人工智能(AI)模型核心理论的起源问题引发了广泛讨论。据有关报道,中国科技巨头百度可能在OpenAI之前,就提出了关于大规模人工智能模型的关键理论。

在大模型开发中,“扩展定律”(Scaling Law)起到了至关重要的作用。这一理论指出,随着训练数据和模型参数的增加,模型的智能能力也会相应提升。该理论普遍被认为是OpenAI在2020年发布的论文《神经语言模型的扩展定律》中提出的,该论文在AI研究领域具有重要地位。

然而,有专家指出,中国可能在这些关键概念上早有探索。OpenAI的研究表明,通过增加模型的参数、训练数据和计算资源,可以显著提高模型的表现,且这种提升遵循幂律关系。这一发现对后续大规模AI模型的开发产生了深远影响。

值得注意的是,OpenAI论文的共同作者之一、前OpenAI研究副总裁及Anthropic CEO达里奥·阿莫代伊(Dario Amodei)在一次播客中透露,他在2014年于百度工作期间,就曾观察到类似的现象。这一发现可能意味着百度在扩展定律的研究上具有一定的前瞻性。

meta研究员、康奈尔大学博士生杰克·莫里斯(Jack Morris)也在社交媒体上发文称,扩展定律的最初研究可能是在百度的2017年,而非OpenAI的2020年。他提到,百度硅谷AI实验室在2017年发布了一篇论文,广泛探讨了机器翻译和语言建模等领域的扩展现象。

针对这一争议,清华大学计算机科学与技术系副教授刘志远表示,百度和OpenAI的研究是平行进行的,都具有重要意义。他强调,扩展定律是支撑涌现智能的基础性原则,广泛存在于自然、社会和人工系统中。同时,他也指出中国在大模型研究方面取得的显著进展,但仍面临计算资源瓶颈等挑战。

近期,中国在大模型领域的成就逐渐获得国际认可。在第二届人工智能数学奥林匹克竞赛中,阿里巴巴云计算推出的QwQ-32B推理模型表现出色,受到著名数学家陶哲轩的赞扬。在百度世界大会上,百度还宣布了一项旨在减少图像生成中“幻觉”问题的新技术,并透露其文心(Ernie)基础模型已处理了数十亿次日常API调用。