近期,人工智能领域的巨头OpenAI再次成为业界关注的焦点。其高级研究副总裁Mark Chen在一场炉边谈话中,针对近期流传的“Scaling Law撞墙论”进行了正式回应,并分享了OpenAI在AI模型发展上的最新进展。
Mark Chen明确表示,他并未观察到Scaling Law遭遇瓶颈的迹象。相反,OpenAI已经通过o系列和GPT系列两个模型,成功延续了模型的扩展性。他强调,OpenAI已经准确识别并掌握了需要解决的技术挑战。
在谈到OpenAI的最新成果时,Mark Chen特别提到了o1模型。他表示,o1不仅代表了一种能力上的提升,更是一种安全上的改进。通过引入推理器,o1能够在面对潜在的安全问题时,进行更多的思考和反思,从而变得更加稳健。
在经济价值方面,OpenAI已经成为最具价值的科技公司之一。其AI模型已经从解决小学数学题,发展到能够解决最难的博士生题目。Mark Chen指出,AI模型正在逐步解决人类历史上最困难的考试,而下一步则是为世界提供实用性和价值。
在AGI(通用人工智能)的发展路径上,OpenAI提出了一个框架,定义了从基本推理者到更智能系统,再到能在现实世界中采取行动的模型,最终到达更自主、完全自主的系统的不同级别。Mark Chen表示,稳健性和推理能力是这一过程中的关键因素。
在合成数据方面,OpenAI也取得了显著进展。合成数据是由模型生成的数据,而非人类直接产生。在训练像DALL-E这样的模型时,OpenAI就充分利用了合成数据的力量。通过为图片生成高保真标题,再为整个数据集重新生成捕获,OpenAI证明了这种方法的有效性。
Mark Chen还分享了OpenAI在推理模型Scaling上的最新发现。他们探索了一系列模型的测试时Scaling范式,发现这些模型正在迅速发展。他还透露了o1的推理直觉是如何产生的。这是OpenAI研究者经过长时间工作和探索性尝试后,通过连接系统一和系统二之间的鸿沟而实现的。
最后,Mark Chen还表示,OpenAI仍然像早期那样致力于研究和安全。他们管理着一个庞大的研究项目组合,并一直在思考如何平衡探索性研究和短期即时项目之间的资源分配。与许多大型基础实验室不同,OpenAI选择了有信心的探索性项目,并在这些领域内给予了研究者很大的自由度。