标题：RL与LLM融合：探索人工智能新境界的四层阶梯
在人工智能领域，2025年见证了强化学习（RL）在大型语言模型（LLM）后训练时代的显著崛起。随着Sutton和Barto荣获图灵奖，以及David Silver在RL Conference上的预言——“RL的关注终将超越LLM带来的低谷”——这一趋势正以惊人的速度成为现实。
在即将结束博士生涯之际，作者孙浩回顾了过往的研究，并借鉴了David Silver在RL Conference上的思想，撰写了这篇文章。文章旨在探讨RL与LLM结合的现状与未来，特别是在“RL终于泛化”（Shunyu Yao语）的时代背景下。
目前，RL与LLM的成功很大程度上归功于逆强化学习（Inverse RL）和数据驱动的奖励模型。RL擅长在各种任务中找到比人类专家更出色的策略，如棋类游戏和即时策略游戏，它还能不断优化系统性能，其解决方案往往能给人类带来启发。而LLM，如Sora、StableDiffusion和GPT等，则在理解用户意图、生成满意内容方面表现出色，但缺乏RL的创造力、持续进步和纠错能力。
那么，是否存在一种系统，既能像数据驱动的LLM一样理解并帮助人类，又能像RL一样不断迭代、纠错和变强呢？答案是肯定的。RL可以增强LLM在特定任务上的性能，而LLM则可以通过自然语言为媒介，更容易地将RL系统的创造力用于启发人类。这种结合在多个领域取得了显著成果，如数学领域的AlphaProof+Alpha Geometry2获得IMO银牌，以及通用聊天领域的RLHF研究。
然而，将RL+LLM范式推广到更多场景仍面临挑战。作者认为，当前的LLM对齐（Alignment）是一种数据驱动（人类经验驱动）的RL，逆强化学习是其中最自然和简单的方案。LLM从人类生成的数据或反馈中学习，这符合Silver和Sutton提出的“以人类为中心的AI”理念。
接下来，作者提出了RL+LLM发展的四个不同阶段，与人类的学习过程相类比：
第一阶段：数据驱动的RL。这一阶段主要通过人类经验或反馈来构建奖励模型，从而解决缺失奖励函数的问题。这种方法在数学任务中取得了显著成果，提升了模型的泛化能力。然而，奖励模型的过拟合风险不容忽视，可能导致奖励黑客行为（Reward Hacking），即模型为了获得更高奖励而采取与奖励设计初衷相悖的行为。
第二阶段：从游戏中学习。游戏作为定义良好的完整马尔可夫决策过程（MDP），为RL提供了廉价且有效的模拟环境。通过在游戏中的自我对弈（Self-Play），LLM可以不断提升理解、推理、规划和指令跟随能力。然而，这一阶段仍面临诸多挑战，如任务选择、输入输出表示、能力泛化等。
第三阶段：在虚拟世界中的经验。随着虚拟世界的不断发展，Agent与虚拟世界的交互成为可能。Agent可以完成用户定义的任务，并提供任务成功的反馈。这种反馈是一手的、真实的、on-policy的，有助于Agent从失败中学习。然而，这一阶段也面临持续学习能力、RL的可扩展性、Agent个性化等挑战。
第四阶段：在物理世界中的经验。与物理世界的真实交互是人工智能的未来。然而，硬件成本和伦理问题是两大挑战。尽管硬件成本会随着技术进步而降低，但风险和伦理问题仍需更多思考。特别是在智能（辅助）驾驶等场景中，如何确保系统的安全性、可靠性和伦理性成为关键。
作者还强调了人类学习过程的启示。人类通过语言学习、与世界交互、习得书写和文字等方式不断提升能力。这一过程与LLM+RL的发展阶段相呼应，从数据驱动到游戏、虚拟交互再到物理交互，逐步逼近人工智能的终极形态。
在文章结尾部分，作者提到RL与LLM的结合正处于快速发展阶段，但仍需解决诸多挑战。这一领域的未来发展将充满机遇与挑战，需要更多研究者、工程师和哲学家的共同努力。
