英伟达研究团队近日推出开源框架Polar，为代码智能体训练开辟新路径。该框架允许Codex、Claude Code、Qwen Code等现有智能体框架在不改变原有工具调用方式的前提下，接入GRPO（广义相对策略优化）训练体系，有效解决了传统强化学习环境适配难题。
GRPO作为面向强化学习的优化方法，通过奖励信号动态调整模型策略，使智能体在多步决策任务中逐步优化行为模式。在代码生成领域，该技术可帮助模型在真实工具调用和代码补丁提交过程中持续改进，特别适用于代码仓库修改、浏览器自动化操作等复杂长流程任务。这类任务通常依赖现成执行框架，涉及多轮工具调用、上下文管理和子智能体协作，传统方法难以直接适配强化学习环境接口。
Polar框架的创新之处在于其非侵入式设计。研究团队选择在模型API边界部署智能体，而非重构现有执行框架。这种设计避免了将智能体运行外壳（如Codex CLI、Claude Code等）改写为标准环境接口（env.init/env.step/env.reset）的高成本操作，同时完整保留了原生执行细节。实验数据显示，基于Qwen3.5-4B模型的测试中，四种代码执行框架在接入Polar后，SWE-Bench Verified的pass@1指标均获得显著提升：Codex从3.8%跃升至26.4%，Claude Code从29.8%增至34.6%，Qwen Code从34.6%提升至35.2%，Pi框架则从34.2%增长到40.4%。
系统架构方面，Polar采用双组件设计：rollout server负责任务调度、状态管理和回调处理，gateway node则管理执行全生命周期，包括运行时初始化、框架准备、轨迹构建和资源回收。通过将初始化、运行和后处理流程拆分为独立工作池，并引入READY缓冲区机制，系统实现了运行时预热与评测预热的并行执行，有效减少了长尾任务对GPU训练的阻塞。在效率优化实验中，prefix_merging技术使三个训练步骤的更新次数从1185次降至218次，墙钟时间缩短至35.2分钟（原189.5分钟），rollout GPU利用率从20.4%提升至87.7%。
该框架兼容Anthropic、OpenAI和Google风格的API请求，在请求转发过程中自动记录提示词、采样Token、对数概率和响应内容，并将这些数据重构为训练器可用的轨迹格式。这种设计既保持了与现有智能体框架的兼容性，又为强化学习训练提供了完整的数据流支持，为代码生成领域的大规模模型优化提供了新的技术范式。
