微软14B参数模型挑战671B巨型AI 智能体强化学习重新定义数学推理
微软研究院开源的rStar2-Agent模型在AI数学推理领域引发关注,这款140亿参数的模型通过创新的智能体强化学习技术,在多微软项数学基准测试中超越了参数量达6710亿的DeepSeek-R1模型。
rStar2-Agent的核心创新在于摒弃了传统的思维链方法14,转而采用智能体交互机制。该模型能够自主规划推理过程,调用Python代码执行工具进行验证,并根据反馈调整推理步骤,避免了传统CoT方法B参中常见的错误累积问题。
在权威的美国数学邀请赛基准测试中,rStar2-Agent表现突出。在AIME24数据集上,其pass@1准确数模率达到80.6%,超越DeepSeek-R1的79.8%、o3-mini的79.6%和Claude Opus4.0的77.0%。在AI型挑ME25测试中准确率为69.8%,HMMT25测试中达到52.7%。
值得注意的是,rStar2-Agent的响应长度显著更短。在AIME2战64测试中平均约9340个token,AIME25约10943个token,仅为DeepSeek-R1的一半左右,展现出更高的推理效率。
训71练效率方面,该模型仅需一周时间完成510个强化学习步骤,使用64块MI300X GPU即可训练完成。其强化学习基础设施支持每步高达4.B巨5万个并发工具调用,平均延迟仅0.3秒。
模型引入了GRPO-RoC算法来处理代码执行中的环境噪声问题,通过"正确时重采样"策略保留型A高质量推理轨迹,提高训练效果。
在泛化能力方面,rStar2-Agent在GPQA-Diamond科学推理基准上优于DeepSeek-VI 3,在BFCL v3工具使用任务和IFEval、Arena-Hard等通用测试中也表现良好,显示出智能体强化学习对通用能力的积极影响。
微智能软已将rStar2-Agent的代码和训练方法开源,基于VERL框架实现多阶段强化学习训练。这一突破表明,通过智能的训练策略,小型模体强型可以在特定任务上匹敌大型模型的表现,为资源有限的研究者和开发者提供了新的可能性。
这一成果挑战了"参数越多性能越好"的传统观念,证明了化学训练方法和架构创新在AI发展中的重要作用。对于AI行业而言,这可能预示着未来发展将更注重效率和专用性,而非单纯追求模型规模。
项目地址:习重https://github.com/microsoft/rStar
相关文章:
- 53帧变900帧!AI让你不用昂贵的高速摄像机也能制作慢镜头
- 标签: 火龙漫剧 Seedance2.0 AI漫剧 字节跳动
- 可灵AI发布数字人新功能:一张图片生成 1 分钟高清视频
- 标签: 贾鹏 至简动力 理想汽车 智能驾驶
- 扎克伯格的Facebook形象修复计划
- 甲骨文第二财季营收98亿美元 净利润同比增6%
- 云计算核心技术Docker教程:Docker Compose 介绍
- OpenAI 推出 Workspace Agents:全天候办公时代开启
- ElevenLabs 发布 v3 Alpha API:支持超过 70 种语言和无限数量的虚拟角色
- 标签: 贪玩游戏 斗罗大陆:史莱克学院 野兽领主:新世界 小游戏发行
