2023年，业界还在卷Scaling Law，不断突破参数规模和数据规模时，微软亚洲研究院张丽团队就选择了另一条路径。
在当前基于PPO/GRPO强化学习路线主导的当下，她们的工作又将带来哪些新的可能性？
本期「大模型创新架构」主题访谈，量子位邀请到rStar-Math作者微软亚洲研究院首席研究员张丽，聊聊突破大模型智商上限、奖励模型以及System2背后的故事。
张丽，MSRA系统研究组首席研究员，微软LongRoPE及rStar系列工作项目leader。
以下为量子位与rStar-Math作者微软亚洲研究院首席研究员张丽的对话实录整理：
量子位：能简单介绍下rStar-Math的核心工作吗？当初为什么选择这个研究方向？
MSRA张丽：一直以来我们主要沿着如何提升大语言模型的智商这个大方向在持续做研究，具体分两个方向：
一个是让模型具备无限且持久的记忆能力，另一个是提升模型的深度推理逻辑思考能力。
我们2025年1月发布的rStar-Math工作，简单说是第一个公开通过蒙特卡洛搜索算法，让7B模型实现了接近OpenAI o1级别的数学推理能力的工作。
我们当时做这个工作的时候，整个行业趋势还是在卷scaling law，认为模型size越大，数据量越多，效果越好。
但我们发现，尽管隔一段时间就有新体量的模型推出，但实际上模型的数学深度推理能力一直没有显著提升。
2022年11月ChatGPT出来时，大家都被震惊了，但是我们发现它仍然在有些方面做得不够好。
作为研究员，我们比较注重逻辑推理思考能力，所以很自然会希望大语言模型能像我们一样具备很强的推理能力。
一是希望模型在解题时能够利用很长的“草稿纸”，所以我们做了LongRoPE，拓展大模型长文本的推理窗口。
二是要有效利用这个草稿纸，这就需要像人一样的深度推理思考方式，这就有了rStar系列工作。
MSRA张丽：可能是我们吧。更准确地说，当我们想定义这种能力时，从人脑认知科学中找到了这个可以类比的词。
MSRA张丽：我们觉得，大语言模型真正要落地应用，或者实现通用，其他能力可能都好说，智商或推理能力才是最关键因素。
看各行各业的顶尖人才，他们的专业领域不同，有人擅长解数学题，有人擅长写代码，有人写作或口才好，但本质上他们都有很强的推理能力，这就是智商。
大模型有了这个基础，再去做其他应用，让大模型落地或提高社会生产力，都会变得简单得多。
量子位：rStar-Math在研究过程中模型自己涌现出了self-reflection能力，这意味着什么？
MSRA张丽：这其实并不是有意为之，是意外收获。后来想想，可能间接验证了self-reflection是提升大模型智商的关键能力这一点。
这种自我修正或自我反思是人类做很多事情都会使用的思维方式，可以说是一种必备能力。
我们确实没有刻意追求复现“aha moment”，但这在当时确实是个机会，很多团队都想复现，最后发现强化学习可以激发出这种能力。
MSRA张丽：我个人认为，大模型预训练数据中本来就包含人类自我反思过程的信息。
互联网上的大量数据中会自然混入一些这样的内容，因为这是人类基本的高级思考模式。
大模型经过预训练记住这些模式后，强化学习或蒙特卡洛搜索算法会将这种能力激发出来。
在解决复杂问题过程中，模型发现用了self-reflection后效果更好，蒙特卡洛算法就会把这些标记为高质量数据；
如果是强化学习，模型发现用了self-reflection后能答对，就会给这个策略更高分数。最终结果都是让模型涌现出这种能力。
MSRA张丽：确实rStar-Math比我们之前的工作受到了更多关注，完全超出了我的预期。
我想可能是因为当时o1已经出来好几个月，但还没有哪份公开的报告能说清楚它是怎么做到的。
感觉有点“破圈”效应。学术圈通常只有做同方向的人才会关注你的工作，但那时很多不做这个方向的同事朋友都发微信说某某看了我们工作想认识一下，这种情况很少见。
还有很多媒体，国内外的，都要采访我们。在X上也有大量讨论，一些人给了很高评价，认为用7B模型就能达到OpenAI o1级别表现非常不可思议。
也有人讨论2025年会不会是小模型的时代，还引发了关于scaling law与其他路线的新一轮辩论。
一开始在DeepSeek R1和Kimi 1.5出来之前，主要质疑是“小模型能力怎么会这么强”以及“这个方法能否泛化到其他任务”，所以后来我们开源了代码和数据。
后来，DeepSeek R1和Kimi 1.5出来了，有人开始讨论复现OpenAI o1效果到底是否真的需要蒙特卡洛搜索。这些质疑都很合理，因为每个人观点不同。
量子位：蒙特卡洛搜索算法的奖励模型和传统Best of N奖励模型的根本区别是什么？
MSRA张丽：根本区别是蒙特卡洛搜索算法的奖励模型是步骤级别的，是过程奖励模型。
Best of N是结果奖励模型，不关注过程，所以蒙特卡洛搜索算法效果更好。
量子位：为什么蒙特卡洛搜索算法在小模型上表现这么好？效果会不会仅限于小模型？
当时我们没有进行任何训练，甚至没有训练奖励模型，只是在小模型上应用蒙特卡洛搜索算法，发现效果非常好，甚至能与做了特殊微调后的模型效果相当。
因为System2是更高级的思维模式，有一定门槛，策略模型不能太差，而小模型作为策略模型本身就较弱。
所以为了解决小模型效果不理想的问题，如幻觉等，我们唯一做的就是加了code-augmented CoT，尽量让蒙特卡洛搜索算法效果发挥到极致。
MSRA张丽：之前它不是很主流，但学术界确实有一些工作开始关注这个方向。
MSRA张丽：目前还没看到这种趋势，大多数人还是在做强化学习。不过我知道一些其他领域的人也在尝试蒙特卡洛搜索算法。
由于我们的工作受到关注，有人联系我们，希望将这种方法应用到金融或医疗领域。一些实际场景需要较小的模型，他们可能会考虑我们的方法。
量子位：你们做了scaling law实验吗？有看到你们的工作随着参数量增加效果的变化趋势吗？
如果模型size固定，我相信蒙特卡洛搜索算法比当前基于强化学习或蒸馏的方法潜力更高。
MSRA张丽：主要有两点。第一是code-augmented CoT，虽然最初是为小模型设计的，但对更大模型也有用。
第二是我们用了过程奖励模型配合蒙特卡洛搜索算法，会做很多rollout，给不同步骤和每个trace打分。
即使是正确的trace中，我们也会挑选出更优的步骤，这相当于做了很好的数据筛选。
量子位：您认为奖励模型的重要性未来会成为共识吗？对奖励模型的研究会增多吗？
MSRA张丽：我觉得会。现实中有很多任务没有明确标准答案，很难用简单规则评价。
比如写作，你几乎无法用几条规则判断好坏，肯定需要一个更强的奖励模型来打分。
对于复杂逻辑推理问题，比如数学证明也很难做好的奖励模型，因为它不只是结果对就行，必须每一步证明都正确，需要一个非常严格的过程奖励。
要在提升大模型智商这个方向继续前进，一个优秀的过程奖励模型是必不可少的。
MSRA张丽：首先，奖励模型比策略模型更难做。奖励模型是强化学习多年来始终未完全解决的问题。
其次，奖励模型在强化学习中容易出现reward hacking问题。策略模型可能会用各种方法骗过奖励模型，实际上输出的答案并不好。
这导致强化学习无法持续进行，所以很多做强化学习的研究者会拿掉奖励模型，但本质上还是因为奖励模型目前没有很好的解决方案。
在一般问题中，奖励模型不那么准确可能还能接受，但在数学问题中，一步错误就会导致最终答案完全错误。
rStar-Math本质上是一种思路，我只需要知道每次rollout的结果是对还是错就可以应用。
当最终结果正确时，我就认为这次rollout中的每个步骤都有贡献，就会返回给它们打分，然后进行更多rollout。
如果中间某个节点每次都能导向正确答案，那可能是个正确步骤；如果经常导向错误答案，可能就是错误步骤。
打完分后，我就能收集数据构造过程奖励模型，这就是rStar-Math的核心思想。
它唯一的门槛是在rollout到根节点时需要判断这次outcome是否正确，这个门槛并不高，所以应用场景其实很广，泛化性没有问题。
MSRA张丽：我们当然希望它能有更广泛的应用，或者有人基于我们的代码在更大模型上尝试。
目前有一些第三方联系我们，比如有家公司想用这个模型做数学AI教育，还有国外一些知名实验室希望在代码类和数学证明方面合作。
有趣的是，还有一家智能车厂商联系我们，希望用我们的算法在他们的模型上复现，让我们帮助解答一些问题。
量子位：您看好rStar-Math在工业级模型上落地吗？在通用场景中，蒙特卡洛搜索算法的搜索空间会不会太大？
对通用任务，它可以用但不一定是必要的。普通大模型一次回答可能就足够接受，不需要再用System2去多次搜索。
多搜索几次可能找到比一次回答更好的答案，但两者差距可能不大，从性价比上考虑可能必要性不会特别高。
MSRA张丽：关于长文本，我们之前做LongRoPE时从算法层面提供了让预训练模型文本窗口可以拓展到无限的方案。
但要真正扩展到那么长的长度，还需要解决效率问题以及长文本数据和算力问题，这些不是我当前阶段关注的重点。
第二是进一步提升策略模型能力，希望它能学会更像人类的高级推理方式，比如主动提问或self-reflection之外的其他推理方式。
第三是扩展任务领域，除了数学外，我们还想扩展到高难度的代码推理任务，最终实现通用的深度推理能力。
MSRA张丽：我认为是的。数学推理基本上是大语言模型中最要求程序执行能力和逻辑严谨性的任务类型。
有些证明题数学家需要花几百年才能证明出来，我个人认为它应该是智能天花板的一种表现。
量子位：有种说法认为大家对提升数学能力的研究更多是因为它结果唯一、数据全且易验证，数学能力一定代表智商天花板吗？
MSRA张丽：数学任务确实更容易着手研究，效果更容易验证，但要真正提升数学推理能力并不容易。
比如FrontierMath这个高难度数学基准测试，由多名数学家出题，目前最强的模型在上面的准确率也只有2%左右。
有些非证明题甚至不需要看步骤，看答案对不对就可以了，所以可能给人感觉大模型数学能力好做。
人类的其他复杂任务可能现在各方面研究条件还不够成熟，所以感觉大家都在做数学能力。
05月25日，南方降雨再度增多 北方大部以晴朗升温为主，乐橙真人，金手指捕鱼官方版下载，澳博在线登录，千亿怎么开户
05月25日，公安部：重新申领驾照考试只需参加科目一和科目三，彩票平台注册网站，手机上怎么买足球彩，欧宝下载地址，澳门线日，中美青年结束“山西行” 冀借交流共建“友谊之桥”，18新利luckcom，金牌娱乐网站，缅甸金满娱乐，yabo22vip在哪注册
05月25日实拍安徽池州平天湖万博怎么登陆不上澳门新葡平台网址8814kb88凯时下载官方网投平台
05月25日“五一”假期新疆喀什旅游市场“热辣滚烫”TB天博app下载云顶国际下载手机云顶娱乐登陆亚美am8旗舰厅
05月25日杭衢铁路全线app视讯真人游戏官网是多少华体会真人……
05月25日，香港影视娱乐博览2024启动 黎明续任“影视娱乐大使”，bbin官网客户端，大发体育在线投注，真乐网官网，银河开户app
05月25日，“我奉献 我快乐” 来看这些志愿者的工作纪实→，ope体育注册，dafacasino手机客户端下载，mgm4858最新地址，必发网址登录
05月25日日本茨城县附近海域发生4.0级地震 福岛县有震感完美体育登陆入口w88优德官网b体育平台下载官网手机版买球app网易
05月25日，韩国陆军参谋总长：已就紧急风波提出辞职，管家婆新传密，澳博体育体育，英国威廉希尔官网，豪利棋牌老版本
05月25日，中国女足击败乌兹别克斯坦女足 取得永川国际女足锦标赛开门红，明陞体育备用网址，365体育直播在线，必威登陆不了，九州app下载
05月25日，海南：2027年形成高密度商业发射能力，金百利国际娱乐真人在线，澳门梭哈规则，万赢国际彩票怎么样，天博平台
05月25日“中国温泉之乡”广东龙门万人同泡“三伏浴”博狗app平台申慱真人在线最火赌博娱乐万博manbetx官网登陆手机版
05月25日让视障观众“看懂”《热辣滚烫》 广电行业开启扶残助残新路径国际真钱ag大发平台游戏皇冠后备网址亿博体育怎么注册
05月25日上海市政协十四届二次会议开幕 将创新拓展对外交往平台、渠道和领域ManBetx官网买球万博手机版注册UC体育手机客户端纬来体育免费试玩
祈今朝宣发，无期迷途联动JOJO“骑”乐融融！中外友人武汉东湖绿道骑行 共享绿色发展成果娱乐彩票平台注册必威快速开户球探网足球比分老板本澳门集结电子游戏网址
国足vs黎巴嫩首发，薛之谦大连抢票四川康定山洪泥石流已致9人遇难18人失联下载贝搏体育bc体育是什么伟德官网下app必威体育竞技
网络水军炮制买家秀成了一门生意，王楚钦继续霸榜世一位置浙江杭州：自动驾驶网约车上路试运行必赢平台网址vwin德赢登录网点威尼斯人官方海口体育平台
如何发展新质生产力，山东蒙阴冰雹大面积砸烂蜜桃香江观澜：内地香港联手舞动香江 展现文化软实力银河正规官方赌博官网下载新金沙app官方门九州注册彩金
热火附加赛战胜公牛晋级季后赛，KSG锁定年总大师组莫言对话古尔纳：关于讲故事的人518白银网真人国际威尼斯人网址正网888贵宾会app
31省份2023年经济“成绩单”，女子丧偶想再婚 儿子将其告上法院天津：五大道上的名人轶事吸引八方游客千赢游戏大厅币游国际是什么意思手机体育下载国际跳棋真人版对战
我国首部“银发经济”政策文件出台，国足主帅：没进球只是缺运气海内外跑酷达人湖南张家界“天梯”炫技京灵平台官网登录澳门威尼斯网上注册陆小姐传密A纳米体育平台app