MicroCoder团队 投稿

量子位 | 公众号 QbitAI

新一代代码模子的覆按动态已与旧模子天悬地隔，主流强化学习递次和数据集在其上简直“失效”。

微软亚洲计议院与剑桥大学、普林斯顿合股推出MicroCoder，从算法、数据、框架、覆按教训四个维度全面升级，在最新代码测试集上取得明显进步，并从七个方面开源了34条覆按知悉。

配景：旧教训遇上新模子，为何简直一齐“失效”？

强化学习正在成为代码大模子时期进步的中枢旅途。以GRPO为代表的战略优化递次在数学推理任务上蕴蓄了深广见效教训，东谈主们当然地把这套递次移动到了代码生成上。

但是计议者很快发现了一个欣喜：用DeepCoder这类主流数据集覆按最新推理模子，性能简直莫得进步；而一样的作念法在夙昔版块的模子上却有权臣后果。

这背后的原因是代际性的：最新推理模子的时期一经超出了主流数据集的难度，这些题目对它而言过于简单，无法产生有用的学习。与此同期，最新推理模子在覆按中输出长度抓续增长，而旧模子的输出长度领悟以至下落，两代模子的覆按动态一经天悬地隔，专为旧模子盘算的覆按递次在新模子上不再适用。

针对这一覆按瓶颈，来自微软亚洲计议院、剑桥大学和普林斯顿大学的计议团队建议了MicroCoder样式，包含四个中枢孝顺：MicroCoder-GRPO算法、MicroCoder-Dataset数据集、MicroCoder-Evaluator覆按评估框架，以及跨卓越30组受控践诺归来的34条覆按教训。

算法：MicroCoder-GRPO

MicroCoder-GRPO在GRPO基础上引入三项修改，有意搪塞当代代码模子的覆按动态。

修改一：条款截断掩码

强化学习覆按中，被最大长度截断的输出若参与战略优化，会请示模子生成更短的输出。为此，DeepCoder等递次遴荐“一齐掩码”战略，对悉数达到最大长度的输出齐将上风分数置零，但这会导致输出长度增长过快。

MicroCoder-GRPO建议了更雅致的条款截断掩码：只对同期满足四个条款的输出实施掩码，达到最大长度、谜底非额外、无尾部重迭序列、且以特定概率随即抽取。践诺标明，这一战略有用解锁了模子的长输出后劲，同期回避了全掩码战略带来的覆按问题，最终不停性能高于无掩码和全掩码两种决策。

修改二：各种性驱动的温度弃取

输出各种性是强化学习领悟覆按的枢纽方针。计议发现：在固定温度下，各种性不会总随覆按进行抓续变动，而是不同温度下会最终不停到左近水平；而一朝启动各种性与预期不停值进出较大，模子的覆按就容易受到影响。传统规范温度对最新推理模子而言较低，容易因此产生影响。

MicroCoder-GRPO建议把柄模子启动输出各种性动态详情覆按温度：测量启动各种性趋势，弃取能使各种性安谧不停的温度值。著述还发现“先低温后高温”的分阶段递次优于全程固定温度，但需幸免勾搭的温渡过渡，即即是顷然的渐变也可能对各种性酿成影响。

修改三：去除KL散度+高编订比率

沿用DAPO的盘算念念路，MicroCoder-GRPO将KL散度权重设为0，并遴荐更高的编订比率。实考解说，保留KL散度会抓续影响输出各种性、禁止输出长度增长，导致性能“先涨后跌”；去除后，模子得回抓续的性能进步。

三项修改共同作用下，MicroCoder-GRPO在最新代码测试集上比拟DAPO基线取得明显进步，且在拓展测试高下文长度时更为权臣。

数据：MicroCoder-Dataset

算法以外，数据难度亦然代码模子时期的迫切影响成分。

四阶段数据处理活水线

MicroCoder-Dataset的构建分四个阶段：“收罗”从多元平台收罗果真竞赛题目；“处理”协调言语、去噪、样式规范化，并用LLM自动生成和筛选测试用例；“筛选”实施软硬经管及自相宜难渡过滤；“考证”进行东谈主工抽查确保可读性和测试用例准确性。

自动难渡过滤：展望-校准-弃取

难渡过滤是MicroCoder-Dataset的中枢立异。计议团队盘算了一套五维难度评估矩阵，由LLM对每谈题进行三次沉静打分，取平均后筹划加权难度分。

这五个维度的权重盘算有其表面依据，参考了Bloom素质主义分类法、McCabe和Halstead递次，将重点放在果真持重推理和编程时期的维度上，而非语义贯通和记忆。

随后，以模子本体通过率为基准对展望分进行校准，在LiveCodeBench数据集上详情易、中、难的分界值，展望散布与本体散布简直透顶吻合。过滤后，简单题占比降至25%以下，清苦题占比进步至50%以上。

数据集特色

最终，MicroCoder-Dataset包含卓越13K经严格筛选的果真竞赛题，一齐来自本体竞赛平台而非LLM生成。聚类分析标明各平台题目互补，与测试集之间莫得重合。

后果对比

在疏通覆按下，MicroCoder-Dataset在300步覆按内取得的性能增益是DeepCoder数据集的3倍。以DAPO覆按最新推理模子为例，比拟DeepCoder，MicroCoder在LeetCode上合座进步约6.0个百分点，难度越高，增益越明显。

覆按评估框架：MicroCoder-Evaluator

代码评估的准确性平直决定强化学习的质料。

问题：原版评估器的误判

LiveCodeBench原版评估器遴荐严格精准匹配战略：平直等值比较、精准浮点筹划、仅作念基本空缺去除。这种样式会将深广样式正确但略有各别的正确谜底判为额外，举例复返列表与元组的样式各别、浮点精度各别，产生噪声，侵略覆按。

搞定决策：多递次回退的概括考证

MicroCoder-Evaluator遴荐6-7种递次构成的回退链进行概括输出考证，递次尝试不同的比较战略：援救列表、元组、字符串、集中等样式的自动类型调度；进行浮点类似比较；多行分割与空缺规范化等预处理；单个递次失败后自动切换至下一种递次，全程高容错。

后果

与LiveCodeBench原版评估器比拟，MicroCoder-Evaluator将评估准确率进步约25%，即更准确地识别了正确解法的变体，减少了误判噪声。覆按弧线对比露馅，使用MicroCoder-Evaluator的模子在早期覆按阶段不错得回更可靠的学习响应，最终测试准确率更高且不停更快。

此外，通过优化并行处理战略，MicroCoder-Evaluator将每个覆按递次的实施速率进步约40%，权臣进步了覆按着力。

覆按知悉：34条进步七大维度的教训

MicroCoder样式通过卓越30组受控践诺完竣地记载了当代代码模子强化学习覆按中的教训，心事七大维度，以下列出各维度的中枢知悉：

代码评估器：评估准确性对覆按后果影响权臣，尤其在早期阶段。高容错评估带来更可靠的收尾响应，能有用翔实次优不停。原版LiveCodeBench评估器的严格匹配战略会产生误判，在覆按初期产生影响。

温度动态：模子对温度的鲁棒性随覆按进行而增强。不同温度下，输出各种性变化但最终不停到左近水平。当启动各种性低于不停预期时，可能导致覆按失败。

覆按数据：数据难度影响泛化时期。在简单数据集上进展优秀并不虞味着在测试集上一样优秀，只须挑战性更高的覆按问题才能带来果真的泛化进步。更难的问题会促使模子生成更长的解题旅途，输出长度增长速率和最终长度均更大。

高下文长度与延长：更长的最大输出与更高的最终准确率、更快的输出增长和更高的各种性平直相干。早期覆按阶段的输出长度禁止会产生“不行逆”影响，一朝模子在短输出禁止下覆按弥散万古期，后续即便增大高下文，性能也无法透顶还原。

截断掩码战略：掩码比例在覆按速率与峰值性能之间形成均衡，更高的掩码比例能更快达到启动峰值，但较低的掩码比例能延长高潮阶段并达到更高的峰值。30%的条款掩码在输出长度增长速率上已接近全掩码，同期权臣优于全掩码在覆按领悟性等方面的进展。

批大小与在线覆按：较小的覆按批大小产生更接近在线覆按的动作，加速各种性不停，但影响覆按领悟性；较大的批大小产生离线覆按动作，领悟性更强。最优弃取来自两者之间的均衡。

KL散度与编订比率：规范KL散度会抓续影响输出各种性并禁止输出长度增长，形成“性能先涨后跌”的体式。去除KL散度是援救恒久抓续性能进步的迫切条款。

完竣的34条知悉已在样式主页的MicroCoder-Insights博客中完竣整理，心事每个维度的具体践诺和论断，是现在最为完竣的当代代码模子强化学习覆按教训库之一。

样式价值

代码大模子的强化学习覆按恒久模仿数学推理任务的教训。MicroCoder初度完竣建议，这一移动旅途存在代际断层，不同模子世代之间，覆按动态、数据需求与算法盘算的有用假定已发生质变而非量变，冲突了该鸿沟固有领路，明确了新一代代码模子的计议标的。

在算法盘算层面，条款截断掩码与各种性驱动温度弃取，对强化学习覆按中覆按领悟性与战略探索性之间的均衡建议了可实施的兼顾决策，具有超出代码生成任务本人的程引子参考价值。

本样式通过卓越三十组受控践诺完竣整理34条覆按教训与知悉，心事算法、数据、评估、高下文、温度等七大中枢维度，是现在代码大模子后覆按鸿沟最为完竣、有用的学问千里淀之一，对计议内容的整理共享是模子覆按社区最有影响力的开源样式之一。

作家先容：

MicroCoder第一作家李宗谦，剑桥大学当然言语处理博士生，剑桥信赖学者，剑桥外洋生全额博士奖学金，在微软亚洲计议院完成系列职责。他在微软、谷歌、红杉、真格等有实习职责资格，2025年完成一作论文9篇，发表于NeurIPS、ACL等会议，参与职责发表Nature，对学界、业界、创业有浓厚敬爱，是刻下大言语模子鸿沟值得温雅的年青计议员。

样式主页：https://github.com/ZongqianLi/MicroCoder

算法论文：https://arxiv.org/abs/2603.07777

数据集论文：https://arxiv.org/abs/2603.07779

覆按教训博客：https://github.com/ZongqianLi/MicroCoder/blob/main/MicroCoder-Insights.md