RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System

§1 动机 — 为什么环境和 reward 不能再静态了

1.1 历史脉络

RL for LLM 的演化大致是三步:

1. RLHF (InstructGPT, 2022):静态偏好数据 → 训 reward model → 冻住 reward → PPO。reward 训完就不动了。
2. RLVR (DeepSeek-R1, OpenAI o1, 2024–2025):放弃学出来的 reward,直接用 verifiable outcome (数学题答案对错、单元测试通过率) 作为 0/1 信号。reward 是死规则,environment 是题库 + checker。
3. Agentic RL (UI-TARS, Search-R1, AgentGym, 2025):policy 在 environment 里跑长 trajectory,outcome 来自 environment 的 final verifier。问题立刻浮现——

当 trajectory 长到 30–60 步,binary outcome 信号过于稀疏。把 advantage 平摊到几十个 step,任何一步都拿不到强 gradient。于是出现两条修补路:

• 加 process reward (PRM):Lightman et al. (2023) 提出 step-wise scalar PRM;后来 Liu et al. (2025) 用 generative reward model 让 LLM 自己当 PRM。但 PRM 要训,得人标 step-level label——agent 任务上几乎无法 scale。
• 加 curriculum / 自动出题:Zeng et al. 2025 (RLVE)、Xue et al. 2026 (EvoCUA)、Cai et al. 2025 (AutoForge) 试图自动合成任务以匹配 policy 当前能力。但这些 system 的 reward 仍然是静态规则,curriculum 信号靠 policy accuracy 本身闭环 (易陷入 reward hacking)。

RLAnything 的立场:policy / reward / environment 三者必须同时动,且互相提供 critique 信号。如果只优化两个 (任意搭配),整个系统都会有"短板"。

1.2 别的方案为什么不够 — 对比表

1.3 为什么这事不平凡

把三个组件全部 dynamic 起来听起来像"再加两个 loss",但有三个非显然的难点:

1. PRM 的 self-training 没有外部 ground truth:如果 reward model 自己出标签自己学,会塌成 trivial constant (例如恒输出 +1)。RLAnything 用 R_τᵢ × S_τᵢ,j 这个 consistency 信号,把 outcome (公正、可信) 和 step 多次采样的平均 (粗略 self-consistency) 当 anchor,理论上证明这个 objective 与 PRM 的预测精度等价 (Theorem 1)。
2. Curriculum 与 PRM 训练耦合:作者证明 (Theorem 2),当 P(O_τ=−1 | q) → 1 (太难) 或 → 0 (太易) 时,importance-weight ratio ‖f₊‖/‖f₋‖ 会发散,违反 Theorem 1 的 μ = p₊ + p₋ > 1 条件。也就是说不做 curriculum,PRM 训不动——这正是把 env adaptation 拉进闭环的理论依据,而不是经验装饰。
3. Critic 反馈要"可执行":简单根据 accuracy 自动调难度 (Zeng 2025) 只能输出 0/1 信号"加点提示";RLAnything 让 reward model 的 reasoning trace rτᵢ,j 担任 诊断报告:它会告诉 task rewriter "agent 把 fx 按钮和 Σ 按钮认错了",rewriter 才知道往 task 里加 "Use Function Wizard (fx), not AutoSum" 这种 targeted hint。这个粒度是裸 accuracy 给不出来的。

§2 背景速查

§3 方法详解

3.0 工作流: vanilla RL vs RLAnything 一图说清

RLAnything 的描述容易迷糊,因为"三件套同时优化"听起来很玄。实际工作流是一个固定的 5 步循环 — 比 vanilla GRPO 多两步、改一步。先并排对比 per-iteration 操作:

看清这 5 步后,核心差别就两件事 — 都是把 vanilla RL 里"事先定死"的东西改成在线训练 / 在线生成:

1. reward 从 fixed verifier 变成 trained model:vanilla RL 的 reward 是写死的 (比如 "答案对就 +1");RLAnything 的 reward model 是一个 LLM,在跟 policy 一起 RL 训练,每步都打分。
2. task 从 fixed set 变成 mutable set:vanilla RL 的 Q 是 dataset,从头到尾不变;RLAnything 的 Q 是一个 mutable pool,每 iteration 都根据 policy 表现做"题目改写"。

3.0.1 用 OSWorld 一个 Excel 任务跑一遍(论文 Figure 3 左上)

这是论文给的具体例子。任务 q: "Calculate each employee's age" — Excel 工作表里有员工出生年(C 列),要在 D 列填年龄。Policy = Qwen3-VL-8B-Thinking,既是 actor 也是 reward model 自己。

3.0.2 跟 vanilla RL 的差别有多大?

用上面 Excel 任务做对比:

3.1 三件套闭环

整篇论文的精华是 Algorithm 1。每个 k-th iteration 包含四步:① policy rollout;② 用 reward model 给每个 step 做 m 次评估;③ 用 R_τᵢ 更新 policy,同时用 R_τᵢ·S_τᵢ,j 更新 reward model;④ 根据 rollout accuracy 触发 task 改写。

3.2 Integration Feedback for Policy

给一个 trajectory τ = (τ₁, ..., τ_T) 和 outcome O_τ ∈ {−1, +1}。对第 i 步,query reward model m 次得到 S_τᵢ,1, ..., S_τᵢ,m ∈ {−1, +1} (m=3 in paper)。整合的 step reward:

每步都把整段 outcome 加进去 (注意不是 discount),保证即使 reward model 全部认为这一步正确,只要 outcome 是负的 R 也会被拉到 0;反之亦然。这是防 reward hacking 的关键 anchor。advantage 用 GRPO 风格在同 task、同 step index i 上做标准化:

Worked example: AlfWorld trajectory (T=8, m=3)

policy 接到 task "Place ClothType into ToiletType",采 8 个 rollout。取其中某条轨迹 τ:

同一个 step index i=7 在 8 条 rollouts 上的 R_τᵢ 分布大致 {2, 1.3, 0.67, 2, ..., −0.33}。标准化后给本条 τ 的 step 7 一个偏高的 A,GRPO 把 "take cloth"这个 action 强化。反向论证:如果不加 outcome anchor (令 λ→∞ 仅用 mean S),reward model 早期偏差就会被无限放大;如果不加 step 信号 (λ=0 退化成 outcome-only GRPO),长 trajectory 的所有 step advantage 退化成相同的 ±1,Figure 6(b) 显示这就是 baseline 在 30+ 步任务上不收敛的根因。

3.3 Consistency Feedback for Reward Model

核心一行式:

解读:R_τᵢ ∈ [−2, 2] (λ=1 时) 是一个 polled estimate ——综合了 outcome 与 m 次 step 评估。S_τᵢ,j 是单次评估。把它俩相乘:

• 当 R_τᵢ > 0 (整体高质量) 且 S_τᵢ,j = +1 (本次评估也说好) → +,reward 这次 reasoning 是对的。
• 当 R_τᵢ > 0 但 S_τᵢ,j = −1 (跟大局唱反调) → −,惩罚。
• 当 R_τᵢ ≈ 0 (评估很分裂),所有 j 的 advantage 都接近 0 ——uncertain step 不参与学习,这是隐式的样本筛选。

同样 advantage 在 j 维上标准化:A^r_τᵢ,j = (R_τᵢ·S_τᵢ,j − μ_j)/σ_j。reward model 输出的是 reasoning trace + 末位 ±1,被 RL 强化的是整段 reasoning 而不只是末位 token。

3.4 Environment Auto-Adaptation

每个 task q 有当前 rollout accuracy acc(q)。两个阈值 α_high=0.8、α_low=0.2。逻辑:

• acc(q) > 0.8 (太易) → 用 LM 生成 harder(q; s),其中 s 是 reward model 对失败 step 的 critique 摘要;接受当且仅当 α_low < acc(q′) < acc(q)。
• acc(q) < 0.2 (太难) → 生成 easier(q; s);接受当且仅当 acc(q) < acc(q′) < α_high。
• 0.2 ≤ acc(q) ≤ 0.8 → 保留原 task,不动。

"critique 摘要" s 来自所有至少一次 S_τᵢ,j=−1 的 step 的 reasoning trace r_τᵢ,j 的 LM 汇总 (Appendix C.6),并不是单纯的 accuracy 数字。在 OSWorld 例子里,s = "1. 把 fx 误点成 Σ; 2. 用了 SUM 给出日期而非年龄"。改写 LM (Qwen3-4B) 据此把 task 描述里追加 "Use Function Wizard (fx), make sure result is number"。

反向论证:为什么阈值检查要做双向 (新 task 要既不再过难也不超出原难度)?如果直接接受 acc(q′) ∈ [0.2, 0.8] 的任何 q′,LM 容易把 task 改得失去原 essence (例如把 GUI 任务改成 trivia),accuracy 也能落进区间。论文 §3.2.9 的 96.0% (GUI) / 96.7% (AlfWorld) / 94.2% (coding) pass-at-least-one 率 (由 Qwen3-32B 16 次独立 trial 验证),就是这套接受准则有效性的证据。

§4 公式与定理

4.1 Theorem 1 — consistency 优化 ⇒ PRM 精度

定义 reward precision A = P(S_τ⁺ᵢ > S_τ⁻ᵢ | O_τ⁺=1, O_τ⁻=−1),其中 S_τᵢ = (1/m)Σ S_τᵢ,j 是 mean process reward。令 μ ≜ p₊ + p₋,p₊ = P(S_τ⁺ᵢ,j=1), p₋ = P(S_τ⁻ᵢ,j=−1)。结论:

直觉:μ 是 "对正 trajectory 的 step 也说正" + "对负 trajectory 的 step 也说负" 的概率和。要让 PRM 能区分好坏 step,这俩概率不能都偏向同一类——必须 μ>1 (即偏向"正向 calibration") 才能让两个 distribution 在 m 重采样后逐渐分离。Hoeffding 风格的指数收敛给出了 m=3 在实践中已经够用的依据。

4.2 Theorem 2 — task 难度失衡 ⇒ μ 估计偏

当 λ=1。f₊, f₋ 是 trajectory 上的 importance-weight 函数,且

含义:reward model 的 RL objective 可分解为 p₊ 与 p₋ 两个内积的加权和,权重就是 importance norm。当 task 太难,几乎所有 trajectory 都是 O=−1,p₊ 那边几乎没采样,梯度被 f₋ 主导;反之亦然。这就是为什么要做 env adaptation——不是为了 policy,是为了让 reward model 的 μ 估计不偏。这条因果链是 RLAnything 区别于 RLVE / EnvGen 的核心论点。

4.3 边界敏感性 (Theorem 1 数值表)

表中数值是下界 1 − exp(−m(μ−1)²/4)。读出来的事:μ 离 1 越近,m 必须很大才能拉满 A。论文用 m=3,等于赌 μ 不会接近 1——而这恰好是 env adaptation 要负责维持的。

§5 实验关键结果

5.1 主表 — 三件套消融

三种配置:① Policy (只用 integrated reward 训 policy,reward 和 env 冻);② Policy + Reward (再加 consistency 训 RM);③ Policy + Reward + Env = RLAnything。

读三件事:① 三个 dynamic 组件单调累加,没有一个是噪声;② OOD 上 +5.2 / +18.7 的提升说明这不是 over-fit to 训练 task;③ coding 上 UT accuracy +51.1 是巨大的——意味着 reward model (这里是 unit test 生成器) 在 consistency loss 下变成了一个真能判断 code 对错的工具,而不是表面合理。

5.2 λ 消融 (AlfWorld, 100 steps)

λ 大 → RM 更看重 step quality,process acc 提升但 outcome 预测能力下降;λ=1 是甜区。policy 也最爱 λ=1。

5.3 优化的 RM 信号 > 人写 verifier (Figure 6a)

把 outcome reward 完全拿掉,只让 policy 拿 optimized reward model 的 step 信号训练——OSWorld 上 still 比有 verifiable outcome 的 GRPO baseline 更高。这是全文最 disruptive 的实验:在 GUI 这种 verifier 极贵 (人写脚本)、不可 scale 的场景下,自演化的 reward model 可以替代人工 verifier。

5.4 accepted task 线性 scale (Figure 7a)

新接受的 task 数量随训练 step 近似线性增长,policy 在新 task 上的 accuracy 稳定在 ~0.4,意味着 env adapter 持续在 "稍微超出 policy 当前能力"的区间出题——这正好对应 §4.2 让 μ 远离 1 的目标。

§6 与同类工作对比

§7 局限 / 个人 take / 待验证

• 局限m=3 evaluations per step,每个 RL step 大约 12×8×30 = 2880 次 reward model 调用 (OSWorld),compute 不小;实际开源仓库的 throughput 怎么样需要看代码。
• 局限α_low=0.2, α_high=0.8 是 hard-coded 双阈值,没做消融。早期 policy 弱的时候大量 task 会落进 acc=0,可能触发过度 easy-shift。
• 局限Theorem 1 的"A→1 当 m→∞"是渐近,m=3 时下界仅在 μ > 1.4 才达到 0.1+;μ 估计不会"溢出"是靠 env adapt 保住的,这个闭环的稳定性论文没给 PAC-style 证明。
• 个人 take真正改变社区认知的是 §3.2.6:RM 信号 > 人写 verifier。如果可复现,这意味着 OSWorld / WebArena 这类"verifier 卡脖子"的 benchmark 可以脱离人工评估自演化——这是 next-gen agentic RL 的 unlock。
• 个人 take论文写法上"三件套"的卖法很 RL Tango 的扩写;但理论 contribution (Theorem 1+2) 比 RL Tango 更扎实——它把 env adapt 从经验 trick 提升到了 PRM 精度的必要条件。
• 个人 takeR_τᵢ · S_τᵢ,j 这个 consistency 信号本质是 self-distillation:用 m 重采样的 majority + outcome anchor 当 soft label 训单次评估。和 STaR / R²S 思路类似,但放在 step 粒度。

待验证问题

1. m=3 是否真是 sweet spot?当 m=1 时 R_τᵢ 退化成 O+λS,RM 自训练几乎只剩 outcome anchor;m=10 会不会让 μ 估计更稳但 compute 翻 3 倍。
2. 把 reward model 换成更小的模型 (e.g. Qwen2.5-1.5B) 时,critic reasoning trace 还能不能产生可用的 task rewriting 信号?这是落地的关键。
3. env adapter 用的 LM (Qwen3-4B) 会不会 mode-collapse —— task 改写多轮以后是否会偏向某类 task family?
4. OSWorld 9.1% 提升里,有多少来自 47 个 pre-created task perturbations (§3.1.4),多少来自实际 online 改写?
5. "RM signal > human verifier" 是不是 specific to OSWorld 的人写脚本质量低?在 AlfWorld 这种 env 自带 reward 的场景能不能复现?

§8 记忆点