调研 · Prime Intellect Environments Hub — agentic RL 的 GitHub

1 · 是什么 / 在 agentic RL 生态里的位置

1.1 一句话定位

Prime Intellect 是 2024 年靠 INTELLECT-1 (去中心化预训练) 出圈、2025 年靠 INTELLECT-2 (去中心化 RL + TOPLOC + SHARDCAST) 站稳、2025-12 用 INTELLECT-3 (106B MoE agentic RL) 完成"务实转向"的去中心化 AI lab。Environments Hub 是它2025-08-27 的产品化拐点 — 把内部为训自家模型而写的"agent gym"开放给社区,反过来把社区贡献的 gym 拿回来训自己的下一代模型。这是data flywheel 的工业化。

官方原话 (blog/environments, 2025-08-27):

"RL environments are the key bottleneck to the next wave of AI progress, but big labs are locking them down. We built a community platform for crowdsourcing open environments, so anyone can contribute to open-source AGI." —— Prime Intellect on X, 2025-08-26

"Create, manage and share environments for reinforcement learning and evaluation." —— Hub 首页

1.2 三层栈一图

1.3 为什么"本系列读者必须看"

本系列 #06 / #18 / #22 / #23 / #25 / #26 / #27 / #29 / #30 共 9 篇都在讨论"agentic RL 的 environment 从哪里来 / 怎么写 / 怎么训"。这个问题在不同 paper 里被拆成: TOUCAN 用 Smithery 真实 MCP server (#22) / EnvScaler 用 Python class 程序合成 (#23) / SETA 用 Docker 化 terminal 任务 (#20) / AWM 用 code-driven synthetic (#18) / MCP-Universe 才把 GRPO+verl 真做了 (#25)。Prime Intellect Hub 是 6 个月内出现的"第一个真正成型的、第三方可贡献的、与训练器原生集成的" agentic RL gym 集散地,是上述所有 paper 在工程层的"事实出口"。如果你想训 ≤40B 小模型做 MCP/tool/agent,2026 年的默认起点就是 uv tool install prime && prime env install ...。

2 · verifiers SDK 深潜 — SingleTurnEnv / MultiTurnEnv / Env v1

本节是本笔记的核心。verifiers 是把#19 RL 框架横评里"env 抽象"这个空白真正填上的库。

2.1 Repo 速查

2.2 文件树 (verifiers/envs/)

verifiers/envs/
├── environment.py         # Environment 基类
├── singleturn_env.py      # SingleTurnEnv
├── multiturn_env.py       # MultiTurnEnv
├── tool_env.py            # ToolEnv (JSON tool-call loop)
├── stateful_tool_env.py   # StatefulToolEnv (state-mutating tools)
├── python_env.py          # PythonEnv (code execution gym)
├── sandbox_env.py         # SandboxEnv (隔离执行)
├── env_group.py           # EnvGroup (多 env 组合)
├── experimental/          # ⭐ 大货全在这里
│   ├── mcp_env.py             # ⭐ MCPEnv — 用官方 mcp.ClientSession + StdioServerParameters
│   ├── cli_agent_env.py       # ⭐ CliAgentEnv — 跑在 prime_sandboxes + prime_tunnel
│   ├── harbor_env/
│   │   ├── env.py             # Harbor 任务目录格式 (SWE-bench-style)
│   │   └── mcp.py             # ⭐ Harbor + MCP 混合
│   ├── opencode_env.py        # OpenCode CLI agent
│   ├── opencode_qa_env.py
│   ├── opencode_rlm_env.py
│   ├── rlm_env.py             # Recursive LM (172 KB,大型实现)
│   ├── gym_env.py             # OpenAI Gym 风格适配
│   └── sandbox_mixin.py       # Sandbox 生命周期管理
└── integrations/
    ├── browser_env/       # BrowserEnv (子目录,DOM via Stagehand / CUA via Docker on Browserbase)
    ├── openenv_env.py     # OpenEnvEnv (Meta+HF OpenEnv 兼容层,支持 MCP 契约)
    ├── reasoninggym_env.py # ReasoningGymEnv
    └── textarena_env.py    # TextArenaEnv (Wordle 等文字游戏)

2.2.1 CLI / Browser / Docker / MCP 形态总览

Docker 三处出现: ① Browserbase Chromium 预制 image · ② vf-build 用户自定义 image · ③ prime_sandboxes 通用沙箱(CLI / 代码 / MCP server 都能套)。没有任何手机模拟器或桌面 OS VM —— 这是 hub 与 #17 UI-TARS-2 / #14 ClawGUI 的根本不同。

2.3 SingleTurnEnv — 最低门槛

用于"一次 prompt → 一次 response → 一次 score"任务 (数学 / 代码 / QA)。最小例子:

import verifiers as vf
from datasets import load_dataset

dataset = load_dataset("gsm8k", "main", split="train")

def correct_answer_reward(completion, answer, **kwargs):
    return 1.0 if extract_final(completion) == answer else 0.0

rubric = vf.Rubric(funcs=[correct_answer_reward])
env = vf.SingleTurnEnv(dataset=dataset, rubric=rubric)

# 立刻可以评测
results = env.evaluate(client=client, model="gpt-4.1-mini",
                       num_examples=20, rollouts_per_example=5)

Rubric 是一组 reward functions 的容器 —— 可以叠加 format reward / process reward / outcome reward,verifiers 会按权重合并。这与 #19 中讨论的 "process supervision" 设计同源。

2.4 MultiTurnEnv — agentic 主力 (verbatim 签名)

用于"多轮对话 / agent loop"任务 (Wordle / 2048 / 浏览 / 工具调用)。从 main 分支直接抓取的类签名:

class MultiTurnEnv(vf.Environment):
    def __init__(
        self,
        max_turns: int = -1,
        timeout_seconds: float | None = None,
        **kwargs,
    ):
        ...

    @abstractmethod
    async def env_response(
        self, messages: Messages, state: State, **kwargs
    ) -> Messages:
        """Given the conversation so far, return the next environment message."""

    @abstractmethod
    async def is_completed(
        self, messages: Messages, state: State, **kwargs
    ) -> bool:
        """Return True if rollout should stop."""

    @final
    async def rollout(self, ...):
        # 内部循环: client → env_response → is_completed → break
        ...

写一个新 env 只需子类化并实现 env_response + is_completed。关键设计选择:

• @final 锁定 rollout — 用户不能 override 主循环,只能定义"环境对 agent 说话"与"什么时候停"。这是 verifiers 与 OpenAI Gym 的本质差别 (Gym 用 step() 风格,这里用对话 message 风格)。
• async 原生 — 配合 prime-rl 的全异步 rollout,1000+ 并发不掉性能。
• @vf.stop 装饰器 — 标记可被 stop 的条件 (max_turns 到了 / 超 token / 超 wall-clock),由 framework 统一处理。

2.5 完整 Wordle MultiTurnEnv 示例 (摘自 README)

class WordleEnv(vf.MultiTurnEnv):
    def __init__(self, words: list[str], max_turns: int = 6):
        super().__init__(max_turns=max_turns)
        self.words = words

    async def env_response(self, messages, state, **kwargs):
        guess = extract_guess(messages[-1]["content"])
        target = state["target"]
        feedback = score_guess(guess, target)   # "🟩🟨⬜⬜⬜" 之类
        state["history"].append((guess, feedback))
        return [{"role": "user", "content": feedback}]

    async def is_completed(self, messages, state, **kwargs):
        return state["history"] and state["history"][-1][0] == state["target"]

def load_environment(**kwargs):
    return WordleEnv(words=load_word_list(), max_turns=6)

整个 env 不到 20 行。reward function 写在 Rubric 里 (是否猜中 / 用了几轮),通过 vf-eval wordle -m <model> 立即评测,通过 uv run trainer @ configs/rl/wordle.toml 立即 GRPO 训练。

2.6 v1 Env API — Taskset + Harness 解耦

2026 年逐步推广的 v1 API 把 "任务定义" 和 "agent 怎么跑" 解耦了:

def load_taskset(config: vf.TasksetConfig) -> vf.Taskset:
    return vf.Taskset(source=source, rewards=[reward_fn], config=config)

def load_environment(config: vf.EnvConfig) -> vf.Env:
    return vf.Env(taskset=load_taskset(config=config.taskset))

不传 harness 时默认 endpoint-backed harness (HTTP 调 LLM API)。要接 CLI agent (例如 OpenCode):

env = vf.Env(
    taskset=vf.HarborTaskset(),
    harness=vf.OpenCode(),    # Harbor 任务目录的 CLI harness
)

OpenCode 是 verifiers 对 SST opencode CLI 的 wrapper,允许把"真的 coding agent"插到 RL loop 里;Harbor 是 Prime Intellect 自家的任务目录格式 (类似 SWE-bench 的 instance 格式)。

2.7 BrowserEnv — 浏览器 gym

在 verifiers/envs/integrations/browser_env/,Playwright-based,提供 click / type / scroll / read_page 工具,用于训练浏览器 agent。与 #17 UI-TARS-2 的 GUI 抽象同类,但 verifiers 更轻量 (DOM 而非 screenshot)。

2.8 OpenEnv 桥接

integrations/openenv_env.py 是 verifiers 对 OpenEnv (Meta + HuggingFace 2025-10 发布的 agentic env 标准) 的兼容层。一个 OpenEnv 项目可以直接 wrap 成 verifiers Env,做到"一次写,两栈训"。这条桥接对生态意义巨大 —— 它把 Prime Intellect Hub 和 HF Datasets-style 分发兼容起来。

3 · prime-rl 训练栈 — 与 INTELLECT-2/3 的关系

3.1 Repo 速查

3.2 四进程架构

prime-rl 把训练拆成四个独立进程,通过 toml config 编排:

uv run sft         @ configs/debug/sft/train.toml    # 监督微调
uv run trainer     @ configs/debug/rl/train.toml      # GRPO/PPO/RLVR
uv run inference   @ configs/debug/infer.toml         # vLLM 推理服务
uv run orchestrator @ configs/debug/orch.toml         # async rollout 调度

关键技术 stack:

• FSDP2 — 训练并行
• vLLM — 推理引擎
• FP8 inference — H100/H200/B200 友好
• PD disaggregation — prefill / decode 解耦 (与 NVIDIA Dynamo 配套)
• Expert parallelism + Context parallelism — 训 1T+ MoE
• Slurm + Kubernetes 双 deploy
• Multimodal (Qwen3-VL) 支持

3.3 与 INTELLECT-2 / INTELLECT-3 的血缘

关键洞见: prime-rl 不是为了"让社区训玩具模型"而存在,它就是INTELLECT-3训练用的同一份代码。这意味着你在 Hub 上拉一个 env,用 prime-rl GRPO 训 Qwen3-8B,跑的 RL recipe 与 Prime Intellect 训 106B 模型的是同一套,只是 GPU 数从 2,048 缩到 2-8。recipe 透明度是 #25 MCP-Universe / #18 AWM 无法比拟的优势。

3.4 与 verifiers Hub 的集成点

prime-rl 在 README 明确写: "Native integration with verifiers environments through the Environments Hub." 实际机制是 trainer config 里直接写 hub-id:

[env]
id = "primeintellect/alphabet-sort@0.1.5"
# orchestrator 启动时执行 prime env install 一次,
# 然后 rollout worker 直接 import 该 env 调用 .rollout()

这就是"从 Smithery JSON catalog → Prime Hub Python wheel"的本质提升 —— 后者不需要二次包装,直接 import 即用。

4 · prime env CLI — init / push / pull 完整流程

4.1 安装

curl -LsSf https://astral.sh/uv/install.sh | sh
uv tool install prime
uv tool update-shell

4.2 prime CLI 全命令树

从 PrimeIntellect-ai/prime repo (200★) 抓取的完整命令树:

prime lab           # 工作区: 一站式 env / eval / GEPA / training
prime train         # 托管训练
  ├ models          # 可训模型列表 + 容量定价
  ├ init            # 生成 training config
  ├ list            # 训练 run 列表
  ├ logs            # run 日志
  ├ metrics         # run 指标
  └ checkpoints     # 取 checkpoint
prime env           # ★ Hub 操作
  ├ list            # 浏览 hub
  ├ info <hub-id>   # 查看元数据
  ├ inspect         # 看源码
  ├ install         # 本地安装
  ├ init            # 创建新 env 模板
  └ push            # 发布到 Hub
prime availability  # GPU 资源
  ├ list
  └ gpu-types
prime pods          # 计算 pod
  ├ list / create / status / terminate / ssh
prime eval          # 评测管理
  ├ push / list / get / samples
prime config
  └ set-api-key / set-ssh-key-path / view
prime teams
  └ list / switch

4.3 完整 env 开发周期 (从 init 到 push)

Step 1: prime env init

prime env init my-env
# 生成:
# environments/my_env/
# ├── my_env.py          # env 实现
# ├── pyproject.toml     # ★ Hub metadata + 依赖
# └── README.md          # 文档模板

带 v1 harness 模板:

prime env init my-env --with-harness

Step 2: pyproject.toml 是 Hub 的 metadata 协议

[project]
name = "my-env"
description = "My custom environment"
tags = ["single-turn", "math", "train", "eval"]
version = "0.1.0"
requires-python = ">=3.10"
dependencies = [
    "verifiers>=0.1.8",
]

[build-system]
requires = ["hatchling"]
build-backend = "hatchling.build"

[tool.hatch.build]
include = ["my_env.py", "pyproject.toml"]

[tool.verifiers.eval]
num_examples = 20
rollouts_per_example = 5

关键洞察: tags 字段就是 Hub 搜索/过滤的 facet (single-turn / multi-turn / math / code / browser / agentic / eval / train),[tool.verifiers.eval] 是默认评测配置 —— 这是把"env 怎么用"也版本化的设计,胜过 Smithery 仅存 server URL。

Step 3: 本地装并自测

prime env install my-env -p ./environments
uv run vf-eval my-env -m gpt-4.1-mini -n 5 -r 3

Step 4: 推到 Hub

prime env push --path ./environments/my_env
# Hub 端: hatchling build → wheel 上传 → 索引化 → 出 hub-id (例如 myuser/my-env@0.1.0)

Step 5: 别人 pull 你的 env

prime env install myuser/my-env@0.1.0
# 等同 pip install,放到当前 .venv,可以直接 import

4.4 Discovery — 怎么找到 env

• Web UI: app.primeintellect.ai/dashboard/environments — 按 tag / popularity / recent 浏览
• CLI: prime env list + 过滤 flag (未在公开来源完整确认 flag 列表)
• API: Hub 有 REST 接口,但官方未完整公开 OpenAPI spec (未在公开来源确认 endpoint 全集)

5 · Hub 内容盘点 — 类目与 MCP 现状

5.1 已知的类目 (从官方 blog + HF blog + UI 截图归纳)

5.2 MCP 环境现状 (谨慎结论)

5.3 推荐起步 env (从公开材料筛)

• primeintellect/alphabet-sort@0.1.5 — HF blog 全流程 walkthrough 用的 env, ~8 小时 2×A6000 GRPO 训 Qwen3-0.6B 把 reward 从 0.403 提到 0.578 (+43%)
• primeintellect/wordle — MultiTurnEnv 教科书例子
• primeintellect/aime-25 — 数学 eval baseline
• primeintellect/terminal-bench — agent in real terminals,可与 #20 SETA 对照

6 · Lab 平台 — Hosted Training + Sandboxes (付费)

6.1 时间线

6.2 Lab 包含什么

blog 原文 (2026-02-10):

"Lab unifies the Environments Hub with Hosted Training and Hosted Evaluations into a full-stack platform for research and optimization."

组件:

• Environments Hub (免费,沿用)
• Hosted Training (付费) — "agentic RL with LoRA, built atop our prime-rl training library". SFT + GEPA + GKD + DPO 列为 "near future"
• Sandboxes (beta) — "for secure code execution"
• Hosted Evaluations — 一键评测某 env 上的 model
• Inference — "dedicated or serverless inference for custom models, with native LoRA support" · 基于 NVIDIA Dynamo stack

6.3 商业拐点: per-token 而非 cluster-hour

"Lab offers per-token pricing, moving away from traditional cluster-hour billing to enable cost efficiency through shared hardware across runs." —— blog/lab-is-open

这是关键差异化 —— 同期 Replicate / Together / Fireworks / Modal 走 GPU-hour 或 token (推理) 计费,但训练端走 token 计费的极少。Prime Intellect 能这样定价是因为它多租户共享 LoRA inference 集群 (NVIDIA Dynamo 的 PD-disagg + EP),底层 GPU 利用率高。

7 · 横向对比 — Hub vs OpenEnv vs Toolathlon-Gym vs MCP-Universe …

三句话总结:

• 想找 MCP server 用 Smithery / Anthropic Registry。
• 想测 MCP agent 用 MCP-Universe / Toolathlon / MCP-Atlas / BFCL。
• 想训 agent (含 MCP / 含通用 tool) 用 Prime Intellect Hub + prime-rl。

三个生态互补,不是替代关系 —— 但 Prime Intellect 是唯一覆盖"训"这一环的开源 / 社区平台。

8 · 商业模式 — Bounty / RFC / Research Stipend / per-token 计费

8.1 让社区贡献 env 的三个杠杆

1. Bounties — 官方维护"open + in-progress" bounty 表 (Google Sheets)。blog 原文: "we'll figure something out based on the difficulty scale we're using." 暗示 ad-hoc 而非固定金额 (未在公开来源确认具体金额段)。
2. RFCs — 同一张表上有"论文要做但还没人做"的 env idea 池。社区可以认领。
3. Research stipend program — "applications for novel environments and evals" · 入选者拿"compute for running experiments, a stipend and support from our internal research team." 这是真金白银的 research grant,不是 token credit。RL Residency 项目据 Sequoia podcast,14-16 人,含研究生 + 全职贡献者。

8.2 Prime Intellect 自身的赚钱路径

注意 Prime Intellect 仍保留早期的 GPU marketplace 业务 (P2P 计算租赁,INTELLECT-1 时代起家的产品)。Hub + Lab 是新业务线,与 GPU marketplace 是合作关系: 你可以在 Hub 找 env,在 marketplace 租 GPU,自己跑 prime-rl —— Lab 只是这个流程的"都不想管"托管方案。

8.3 与 NVIDIA 的合作

blog: "Leveraging NVIDIA to Build the Open Superintelligence Stack" —— 2026 年宣布合作,NVIDIA Dynamo stack 成为 Lab 推理基础。潜在含义: Prime Intellect 获得 NVIDIA 早期硬件 + 优先工程支持; NVIDIA 获得"NVIDIA stack 训出 INTELLECT-3 / 进入 100B 级 open-source 模型"的展示窗口。这是除 OpenAI/Anthropic 之外,NVIDIA 唯一深度绑定的 frontier-model 厂商。

9 · 本系列交叉参考

10 · 开源清单 + 风险与诚实分析

10.1 开源资产盘点 (沿用 #24 / #27 表格风格)

10.1.1 License 横向详细对比 (本系列各 repo 覆盖的 7 大类)

本系列 30+ 篇里出现的开源 license 共 7 大类。下表按"能不能商用 / 能不能闭源分发 / 改了要不要回馈 / 数据是否随权重"四条核心问题做精确对比。

关键差异四条总结(给"训模型 + 发模型"的人)

给本系列读者的 license 决策树

你的最终产品是?
├─ 学术 paper (不部署)
│   └─ 任何 license 都可以,引用即可
├─ 开源 fine-tune 模型 (HF 公开)
│   ├─ 训练栈/数据: MIT 或 Apache-2.0 优先
│   ├─ 避免 CC-BY-NC 数据 (xLAM-60K / Hammer-data) — ToolACE 实测 Apache-2.0 误判已更正
│   ├─ 基座是 Llama 3 → 名字必须含 "Llama" 前缀
│   └─ 基座是 Qwen3 / DeepSeek / Mistral → 无文本限制
└─ 闭源商业部署 (公司内部 / SaaS)
    ├─ 训练栈: ✅ MIT / Apache-2.0 / BSD
    ├─ 训练栈: ❌ 避开 GPL / AGPL (除非整个产品愿意开源)
    ├─ 基座: 选 Apache-2.0 模型 (Qwen3 / OLMo / DeepSeek-V3)
    ├─ 数据: 用 Apache/MIT 数据 (TOUCAN / EnvScaler / SETA tasks)
    └─ Llama 3 商业部署: 月活 ≥ 7 亿需联系 Meta;否则直接用

本系列在 license 上的"安全栈"推荐: Qwen3-8B-Base (Apache-2.0) + TOUCAN SFT (Apache-2.0) + verifiers (MIT) + prime-rl (Apache-2.0) + BFCL eval (Apache-2.0) —— 全栈商业 friendly,无 license 传染、无 NC 数据、无 Llama 前缀强制。这套是 2026 年能直接部署到生产的开源全套方案。

10.2 与 OpenAI/Anthropic 闭源 RL 基建的诚实对比

OpenAI 内部有 codex-eval + swe-rebench + 完整 RLHF/RLAIF 流水线 (从 paper / system card 推断,未公开 codebase);Anthropic 同理有内部 environment harness + Sonnet/Opus 训练用 RL gym。这些从不开放。Prime Intellect 的整体策略就是把 verifiers + prime-rl + Hub 三件套开源,赌"开源生态规模效应 > 单一闭源 lab"。这条赌注的历史先例是 PyTorch / vLLM / SGLang —— 都用了 5-8 年把闭源对手追平甚至超过。Prime Intellect 在训练栈能否同样成功,要看 2026-2028 三年。

10.3 risk 与 caveat

10.4 给本系列读者的一句话

如果你 2026 年要做 ≤40B 小模型 agentic RL (含 tool-use / MCP / browser / code),Prime Intellect Hub + verifiers + prime-rl 是当下唯一开源全栈方案。具体 recipe:

1. #22 TOUCAN 1.5M SFT 数据冷启 → uv run sft @ configs/sft/touchan.toml
2. prime env install primeintellect/<your-task> 拿 env
3. uv run trainer @ configs/rl/<task>.toml GRPO 2-3 周 / 1 H100
4. 用 #28 BFCL + #19 MCP-Atlas + #25 MCP-Universe 三个 leaderboard 评测

这套 recipe5 个月前 (2025-12) 在工程上根本不存在。是 Prime Intellect 一家公司用 9 个月把它从"spec + repo"做到"5 行命令上手"。这是2025-2026 agentic RL 在工程层最重大的变化,胜过任何单篇 paper。

来源清单 (Raw URLs)

• https://app.primeintellect.ai/dashboard/environments (Hub UI 首页)
• https://www.primeintellect.ai/blog/environments (2025-08-27 launch blog)
• https://www.primeintellect.ai/blog/lab (Lab 介绍)
• https://www.primeintellect.ai/blog/lab-is-open (2026-02-10 GA 公告)
• https://docs.primeintellect.ai/verifiers/environments
• https://docs.primeintellect.ai/hosted-training/what-is-lab
• https://github.com/PrimeIntellect-ai/verifiers (SDK)
• https://github.com/PrimeIntellect-ai/prime-rl (训练器)
• https://github.com/PrimeIntellect-ai/prime (CLI)
• https://github.com/PrimeIntellect-ai/verifiers/blob/main/verifiers/envs/multiturn_env.py
• https://github.com/PrimeIntellect-ai/verifiers/tree/main/verifiers/envs/integrations
• https://huggingface.co/blog/anakin87/environments-hub (alphabet-sort full walkthrough)
• https://x.com/PrimeIntellect/status/1960783427948699680 (launch tweet)
• https://x.com/PrimeIntellect/status/1964270515541201374 ("100+ envs in 1 week")
• https://sequoiacap.com/podcast/building-the-github-for-rl-environments-prime-intellects-will-brown-johannes-hagemann/ (Will Brown / Johannes Hagemann 对谈)
• https://medium.com/@alaminibrahim433/building-your-first-prime-intellect-environment...
• https://www.mintlify.com/primeintellect-ai/verifiers/cli/env-init
• https://www.primeintellect.ai/blog/nvidia-collaboration