SETA: Scaling Environments for Terminal Agents

1 · 背景:为什么 2026 突然需要 "terminal RL env" 这种东西

2024–2025 这一年,"终端"突然变成 agent 工程的中心舞台:

• Anthropic Claude Code(2025 中)、OpenAI Codex CLI、Cursor agent、OpenHands、Aider——一夜之间产品形态变成 "一个 shell prompt + 一个 LLM"。
• Terminal-Bench(Stanford / Anthropic 等,2025)从 0.1 → 1.0 → 2.0,逐步成为衡量 terminal agent 的"事实标准"——TB 2.0 包含 89 个真实世界 task,覆盖 git/devops/security/bioinfo/crypto 等领域。
• RL 训练侧:frontier lab(OpenAI / Anthropic / Google)被广泛猜测在内部维护着付费购买或内部合成的 terminal RL env 池——但没有任何开源对应物。

"Frontier labs spend millions purchasing RL environments for training terminal agents. But we decided to open source it. Introducing SETA: Scaling Environments for Terminal Agents, the largest open source training RL environments for terminal agents." —— Guohao Li (CAMEL-AI 创始人,X)

这句话点透了 SETA 的真正定位——不是再写一个 benchmark(那是 Terminal-Bench 的工作),而是把 "训练数据 + verifier + 训练 pipeline" 这个完整闭环开源化,让小团队 / 学术界也能跑得起 terminal agent 的 RL 训练。这与笔者前面读过的几个工作可以并排理解:

所以 SETA 在 2026 这一波"agent env / gym 大爆发"里的角色,是 terminal 这一象限的 SWE-Gym 等价物。它不是要取代 TB,而是要做 TB 的"上游训练管线"。

2 · SETA = toolkit + env + 训练 workflow 三合一

看 repo 结构最快理解它的边界:camel-ai/seta(代码 + 训练)+ camel-ai/seta-env(任务数据)共构。

2.1 TerminalToolkit:agent 用什么"敲键盘"

SETA 给 agent 的不是裸 bash,而是一套封装好的 TerminalToolkit(docs/terminal_toolkit_design.md),核心 6 个 API:

关键设计点(从 design doc 提炼):

• 每个 non-blocking session 跑独立后台 reader 线程 + thread-safe Queue,捕获实时输出——不会因为主程序阻塞而丢日志。
• "idle detection"代替 sleep:_collect_output_until_idle 持续监测 output stream,当连续静默达到稳定阈值才返回——这是 terminal agent 的痛点 #1 解法(你不知道命令什么时候真正"完成")。
• 双后端:local subprocess.Popen / Docker exec socket,统一 API。
• session 日志的双轨制:blocking 全部追加进 blocking_commands.log;non-blocking 每个 session 一个 session_{id}.log raw interleaved transcript——这对 trajectory 复盘 / reward 调试至关重要。

2.2 NoteToolkit:long-horizon 记忆补丁

blog 显式提到第二组工具,用于"long-horizon task"的外部 scratchpad(因为 LLM context 装不下整个 session log):

create_note(name, content)
append_note(name, content)
read_note(name)
list_note()

对比 #17 UI-TARS-2 的"内部 memory token"路线,SETA 这里走的是显式 external memory——朴素但和 Claude Code / Codex CLI 的工程实践一致。

2.3 任务环境:Terminal-Bench 兼容包(seta-env)

每个 task 是一个独立目录,内含:

<task_id>/
├── task.yaml          # instruction + difficulty + category + tags + timeouts
├── Dockerfile         # 完整可复现环境定义
├── docker-compose.yaml
├── solution.sh        # 标准答案(oracle agent 用)
├── run-tests.sh       # 运行测试
├── tests/             # pytest 测试集
└── weights.json       # 评分权重

第一行总是 Terminal-Bench Canary String, DO NOT REMOVE + 一个 GUID——这是 TB 的数据污染检测金丝雀,显示 SETA 任务设计完全沿用 TB 的标准格式。

2.4 训练 workflow:AReaL 主线 + rLLM 备线

训练 workflow 在 seta/training/:

• tbench_areal_workflow/ —— 主线,基于清华+蚂蚁的 AReaL 框架(2505.24298,见 models/#19 综述)。包含完整 train.py(33 KB)、eval.py(28 KB)、chat_agent_trace.py、terminal_toolkit.py、配置文件。
• tbench_rllm_workflow/ —— 备线,集成 Agentica 的 rLLM 框架(README 自述 "have not been extensively tested yet")。
• data_utils/ —— 数据下载 + 转 parquet 工具。

3 · 任务设计:400 task 长什么样

3.1 合成 pipeline:两个 LLM agent 接力

blog 描述任务生成 pipeline:

难度分布:blog 自述"most tasks are medium-level",设计动机是"fill the gap between limited terminal capability of small models and difficult terminal-bench tasks"——也就是给小模型铺中间台阶。

3.2 7 大任务类别

3.3 三个真实 task 例子(实地从 repo 抽出)

You need to create a reproducible package inventory from the current
Ubuntu system and prepare it for bulk installation on another system.
Generate a complete list of all currently installed packages
(excluding deinstalled ones), save it to packages.txt in $HOME, and
create install_packages.sh that can reinstall those packages on a
fresh Ubuntu system. The script should handle install errors
gracefully and provide a summary of successful/failed installs.

category: software-engineering
parser_name: pytest
max_agent_timeout_sec: 360
expert_time_estimate_min: 15
junior_time_estimate_min: 30

Rename user account "olduser" → "newuser" while preserving UID/GID,
moving /home, updating ownership across filesystem, fixing all
config files that contain hardcoded references to the old username,
preserving SSH key functionality, and verifying that the new user
can authenticate. The old username should no longer exist.

category: system-administration
tags: [linux, user-management, system-administration]
max_agent_timeout_sec: 600

Create a system backup script /workspace/backup.sh that:
- creates compressed tar archive (backup.tar.gz) of /workspace/system_root/
- EXCLUDES /dev /proc /sys /tmp /media /mnt /lost+found and the archive itself
- INCLUDES /home /etc /var /usr
- uses gzip compression and preserves directory structure
Validation: archive must contain all INCLUDE_MARKER files and
none of the EXCLUDE_MARKER files.

tags: [bash, tar, linux, backup, filesystem]

这三例集中体现了 SETA 任务的风格特征:多步骤、有副作用、需要 robust 错误处理、unit-test 可验证。和 Terminal-Bench 2.0 那种"play-zork / pwntools / bioinfo pipeline"的真实任务相比,SETA 任务更"标准化"——但这正是 RL 训练需要的:reward signal 干净、能批量并行、Docker 化彻底。

4 · 训练 recipe:AReaL GRPO + RLVR 配方拆解

4.1 框架选择:AReaL(主线)+ rLLM(备线)

主线训练在 AReaL 上完成(training/tbench_areal_workflow/train.py,33 KB)。AReaL 是完全异步的 RL 框架——rollout server (SGLang) 与 trainer 解耦,policy lag 可控(配置里 max_head_offpolicyness: 2)。这与 SETA 这种"任务可能跑 6 分钟、不同任务方差极大"的场景天然契合。rLLM workflow 提供小规模可读 demo。

4.2 实证 hyperparam(从 config.yaml 直接读出)

4.3 Reward 设计(RLVR 核心)

blog 明文:

"We use unit test pass ratio for each rollout as reward, with additional bonus reward 1 assigned to fully succeeded rollout. The reward value could be larger than 1 since we add a bonus for full completion trajectories."

非常朴素的 RLVR 配方:

• 没有 process reward,没有 LLM-judge,纯 unit-test 通过率(verifiable)。
• "全过 +1 bonus"避开 partial credit gaming——避免 agent 学会"先过几个简单 test 就摆烂"。
• R ∈ [0, 2],再经 reward_scaling=10 + reward_bias=-0.5 平移到 advantage 较友好的区间。
• KL=0 + decoupled loss + clip cap 5 这个组合,意味着放手让模型偏离 base——但靠 importance weight 截断防爆。

4.4 训练基础设施(从 README 推断)

• Docker per task,且必须为 address pool 用尽 准备 daemon.json 自定义 subnet(README 单列一章)——侧面证明并行规模可观。
• blog 提到 "Remote Environment Manager" 通过 TCP 编排远程主机上的容器生命周期,使用 "AWS server fleet" 与 "256+ containers concurrently"。
• 提供 sglang server 与 trainer 分离的部署模式(train_remote_rollout.py),应对单机不够的情况。
• GPU 总小时 未公开。

4.5 260 / 400 的取舍

blog 直接说 "400 terminal tasks ..., 260 of which have been used for RLVR finetuning"。Notion 报告(持续更新中)未给出明确剔除标准——合理推测:剩下 140 是 oracle 验证不稳定 / Docker 资源占用过大 / 难度偏离目标分布的部分。这部分笔者未在 repo 中找到显式 split 列表。

5 · 实证:TB2.0 #1 (46.5%) 与 Qwen3-8B 微调收益

5.1 双线结果:大模型 + CAMEL agent 框架

第一个数字与 RL 训练无关,而是"frontier model + CAMEL agent 框架"在 Terminal-Bench 上的成绩——这是 CAMEL 团队展示 agent infra 价值的数字:

分领域表现(TB 2.0,from blog):

典型的"泛型工程任务很强,垂直领域知识题崩盘"——bioinformatics 0/3 暴露了纯 prompting + 工程 toolkit 的天花板。

5.2 Qwen3-8B 主战场:RLVR 真的有用吗

这组数字老实但不闪亮:

• 基线 3.4% 本来就在地板上,绝对增量 4 task 听上去微小;但 unit-test pass ratio +20.2% 是个像样的训练信号。
• 说明在 Qwen3-8B 这个 scale 上,纯 RLVR + 260 task + 10 epoch 还不足以让小模型"突变"——它能学,但还远不够替代 frontier。
• 但这同时也是 SETA 的 honest 之处:不挑樱桃,直接报 89 task 上的实测。

6 · 🔍 开源现状清点(repo 实地走查)

这是本篇最关键的一节——直接决定 SETA 能不能被复用。截至 2026-05,走查结果如下:

6.1 仓库清单 & license

6.2 camel-ai/seta 内容剖面

seta/
├── dataset/                                  # 任务数据(submodule + 转换)
│   ├── tbench-tasks/  (symlink)             #   终端 bench 原任务
│   └── tbench-tasks_convert/                #   parquet 转换后版
├── docs/terminal_toolkit_design.md          # 详细工具设计文档
├── evaluation/
│   ├── terminal_bench_eval/                 # 跑 TB 1.0 / TB 2.0 官方评测
│   └── terminal_bench_run/                  # single-agent / workforce 试跑
├── training/
│   ├── tbench_areal_workflow/               # 主线 RL 训练(AReaL)
│   │   ├── train.py (33 KB)
│   │   ├── eval.py  (28 KB)
│   │   ├── terminal_toolkit.py
│   │   ├── chat_agent_trace.py
│   │   ├── prompts.py
│   │   └── configs/
│   │       ├── config_8xh100-qwen3-8b.yaml
│   │       └── config_test_tasks_qwen3-8b_synthdata_1-400.yaml
│   ├── tbench_rllm_workflow/                # rLLM 备线(README 自述未充分测试)
│   └── data_utils/                          # 下载 / 转 parquet 工具
├── external/                                # git submodule
├── setup.sh
└── LICENSE  (Apache-2.0)

6.3 自托管要点 / 复现门槛

• 可复现性 ≈ 中上:训练脚本、config、reward 设计、prompts 全部开源。和 #18 Agent World Model(全开源)相当,显著优于 #17 UI-TARS-2(主线权重 / 沙箱 / 训练全闭)。
• 硬件门槛:config 默认 1 node × 8 H100,sglang 分配 d4p1t1 + 训练 d4p1t1。要复现 GRPO 训练你大约需要 8×H100(80 GB),并预留充足 docker 网络池子(README 专门提了 address pool drain 故障)。
• 非琐碎的依赖:依赖 AReaL(也开源,清华+蚂蚁)、SGLang、Terminal-Bench harness、Docker。整个栈是开源的,但 first-time setup 不轻松。
• RL 训好的权重直接可下: camel-ai/seta-rl-qwen3-8b 是 BF16 完整 8B,可直接 inference 看效果——不必跑训练。
• 评测复现:evaluation/terminal_bench_eval/run_tb2.sh 一键跑 TB 2.0,只需要替换 tbench_camel_agent.py 的 API key。

6.4 开源度对比:同生态三件套

7 · 与同类工作横排

8 · SETA + Terminal-Bench 的训→评闭环

9 · 局限与个人 take

9.1 老实的局限

• 400 task 还不够。对比 R2E-Gym 上千、Agent World Model 1,000 env / 35,062 tool 的规模,SETA 的初始 batch 偏小。好消息是"continuous scaling"且 repo 里已经能看到 1000+ task 目录——但 RLVR 实际只用了 260。
• 合成任务的分布偏向 "medium"。这恰恰是有意为之(填中间台阶),但意味着 SETA 训练完的小模型对 TB2.0 里的 bioinfo / cryptography 这种长尾不会有结构性突破——这与"+4 task / +20.2% pass ratio"的温和提升一致。
• 主线 RL 跑在 Qwen3-8B,缺更大 scale。没有 14B / 32B / MoE 的对照实验,无法判断 RLVR 配方在大模型上 saturate 还是 keep scaling。
• 无 arXiv,只有 Notion 报告 + blog。技术细节(reward 公式、最终 ablation 表)需要交叉读 blog + config + train.py 才能拼齐——这篇笔记本身就是为弥补这点而写。
• 对 CAMEL agent 框架的依赖。tbench_camel_agent.py 直接绑定 CAMEL 的 ChatAgent / Workforce,迁移到其他 agent 架构(LangGraph / OpenHands / 自研)需要小改写。但好在 toolkit 接口标准、reward 函数干净——并不"vendor-locked"。
• KL=0 的训练配方比较激进。在小数据(260 task × 2 traj × 10 epoch ≈ 5,200 trajectories)上+无 KL 锚定,理论上有模式坍缩到几个高 reward 命令套路的风险——blog 没报告 generation diversity 指标。

9.2 个人 take

1. 战略价值 > 工程数字。SETA 的"+4 task on TB 2.0"是个温和数字,但项目真正的价值是把 frontier lab 的"软资产"开源化——任何团队现在都能用 8×H100 复现一个 terminal RL 训练管线,这对学术界和小厂是巨大的杠杆。
2. 双 agent 合成 pipeline 是核心 IP。"Idea Generation + Datapoint Creation"这种从 1,300 个 Q&A 种子合成可执行 Docker task的能力,本身比合成出来的 400 task 更有复用价值——这与 #18 Agent World Model 的 code-driven env 生成思路相通,但 SETA 走的是 "Docker + pytest"更工程化的路线。
3. 三件套生态的信号。CAMEL/Eigent 在 2026 初连发 SETA(terminal)+ Toolathlon-Gym(MCP)+(预计的 GUI gym),形成"训练 env 矩阵"打法。这与"先做模型再补 env"的 frontier lab 路径正好相反——是"先把 env 做厚,模型谁来训都行"的赋能策略。 SETA 的 Qwen3-8B 训练某种意义上只是"用例 demo",真正的产品是 env 本身。
4. 对照 #17 UI-TARS-2 的反讽。UI-TARS-2 是 ByteDance 把 230B MoE + 千机沙箱全闭;SETA 是 CAMEL 把 8×H100 跑得动的训练全栈全开。两者代表了 agent infra 在 2026 的两条路:闭源垂直巨型 vs 开源水平赋能。SETA 这一手开源,大概率会让"frontier lab 花百万买 terminal RL env"这条护城河迅速干涸。
5. 意外发现: HF dataset 卡片只显示 3 行,但实际 GitHub seta-env/Dataset/ 已经有 1000+ 任务目录,Harbor-Dataset/ 又有 1000+。"400"是 blog 时点的 RLVR-ready 子集,实际开源池子已远超此数——这是用户实际复用时容易忽略的 silver lining。