PinchBench · Kilo Code 出品的 OpenClaw Agent Benchmark

1 · 是什么 / 谁出的 / OpenClaw 是什么

1.1 三方关系图

这套生态有三个名字容易混,先拆清:

1.2 PinchBench 的定位

官网 about 页面原文:

设计哲学是 "real tasks, not synthetic tests":

• 不是 multiple-choice、不是 unit-test pass rate、不是合成 QA
• 是 "schedule meeting / write code / triage email / research topic / manage files" 等真实工作流
• 测四件事:tool usage(选对工具+正确参数)/ multi-step reasoning / handling ambiguity / practical outcomes(真的创建了文件吗?真的发了邮件吗?)

2 · 任务格式 + IO + 多轮性 + 样例

2.1 任务文件格式

每个 task = 一个 markdown 文件 + YAML frontmatter,位于 pinchbench/skill/tasks/:

---
id: task_descriptive_name
name: Task Display Name
category: csv | log | email | research | coding | ...
grading_type: automated | llm_judge | hybrid
timeout_seconds: 120
workspace_files:
  - source: assets/input_data.csv
    dest: data.csv
multi_session: true        # 可选,多轮
sessions:
  - id: first_turn
    prompt: Initial instruction
  - id: follow_up
    prompt: Continuation
  - id: fresh_context
    new_session: true        # 清 context 但保留 workspace
    prompt: New session
---

# Prompt
<发给 agent 的真实 user message>

# Expected Behavior
<可接受的解题路径,给 LLM judge 当 context>

# Grading Criteria
- atomic checklist 1
- atomic checklist 2
...

# Automated Checks (Python)
```python
def grade(transcript: list, workspace_path: str) -> dict:
    """Returns {criterion_name: 0.0-1.0}"""
    ...
```

# LLM Judge Rubric
### Criterion (Weight: 30%)
**Score 1.0**: Perfect
**Score 0.75**: Good with minor issues
...

2.2 任务类别 + 数量(V2 实际清点)

合计 ~120+(blog 上 Kilo 自称 "23 → 148",repo 实际清点稍少)。社区 2026-03 大扩展由 111 个 PR 推动。

2.3 多轮性 / Long-horizon 评估

2.4 一个具体样例:task_calendar

Automated grader 会:

1. 检查 workspace 里有没有写出 event.ics 或调了 calendar API
2. 解析 transcript 找 toolCall 事件,看是否调对了 tool + 参数
3. 读 final output 检查 5 个 criterion 各自的 0.0/1.0 分

3 · 评测机制 / V2 新指标

3.1 三种 grading 模式

3.2 评分对象:end-to-end + step-wise + trajectory-level 全有

• End-to-end: top-level success rate(taskwise pass / fail aggregated)
• Step-wise: 每条 grading criterion 独立打分 — "tool 调用了吗 / 文件创建了吗 / 内容包含 X 吗"
• Trajectory-level(V2 新增):
  • Consistency score:同一 task 多次跑的 variance
  • First-try success rate:单次成功率(不带重试)
  • Retry count:平均重试次数
  • Per-task variance / std

3.3 V2 解决了 V1 的几个真问题

3.4 同时报三种 metric 的展示

官网 leaderboard 支持四个视图:

• Success Rate — 默认,聚合分数
• Speed — 平均完成时间
• Cost — 平均 token 成本
• Value — 三者组合的"性价比"分

4 · 完整 leaderboard + 开源小模型表现

4.1 官方 leaderboard 前 10(success rate 视图,2026-05 快照)

BenchLM 第三方快照(2026-04)还报告 Trinity-Large-Thinking (Arcee AI) 91.9% 排第一,Qwen3.6 Plus 84.0%。

4.2 开源 <40B 模型(数据来自 BenchLM 快照)

4.3 提升空间判断

开源 <40B 真正可下载权重的 SOTA(Qwen3.5-27B)78.5%,比 Claude Opus 4.7 差 13 个点。这个 gap 大概率可以用 RL 训练补 5-10 个点 — 任务集本身公开 + 评分函数公开 + reward 信号 episode-level 可用,接 GRPO 直接跑就行。类似 SWE-Bench 上 DeepSWE 把 Qwen3-32B 从 ~15% 拉到 59% 的故事可能在 PinchBench 重演。

5 · 运行 / 复现性 / Sandbox / 网络

5.1 运行依赖

5.2 Sandbox 与网络

5.3 可复现性手段(已知)

• Semantic versioning(V2 新):任务版本号清晰,可固定到具体版本
• Manifest-based task ordering:同一 manifest 跑同一组 task
• Transcript 全留底:results/{run_id}_transcripts/ JSONL,可重新打分
• --runs N:每 task 跑 N 次取平均(V2 还报 variance)
• Judge result caching:同样 transcript 不重判

5.4 跑一遍完整 benchmark 的成本估算

6 · 🔑 自托管模型怎么接进来 — 完整配置

这是你问的核心:能不能 serve 自己训练的模型,让 PinchBench 跑? 答案 完全可以,且不需要走 OpenRouter / Anthropic / OpenAI。

6.1 两条路径

6.2 完整工作流(路径 A)

{
  agents: {
    defaults: {
      model: {
        primary: "myserve/my-model"
      }
    }
  },
  models: {
    providers: {
      myserve: {
        baseUrl:
          "http://your-server:8000/v1",
        apiKey: "${MY_API_TOKEN}",
        api: "openai-completions",
        timeoutSeconds: 300,
        models: [{
          id: "my-model",
          name: "My Trained Model",
          contextWindow: 200000,
          maxTokens: 8192
        }]
      }
    }
  }
}

6.3 OpenClaw 已经 bundle 的 OpenAI-compat 后端

这意味着只要你的 serving 框架实现 OpenAI /v1/chat/completions API,就能直接接。vLLM / SGLang / TGI / llama.cpp server / Bedrock proxy / 任何 OpenAI 兼容 endpoint 都行。

6.4 是否能用云端 KiloClaw 跑?

6.5 实操注意

• 模型 ID 格式:必须用 provider_name/model_id(如 myserve/my-model),不能裸 model id
• contextWindow / maxTokens:要和你真实模型对齐,虚报会被 OpenClaw 截
• tool_calling 支持:你的模型必须能 reliably 输出 function call 格式(OpenAI tools schema)。Qwen3 / Llama 3.1+ instruct 模型默认支持;裸 base model 不行
• 带宽/延迟:OpenClaw 默认 timeout 30s/call,慢模型设 timeoutSeconds: 300
• 不要 --official-key 上传:除非你的模型有正式 ID;否则 leaderboard 不接受自托管

7 · 📤 提交到 Official Leaderboard 流程

7.1 三种 run 模式

7.2 完整流程原文(README 节选)

7.3 提交新任务(贡献 PR)

• 在 pinchbench/skill/tasks/ 加新 task,follow tasks/TASK_TEMPLATE.md
• 必须包含 prompt + expected behavior + grading criteria + grader function + (如需)LLM judge rubric
• 提 PR 到 pinchbench/skill
• 2026-03 一次 "call for contributors" 收到 111 个 PR,community 极活跃

7.4 为什么"official"需要团队跑

关键考虑:

• 硬件标准化 — community 跑的速度数字不可比(机器配置不同)
• 防作弊 — 否则用户可以多跑几次只交最高分
• token 限速 / 配额 — PinchBench team 用统一 API key 保证调用一致
• cost 数字归一 — 用同一时点的 token 价格

因此:community run(可自由跑、自动上传)足够用于对比自己训练的不同 checkpoint。Official run 主要是给商业模型 vendor 做权威排名。

8 · License / 商用 / 训练数据政策

MIT 是最宽松的 — 商用、修改、闭源衍生全允许,只要保留 copyright notice。

9 · 合成数据 / 自建成本

任务格式低门槛(markdown + YAML),但好 grader 高门槛。

合计 ~1.5–2 小时 / task。造 50 个 task 大约 75–100 工时 = 1.5–2 周专人专做,或 ~$3K–5K 雇 contractor。

跟其他 agent benchmark 自建难度对比:

10 · 局限 / 个人 take

这个 benchmark 的优势

• ✅ 真实任务,不是合成 MCQ
• ✅ 全 MIT 开源,Docker 化好跑
• ✅ 自托管模型完美支持(OpenClaw 自定义 provider)
• ✅ V2 引入 consistency / variance / cost / speed,评测维度全面
• ✅ Episode-level reward 可直接给 RL 当 reward signal

局限

• ⚠ 任务 horizon 偏短(5-20 turn),不测真正长程任务(对比 OSWorld 30-50, GAIA 多步)
• ⚠ 偏 productivity / coding,不覆盖 GUI / browser / OS-level agent
• ⚠ Sandbox 网络隔离政策不透明,web search 类任务的可复现性受外部状态影响
• ⚠ Official leaderboard 必须 PinchBench team 跑(community 只能拿 "unofficial" 标记)
• ⚠ 顶尖闭源模型已经饱和(86-92%),benchmark 区分度对前沿模型在下降
• ⚠ 评测主要走 Kilo 自家 OpenClaw harness,harness-specific 影响显著(Claude Haiku > Opus 4.6 就是 harness 偏好的证据)

个人 take

PinchBench 是"工业实用主义"派的 benchmark — 不追前沿 long-horizon,不堆 OSWorld 这种全 OS 任务,而是聚焦"真实小白领 daily workflow"。它的强项是 commercial-friendly + 易自托管 + grader 极透明。对一个想训练自己的 7B–30B agent 模型的团队,这是性价比最高的 evaluation harness 之一。

但要明白:在 PinchBench 上做 SOTA 不等于 agent 能力强。它对短 horizon、productivity 类任务过拟,真正的 long-horizon agent 能力(OSWorld / RE-Bench / GAIA)PinchBench 测不出来。

3 个待验证问题

1. Sandbox 的网络出口具体怎么管?能不能在 task 层面定义 allow/deny domain?
2. Grader 函数有没有 leak 风险 — 如果模型能读到 grader 源码,score 会被 game 多少?
3. 把 PinchBench 当 RL training 用,有没有人公开过 recipe?目前 leaderboard 上看似没有"用 PinchBench 自训"的模型。

Memory points