调研 · 4 个 MCP Benchmark 横向对比

MCP-Universe / MCP-Atlas / Toolathlon / MCPMark

§1 这 4 个是什么 — 一张速览表

§2 开源贡献深度对比

2.1 评测代码 / harness / docker / trajectory / RL gym 详表

2.2 RL 训练适配度 — 唯一有"官方 Gym"的是 Toolathlon

这是 4 个 bench 中差距最大的一项。Toolathlon 是唯一把 RL 训练环境分支化出来的:由 CAMEL-AI / Eigent.AI 维护的 eigent-ai/toolathlon_gym 把 Toolathlon 的 task 格式、evaluation framework、MCP server interface 全部继承下来,扩成 503 task,关键是把所有外部 API 换成本地 PostgreSQL dump (8.2 MB, db/init.sql.gz)。原文(toolathlon_gym README):

"Toolathlon-GYM is built on and extends the infrastructure from Toolathlon by HKUST-NLP. The task format, evaluation framework, MCP server interfaces, and database schema design all originate from the Toolathlon project. It runs entirely locally, with no external API calls required at running time."

这意味着 RL 训练时:

• 无 quota 风险 — 没有 OpenAI / Notion / GitHub rate limit 阻塞 rollout
• determinism — PostgreSQL dump 是版本化的, reset 后是同一份 state
• 可并行 — 每 task 独立 ephemeral container, run_parallel.sh 支持 N 并发 (CAMEL-AI 官方示例用 10)

其他三个 bench 的状况:

• MCP-Universe: 框架包含 workflow + agent SDK(BasicAgent / ReActAgent / FunctionCallAgent), 但无 RL loop, 也没把环境抽象成 gym.Env;trace collector 倒是有(MemoryCollector / SQLiteCollector),可以当 trajectory 数据源。
• MCP-Atlas: 完全 inference-only。Repo 中无 "rl" / "train" / "gym" 关键字。判分用 LLM-as-judge,每条 rollout 还要走 Gemini 2.5 Pro 评分 — 这成本对 RL training rollout 不切实际。
• MCPMark: 同样 inference-only。重视的是 pass@k 多次评估,而不是 RL rollout。"isolated environments that do not pollute your accounts/data" 是给评测设计的, 不是训练 reset 设计的。

2.3 自托管门槛对比

Toolathlon 的独门武器是 "public eval service" — 团队自己跑了一台公网服务器,所有人都可以以"打 API"方式提交评测,完全跳过本地配置。README 原话:

"We provide Toolathlon evaluation as a service on public servers, where we have setup all the required MCP accounts and you don't need to worry about the setup -- you don't even need to install any MCP-related dependencies, evaluation can be ran by just communicating with our public server"

§3 社区关注度(2026-05-15 实时快照)

3.1 GitHub star / fork / issue

查询命令(可重现):

curl -s "https://api.github.com/repos/<org>/<repo>" \
  | python3 -c "import json,sys; d=json.load(sys.stdin); \
    print(d['stargazers_count'], d['forks_count'], d['open_issues_count'])"

3.2 Frontier model 官方报告引用情况

Anthropic Claude Opus 4.7 公告中关于 MCP-Atlas 的原话(anthropic.com/news/claude-opus-4-7):

"MCP-Atlas ... Opus 4.6 score has been updated to reflect revised grading methodology from Scale AI ... the +14.6 point jump on MCP-Atlas is the largest single improvement in the agentic suite"

Gemini 3.1 Pro Model Card(deepmind.google/models/model-cards/gemini-3-1-pro/),关于 16 项 benchmark 中 MCP 唯一一项:

"MCP Atlas — Multi-step workflows using MCP ... 69.2%"

3.3 知名人士 / 同行提及

3.4 学术 citation 与跨论文引用

诚实声明: Google Scholar / Semantic Scholar 没有暴露 API 让我直接抓 citation 数。从公开信息推断的相对顺序(2026-05):

• MCP-Universe(2025-08 最早, 学术属性最强): 估计被引最多, 进入多篇 survey
• MCPMark(被 DeepSeek 技术报告正式引用 → 有"开源模型同行采用"加成)
• Toolathlon(因 Gym 衍生作 + CAMEL-AI 生态附着, citation 还在 ramping)
• MCP-Atlas(2026-01 上线最晚, citation 数应低于以上三者, 但 frontier 引用是另一维)

§4 完整 leaderboard — 4 个 bench 的 top-10 总表

§4.1 MCP-Universe overall(官网, 2026-05 快照)

主指标: success rate (%) overall。

注: 主榜上 Claude 4.5 Sonnet 排第 7 但分高于第 4 — 这是因为官方按 "first-listed best score per provider" 排序后又把多版本混进来。我这里按官网展示顺序给出。

§4.2 MCP-Atlas overall(Live leaderboard 2026-04-08)

主指标: pass rate (%) with 95% CI。

注: 当前 Scale Live leaderboard 没有任何开源模型登榜 — 这是 Atlas 的关键弱点(下节 §5 详述)。

§4.3 Toolathlon(toolathlon.xyz, 抓取于 2026-05)

Toolathlon 是 4 个 bench 中开源模型登顶覆盖最好的 — top-10 中 4 个是开源(虽然都是 100B+ MoE,不是 <40B)。

§4.4 MCPMark(mcpmark.ai/leaderboard, 抓取 2026-05)

MCPMark 用 pass^k 作为 stability 指标 — 必须每次 run 都 pass 才算。pass@1 与 pass^4 的 gap 体现一致性。

§5 ⭐ 开源 <40B 模型专属榜单

原因有三: (1) MCP 任务的 long-horizon + 工具数量 (220-604 tool) 对 small model 太残酷; (2) 各 bench leaderboard 都被 lab 用大模型刷, 主动报 <40B 结果的反而是 MCP-Universe(因为它学术属性最强); (3) 真要训 <40B,大家会去 Toolathlon-Gym 或合成 env (#18 AgentWorldModel) 自己训, 不报 main bench 的官方榜。

§5.1 MCP-Universe ≤ 40B 开源(官网 leaderboard 直接列)

从 leaderboard 表筛选 open-source 标记 + 估算参数:

§5.2 MCP-Atlas ≤ 40B 开源

0 个。Scale Live leaderboard 当前(2026-04-08 快照)全是 proprietary 模型 + GLM-5p1(Zhipu, 大模型)。没有任何 Qwen3 / Llama / GPT-OSS / Gemma 进入官方榜。

HF 数据集 README 中也明确 MCP-Atlas 任务对小模型不友好(因为 enabled tools 一次 10-25 个,context 直接吃爆 <8K context model)。

§5.3 Toolathlon ≤ 40B 开源

主榜 0 个 <40B。但 Toolathlon-Trajectories HF 数据集中包含的 gpt-5-mini(不开源)、claude-4.5-haiku-1001(不开源)是体量级最小档,均不达 <40B 开源标准。
但 Toolathlon-Gym(503-task 训练版)是唯一明确推荐小模型训练的环境 — CAMEL-AI 的 README 用 gemini-3-flash-preview 做示例,但本质上是 RL training 跑道,任何 <40B 模型都可以接入,只是分数还没公开。

§5.4 MCPMark ≤ 40B 开源

MCPMark README 中关于此事的原话:

"17 Nov — Added 50 easy tasks (10 per MCP server) for smaller open-source models"

§5.5 总结: <40B 是 MCP benchmark 的"沙漠带"

含义: 你的 4B/8B 模型要在 MCP bench 上"上墙",当前唯一可行的路是用 Toolathlon-Gym 训出来 → 报 Toolathlon main bench 分数。Atlas / Universe / MCPMark 都没有"open-source <40B 专项排名",报上去也会沉到 30 名外。

§6 提交流程详解 — 怎么把结果"上墙"

这是 4 个 bench 差异化最大的部分。下面 SVG 是流程图概览:

§6.1 MCPMark — 仅 task 贡献流程公开, 模型分数靠 PR

官方 contribution doc verbatim:

1. "Fork the repository and create a feature branch."
2. "Add new tasks under tasks/<mcp>/<task_suite>/<category>/<task_id>/ with the files of meta.json, description.md and verify.py."
3. "Ensure all tests pass."
4. "Submit a pull request — contributions are welcome!"

关键漏洞: 官方文档没有写"如何提交新模型评测结果"。从 README News 区可见,新模型分数是团队自己加("02 Dec — Evaluated gemini-3-pro-preview...");第三方要进榜,只能在 GitHub issue / Discord 联系维护者请求代跑。

§6.2 Toolathlon — 流程最完善, 有"代跑"option

README 中四种提交方式 verbatim:

"Basically you have four ways of running Toolathlon evaluation:
1. Using our public evaluation service: Check EVAL_SERVICE_README.md for more details.
2. Setup your own Toolathlon evaluation service on your own machine as detailed below.
3. If you are a major user that will use Toolathlon evaluation a lot, you can also contact us (jlini@cse.ust.hk / junxianh@cse.ust.hk), we may be able to provide a dedicated evaluation service for you (for free).
4. If you have an API endpoint and just want to test your model, you can contact us ... and we are happy to help you run evaluation on Toolathlon with your given API endpoint."

这是 4 个 bench 中唯一明确写"你只要给 endpoint 我们就帮你跑"的。

§6.3 MCP-Atlas — 完全没暴露提交接口

repo README 与 paper 都未写 self-submit 指引。Live leaderboard 上的所有模型都是 Scale AI 自己评的。这意味着:

• 新模型想上榜只能等 Scale AI 评;
• frontier 模型上榜(Claude Opus 4.7 / Gemini 3.1 Pro / GPT-5.5)的实质是商业合作关系而非 community submission;
• 这一点与 MCP-Atlas 在 system card 的强势地位一脉相承 — bench gatekeeper 集中在 Scale。

§6.4 MCP-Universe — 评测代码全开, 但 leaderboard 闭门维护

README "Citation" 之前最后一段是 "Visualize the agent running information",完全没提 leaderboard submission。官网 results 页是 Salesforce 团队手动更新的。社区只能在 Discord (链接已加入 README) 或 GitHub issue 提请求。

§7 选型决策树

§8 综合 take · 2026 年的事实地位

MCP-Atlas — 事实上的"标准刻度",但闭门 gatekeeping

2026 年最重要的 MCP benchmark, 因为 frontier 三家 model card 都报。但没有 self-submit 机制,leaderboard 进出由 Scale AI 控制。这意味着学术界 / 开源社区的话语权很弱 — 这一点是 Atlas 的潜在裂缝。 (详见 #19 精读 §8 我的 hypothesis。)

Toolathlon — 唯一带 RL Gym 的 MCP bench, 最适合训练驱动

Toolathlon 主测的 108 task 是评测;真正稀缺资源是 Toolathlon-Gym 的 503 task + 本地 PostgreSQL。这一组合让 RL training rollout 不再受 API quota / determinism 拖累,是 4 个 bench 中唯一可以直接接 GRPO / DPO 训练 pipeline 的。如果 #18 AgentWorldModel 是"完全合成 RL env"的代表,那 Toolathlon-Gym 是"真协议 + 本地数据"路线的代表 — 半合成是 sweet spot。

HKUST-NLP 团队的 "contact us, we are happy to help" 政策也是 4 个 bench 中最 open 的。社区 inertia 在 ramping。

MCPMark — "快速回归测试"的实用主义首选

5 分钟启动 + 127 task + pass^k 完善 — 工程友好度最高。DeepSeek V3.2 技术报告引用给了它"开源模型同行采用"的标签,这是它和 Atlas 的差异化武器。但没有 RL gym 配套 + 无 frontier model card 引用,定位长期会是"practical companion"而非"primary benchmark"。

MCP-Universe — 学术风格的综合 baseline, 但被 Atlas 抢走了"frontier 引用"位

规模虽不及 Atlas (231 vs 1000) 也不及 Toolathlon (11 server vs 32 app),但领域覆盖最像传统 benchmark(location nav / repo / financial / 3D / browser / web search 6 domain)+ 完整 agent SDK + dashboard,适合 paper 的 multi-domain ablation。新版本支持运行 MCPMark task(README "MCP-Universe now supports evaluating the MCPMark tasks") — 这是好事,但也暗示它在向"meta framework"转,不再坚持"自己是 the benchmark"。

我对未来 6-12 个月的预测

• Atlas 继续被 frontier 引用,但 Scale AI 必须在 2026 下半年开放某种 self-submit (例如"community-experiments" repo 模式),否则学术界会逐渐转向 Toolathlon。
• Toolathlon-Gym 在第一篇用它训出来的论文(预计 2026 Q3)发出来后会暴涨。这是当前最被低估的 RL training asset。
• MCPMark 因为 DeepSeek 引用 + Qwen team 提及,会被中国开源 lab 大量用作主报告;但 frontier 仍不太可能采用。
• MCP-Universe 可能逐渐变成"framework provider"而不是"benchmark"。它的 framework 价值(MCP+ context mgmt, W&D research agent)会盖过 benchmark 本身。

数据快照: 2026-05-15 · GitHub API · arXiv · 各官方 leaderboard · Anthropic Opus 4.7 launch post · Google DeepMind Gemini 3.1 Pro model card · 第三方 GPT-5.5 报告(OpenAI 主页 403 抓不到)
本文是调研笔记而非精读;关于 MCP-Atlas 的深入精读见 #19。