跳转到内容

Quickstart

终端窗口
uv tool install harbor
终端窗口
pip install harbor

Harbor 是 Terminal-Bench-2.0 的官方 harness:

终端窗口
export ANTHROPIC_API_KEY=<YOUR-KEY>
harbor run --dataset terminal-bench@2.0 \
--agent claude-code \
--model anthropic/claude-opus-5-5 \
--n-concurrent 4

默认在本机用 Docker 起环境。

终端窗口
export ANTHROPIC_API_KEY=<YOUR-KEY>
export DAYTONA_API_KEY=<YOUR-KEY>
harbor run --dataset terminal-bench@2.0 \
--agent claude-code \
--model anthropic/claude-opus-5-5 \
--n-concurrent 100 \
--env daytona
终端窗口
harbor datasets list

SWE-Bench、Aider Polyglot 等第三方 benchmark 都在列表里,通用跑法:

终端窗口
harbor run -d "<dataset@version>" -m "<model>" -a "<agent>"
终端窗口
harbor run --path examples/tasks/verifier-mode-matrix \
-e daytona -a oracle --n-concurrent 1 -y
终端窗口
harbor run --help