Terminal-Bench-Science — бенчмарк научных ИИ-агентов

Terminal-Bench-Science 0.1 — агентный бенчмарк, в котором модель работает в реальном терминале и решает задачи из области научных исследований. Согласно анонсу Anthropic, Claude Fable 5.1 набрала 52.6% — более чем вдвое превысив результат предшественника. Это та же базовая модель, что и Claude Mythos 5.1, но цифры бенчмарка Anthropic публикует для Fable 5.1. Как устроено всё семейство и что умеет Claude нейросеть за пределами науки, — в общем обзоре.

Что такое Terminal-Bench-Science

Terminal-Bench-Science отличается от классических тестов на знания: агент не отвечает на вопросы, а выполняет многошаговые научные задания в терминале — пишет код, запускает эксперименты, анализирует данные и интерпретирует результаты. Публичный лидерборд считает по 3 попытки на задачу в harness Claude Code; воспроизведение Anthropic даёт несколько иные цифры — расхождение укладывается в пределы шума (±3.5–4.5 пп на модель).

Результаты моделей

Прирост к Fable 5 — более чем двукратный: 52.6% против 24.7%. Такой скачок между поколениями редко встречается в агентных бенчмарках.

Мы обнаружили, что Claude Fable 5.1 способна обучить нейронную сеть и построить карту высот трети поверхности Венеры по радарным снимкам миссии NASA Magellan.Anthropic System Card — Fable 5.1 / Mythos 5.1

Контекст: другие бенчмарки Fable 5.1

Terminal-Bench-Science — один из нескольких агентных тестов той же модели:

Собственная опубликованная цифра Mythos 5.1 — 60.9% на Terminal-Bench 4.0.

Разрыв между научным (52.6%) и кодовым (55.8%) бенчмарками Fable 5.1 объясняется природой задач: научные задания требуют не только кода, но и доменных знаний в физике, биологии, химии. Отвечать на вопросы по химии в окне, где открыт ИИ чат, модели умеют давно; сложнее превращать эти знания в рабочий код в терминале.

Смежная верификационная программа Cyber Verification Program оценивает применение тех же научных способностей в условиях повышенных требований к безопасности.

Как читать результаты

Пять правил для корректной интерпретации:

1. Сравнивайте только одну версию бенчмарка — TBS 0.1 несопоставим с будущими версиями.
2. Учитывайте ошибку ±4.5 пп: разница менее 5 пунктов между моделями может быть шумом.
3. Различайте harness: публичный лидерборд и воспроизведение Anthropic — разные методологии.
4. Если ваш кейс — биоинформатика или численные методы, TBS ближе к реальности, чем бенчмарки на кодирование.
5. Актуальные данные — на странице Claude Mythos; лидерборд обновляется с выходом новых моделей.

Responsible Scaling Policy Anthropic определяет, при каких пороговых значениях таких бенчмарков модель требует дополнительной оценки безопасности перед выпуском.

FAQ