Terminal-Bench: бенчмарк для ИИ-агентов в терминале — версии и результаты моделей

Terminal-Bench — открытый бенчмарк для оценки ИИ-моделей на реальных задачах в командной строке: отладке кода, работе с файловой системой и многошаговых агентных сценариях. Методология опубликована в официальном репозитории на GitHub. Claude Fable 5.1 набирает на этом тесте 55,8%, а лучшие результаты сейчас у Claude Sonnet 5.5 (70,6%) и Claude Opus 5.5 (66,4%). Что ещё умеет Клод, кроме терминальных задач, — в общем обзоре.

Что измеряет Terminal-Bench

Ключевая идея — проверять не знания, а способность действовать. Агент получает задачу в реальной Linux-среде: инструменты, терминал, объективный критерий успеха. Задача засчитана только при проверяемом результате — запустился ли скрипт, прошли ли тесты.

Бенчмарк охватывает:

• отладку и исправление кода в реальных репозиториях
• многошаговые сценарии с несколькими инструментами
• написание и запуск тестов с автоверификацией
• взаимодействие с внешними API и сервисами

Полный список поддерживаемых моделей и их идентификаторов — в обзоре моделей Anthropic.

Terminal-Bench 4.0: таблица результатов

Четвёртая версия — основной инструмент оценки агентного программирования с длинными цепочками инструментов и проверкой на устойчивость к ошибкам.

Модель	Terminal-Bench 4.0
Claude Sonnet 5.5	70,6%
Claude Opus 5.5	66,4%
Claude Mythos 5.1	60,9%
Claude Fable 5.1	55,8%
Opus 5	52,3%
Claude Fable 5	42,0%
GPT-5.6 Sol	37,3%

Прирост Fable 5.1 к предшественнику — 13,8 п.п. Официальные результаты опубликованы в анонсе Claude Fable 5.1.

Агентные бенчмарки на реальных задачах — единственный объективный способ сравнивать модели для инженерных сценариев.Anthropic, документация по tool use

Terminal-Bench-Science 0.1: наука и вычисления

Научная версия — задачи по анализу данных, символьной математике и биоинформатике. Claude Fable 5.1 набирает 52,6%, тогда как Fable 5 остановился на 24,7% — рост почти вдвое.

Модель	Terminal-Bench-Science 0.1
Claude Fable 5.1	52,6%
Claude Fable 5	24,7%

Если вас интересует, как эффорт-тиры влияют на качество агентных задач, читайте о системе управления усилиями модели.

Как выбирать модель по данным Terminal-Bench

Terminal-Bench — не единственный агентный тест: OSWorld 2.0 проверяет управление GUI (Fable 5.1 — 77,9%/41,7%), CursorBench 3.2.0 — IDE-ассистенты (73,4%), GDPval-AA v2 — аналитику (1853 балла). Бенчмарки задают ориентир, но поведение модели на своих задачах проще проверить самому: попробовать ИИ онлайн бесплатно можно в ограниченной версии. Вот практические советы:

1. Смотрите на абсолютный процент, а не только на ранг: разница 55%→60% в продакшне — десятки лишних итераций в неделю.
2. Science-версию проверяйте отдельно — она релевантна лишь при задачах с научными вычислениями.
3. Уточняйте, при каком режиме усилий получен результат: CursorBench — effort=max, это влияет на стоимость.
4. Дополняйте Terminal-Bench данными из OSWorld 2.0, если задача включает GUI или браузер.

Модель доступна на AWS Bedrock, Google Cloud и Azure. Стоимость агентных прогонов сильно зависит от кэша — подробнее в статье о кэшировании промптов в Claude.

FAQ

Что такое Terminal-Bench?

Terminal-Bench — открытый бенчмарк для оценки ИИ-агентов на реальных задачах в командной строке: отладке кода, работе с файлами и многошаговых агентных сценариях. Задача считается решённой только при объективно проверяемом результате.

Что измеряет Terminal-Bench?

Бенчмарк измеряет способность ИИ-модели действовать в реальной Linux-среде: запускать команды, исправлять ошибки в коде, взаимодействовать с инструментами и завершать многоэтапные задачи с проверяемым результатом.

Какие версии Terminal-Bench существуют?

Основная версия — Terminal-Bench 4.0 (агентное программирование и DevOps-задачи). Отдельная ветка — Terminal-Bench-Science 0.1, нацеленная на научные вычисления, биоинформатику и численный анализ.

Какой результат показывает Claude Fable 5.1 на Terminal-Bench?

На Terminal-Bench 4.0 — 55,8% (против 42% у Fable 5). На Terminal-Bench-Science 0.1 — 52,6% (против 24,7% у Fable 5, рост почти вдвое). Лучшие результаты — у Claude Sonnet 5.5 (70,6%) и Claude Opus 5.5 (66,4%), у Claude Mythos 5.1 — 60,9%.

Чем Terminal-Bench отличается от других бенчмарков?

Terminal-Bench проверяет реальное выполнение задач в терминале, а не ответы с вариантами. Результат объективен — сработал код или нет. OSWorld 2.0 фокусируется на GUI, CursorBench — на IDE-ассистентах.

Почему Terminal-Bench важен для оценки ИИ-агентов?

Реальная полезность модели определяется способностью действовать, а не знаниями. Terminal-Bench — один из немногих тестов, где нельзя угадать правильный ответ: нужно выполнить задачу в реальной среде.