Как читать бенчмарки ИИ-агентов и не попасться на цифры

Летом и осенью 2024 года крупные лаборатории почти синхронно начали мерить свои модели не только на задачах вроде «ответь на вопрос», но и на агентных бенчмарках: SWE-bench для программирования, GAIA для многошаговых задач с инструментами, WebArena для действий в браузере. В пресс-релизах это выглядит как строчка «73% на SWE-bench Verified» — и звучит убедительно. Проблема в том, что рядом другая лаборатория показывает 65% на том же тесте, но с другой обвязкой, и сравнивать эти числа напрямую нельзя. Ниже — как отличить измерение от маркетинга, если вы не занимаетесь этим профессионально.

Почему цифра сама по себе ничего не значит

Агент¹ — это не просто модель. Это модель плюс всё, что вокруг: подсказки-инструкции, доступ к инструментам, число попыток, разрешение перезапускать себя после ошибки. Одну и ту же базовую модель можно обернуть так, что на SWE-bench она даст и 40%, и 70%. Поэтому когда вы видите процент, первый вопрос не «сколько», а «в какой конфигурации».

Показательный пример — сам SWE-bench. Есть полная версия и есть SWE-bench Verified: подмножество из 500 задач, вручную проверенных на то, что они вообще решаемы и корректно сформулированы. Проценты на этих двух наборах несравнимы, хотя название почти одинаковое. Если в отчёте не уточнено, какой именно набор использован, это уже повод насторожиться.

Число без описания обвязки — это не результат модели, а результат команды, которая её настраивала. Иногда вы сравниваете не модели, а инженеров.

Три вопроса к любому проценту

1. На каком наборе задач? Полный SWE-bench, Verified, Lite — это разные наборы с разной сложностью. То же с GAIA: у него три уровня, и «результат на GAIA» без уровня почти бессмыслен.
2. Сколько попыток? Метрика pass@1 (решил с первой попытки) и pass@5 (хотя бы раз из пяти) — это разные вещи. Вторую цифру легко выдать за первую, если не приглядываться.
3. Кто мерил? Результат из статьи авторов модели и результат из независимого лидерборда — не одно и то же. Своя команда почти всегда выжимает максимум обвязкой.

Что означают популярные бенчмарки на самом деле

Каждый тест меряет свой узкий срез. Понимание, какой именно, спасает от переноса цифры на свою задачу.

Вывод отсюда простой: высокий SWE-bench не обещает, что агент хорошо забронирует вам билет, а сильный GAIA не значит, что он починит ваш код. Бенчмарки не переносятся между доменами так, как хочется в это верить.

Ловушка усреднённого числа

Иногда компания показывает «средний результат по набору бенчмарков». Это удобно для слайда, но прячет разброс. Модель может быть сильной на рассуждениях и слабой на длинных агентных цепочках — среднее сгладит обе крайности в невыразительную середину. Если для вас важна именно длинная многошаговая работа, среднее число вам ничего не скажет, нужен результат конкретно на агентных тестах.

Признаки честного отчёта

Хороший разбор результатов легко отличить по деталям, которые в нём есть и которых нет в маркетинговом:

• указан точный набор задач и его версия, а не просто название бенчмарка;
• явно сказано pass@1 или pass@k, и если k больше единицы — почему;
• описана обвязка: какие инструменты, сколько шагов, разрешены ли повторы;
• есть ссылка на воспроизводимый прогон или публичный лидерборд, а не только на внутренний график;
• конкуренты меряны в тех же условиях, а не взяты их цифры из чужих релизов.

Если хотя бы половины этого нет, относитесь к числу как к рекламному обещанию, а не к измерению.

Кому это пригодится, а кому нет

Пригодится, если вы выбираете модель под задачу. Допустим, вы автоматизируете разбор обращений в поддержку. Тогда вам интересен τ-bench и подобные диалоговые тесты с соблюдением правил, а не SWE-bench, каким бы впечатляющим он ни был. Смотрите бенчмарк, ближайший к вашему сценарию, и игнорируйте остальные.

Пригодится, если вы сравниваете два предложения от вендоров. Попросите обоих показать результат на одном и том же наборе в одной конфигурации. Если один отвечает конкретикой, а другой — красивым усреднённым слайдом, это само по себе информация.

Не пригодится, если вы просто хотите «самую сильную модель вообще». Такого числа не существует: сильнейшая на коде может проигрывать на веб-навигации. Универсальный рейтинг — это упрощение, за которое вы платите неверным выбором под свою задачу.

Не пригодится для оценки скорости и стоимости. Бенчмарки меряют качество решения, а не то, сколько токенов и минут агент на это потратит. Дорогая по вызовам модель с чуть более высоким процентом может оказаться невыгодной — эту сторону тесты обычно не показывают вовсе.

Простой чек-лист перед тем, как верить цифре

1. Найдите точное название набора задач и его версию.
2. Проверьте, pass@1 это или несколько попыток.
3. Посмотрите, кто мерил — авторы модели или независимый лидерборд.
4. Сопоставьте бенчмарк со своей реальной задачей, а не с задачей из релиза.
5. Если сравниваете модели — убедитесь, что условия у всех одинаковые.

Эти пять шагов не сделают из вас исследователя, но отсекут большую часть ситуаций, где красивый процент разваливается при первом уточняющем вопросе.

¹ Агент — модель, которая не просто отвечает текстом, а выполняет цепочку действий: вызывает инструменты, читает результат, планирует следующий шаг. Именно обвязка вокруг модели, а не сама модель, чаще всего определяет результат на агентных бенчмарках.