SWE-bench, GAIA, OSWorld: что на самом деле меряют агенты

Каждый релиз новой модели теперь сопровождается строчкой «X% на SWE-bench» или «Y% на GAIA». Цифры звучат весомо, но меряют они принципиально разные вещи. SWE-bench проверяет, починит ли модель баг в настоящем репозитории. GAIA — доберётся ли она до ответа, комбинируя поиск, чтение файлов и рассуждение. OSWorld — сможет ли агент управлять живой операционной системой через мышь и клавиатуру. Модель, сильная в одном, легко проваливается в другом. Разберём, что стоит за каждой цифрой и почему их нельзя складывать.

Почему появились агентные бенчмарки

Классические тесты вроде MMLU или GSM8K проверяют одно: ответит ли модель на вопрос правильно за один проход. Для агента¹ этого мало. Агент работает циклами: получает задачу, делает шаг, смотрит на результат, корректируется. Ошибка на пятом шаге рушит всю цепочку, даже если первые четыре были идеальны.

Отсюда три семейства задач, которые нельзя решить одним ответом: писать и запускать код, искать информацию в открытом мире и управлять реальным интерфейсом. Каждый бенчмарк закрывает своё направление и почти не пересекается с остальными.

Высокий процент на SWE-bench не говорит ничего о том, справится ли модель с покупкой билета через браузер. Это разные навыки, и объединять их в «интеллект агента» — ошибка.

SWE-bench: починить баг в чужом репозитории

SWE-bench собран из реальных issue и pull request'ов популярных Python-проектов на GitHub (среди них Django, scikit-learn, matplotlib). Агенту дают репозиторий и описание бага. Он должен внести правку, которая проходит скрытые тесты проекта — те самые, что писали живые разработчики при закрытии issue.

Ключевая сложность: модель не видит, какие тесты её проверят. Нужно понять кодовую базу, найти нужный файл среди сотен, внести минимальную правку и не сломать остальное. Чаще всего цитируют подмножество SWE-bench Verified — 500 задач, вручную отфильтрованных на корректность, чтобы исключить нерешаемые или неоднозначные кейсы.

Что важно помнить: результат сильно зависит не только от модели, но и от «обвязки» — агентного каркаса (scaffolding), который управляет тем, как модель ходит по файлам и запускает тесты. Одна и та же модель в разных фреймворках даёт разброс в десятки процентов, поэтому сравнивать корректно только пары «модель + каркас».

GAIA: реальные вопросы для ассистента общего назначения

GAIA (General AI Assistants) — набор вопросов, на которые человек отвечает легко, а модели — с трудом. Задачи требуют многошагового рассуждения, работы с веб-поиском, чтения PDF, таблиц, изображений. Пример по духу: найти в открытых источниках несколько фактов, сопоставить их и выдать одно короткое точное значение.

Ответы в GAIA — короткие и однозначные (число, имя, строка), поэтому проверка автоматическая и без споров о формулировке. Задачи разбиты на три уровня сложности по числу шагов и инструментов. Авторы бенчмарка изначально показывали большой разрыв: люди отвечают на подавляющее большинство вопросов, ранние модели — на малую долю. Точные проценты зависят от версии сетапа, поэтому сверяйте их с актуальным лидербордом, а не с цифрой из старого пресс-релиза.

OSWorld: агент за настоящим компьютером

OSWorld — самый «физический» из трёх. Агент получает виртуальную машину с реальной ОС и приложениями и должен выполнить задачу, взаимодействуя с экраном: кликать, печатать, открывать программы. Например, настроить что-то в LibreOffice или разобраться с файловым менеджером. Успех проверяется по фактическому состоянию системы после выполнения.

Здесь модели проваливаются заметнее всего. Управление GUI требует надёжного распознавания интерфейса, точного позиционирования курсора и устойчивости к тому, что после клика экран изменился не так, как ожидалось. Даже сильные мультимодальные модели показывают на OSWorld результаты в разы ниже человеческих — это направление, где до потолка ещё далеко.

Сравнение по существу

Общее у всех трёх — цифру нельзя читать в отрыве от условий. На результат влияют: версия датасета, какой агентный каркас использован, сколько попыток разрешено, есть ли доступ к интернету. Два отчёта с одинаковым процентом могут стоять на разных условиях.

Кому это пригодится, а кому нет

• Команде разработки, выбирающей модель под автоматизацию задач в репозитории — смотрите SWE-bench Verified, но обязательно уточняйте, в каком каркасе получен результат. Без этого цифра почти бесполезна.
• Тем, кто строит ресёрч-ассистента или дата-агента — GAIA ближе всего: многошаговый поиск, работа с документами, сведение фактов. Именно этот профиль нагрузки.
• Разработчикам RPA и продуктов, где агент кликает по интерфейсам — только OSWorld отражает вашу реальность. И готовьтесь к тому, что цифры пока скромные.
• Кому не пригодится — если вы выбираете модель для чат-поддержки, генерации текстов или суммаризации, агентные бенчмарки к вашей задаче отношения не имеют. Ориентируйтесь на профильные тесты качества ответов.

Практический вывод простой: не берите одну цифру как оценку «ума» агента. Сопоставляйте бенчмарк с тем, что ваш агент будет делать в проде. Модель, лидирующая в починке кода, может оказаться беспомощной за интерфейсом браузера — и наоборот.

¹ Агент — модель, которая не просто выдаёт ответ, а выполняет задачу циклами: планирует, вызывает инструменты (поиск, запуск кода, действия в интерфейсе), смотрит на результат и корректирует следующий шаг.