Длина автономной задачи: как измеряют прогресс ИИ по-новому

Классические бенчмарки вроде MMLU или GSM8K измеряют, сколько ответов модель даёт верно на коротких задачах. Но когда речь заходит про ИИ-агентов, которые пишут код часами и сами исправляют ошибки, процент правильных ответов на викторине почти ничего не говорит. Поэтому в 2025 году в разговор о прогрессе прочно вошла другая величина — длина задачи, которую модель способна довести до конца без человека. Её измеряют не в баллах, а во времени: сколько минут или часов работы человека умещается в одном автономном прогоне.

Что именно измеряют

Идея простая. Берут набор реальных задач разной сложности — от правки одной функции до сборки небольшого сервиса. Для каждой оценивают, сколько времени на неё тратит квалифицированный человек. Затем смотрят, задачи какой «человеческой длительности» модель выполняет с заданной вероятностью успеха, обычно 50%.

Мартовский отчёт исследовательской группы METR ввёл в оборот показатель «task time horizon» — временной горизонт задач. По их измерениям, длина задачи, которую передовые модели решают с успехом 50%, примерно удваивается каждые несколько месяцев. Речь именно о длине работы, а не о качестве отдельного ответа: модель может по-прежнему ошибаться в арифметике, но при этом дольше держать сложную многошаговую цель.

Точность на тесте отвечает на вопрос «насколько умна модель в моменте». Временной горизонт отвечает на вопрос «как долго ей можно доверить работу без присмотра». Для агентов это разные вещи.

Почему проценты на бенчмарках перестали работать

Короткие тесты насыщаются: топовые модели набирают на них 85–90% и упираются в потолок, где разница между ними теряется в шуме. Но пользователь, который поручает агенту¹ собрать отчёт или отрефакторить модуль, чувствует другое — на длинной дистанции модель либо доводит дело до конца, либо застревает через десять шагов. Именно эту разницу короткий бенчмарк не ловит.

Есть и вторая проблема — загрязнение данных. Популярные тестовые наборы попадают в обучающие корпусы, и высокий балл частично объясняется тем, что модель уже видела ответы. Длинные многошаговые задачи труднее заучить целиком: важен не финальный ответ, а способность выстроить путь к нему.

Как это меряют на практике

Наиболее заметные подходы к 2025 году:

• METR HCAST и task time horizon — набор задач с привязкой к «человеческому» времени выполнения, от секунд до многих часов. Метрика — та длительность, на которой модель держит 50% успеха.
• SWE-bench и SWE-bench Verified — реальные issue из открытых репозиториев на GitHub. Задача считается решённой, только если сгенерированный патч проходит тесты проекта. Здесь длина задачи неявно зашита в сложности бага.
• Внутренние агентные прогоны компаний — OpenAI, Anthropic и Google публикуют результаты своих агентов на длинных задачах, но методики у всех разные, и напрямую сравнивать цифры между вендорами рискованно.

Общий знаменатель — задача считается выполненной по объективному критерию (тесты прошли, файл собрался), а не по оценке «выглядит правдоподобно».

Сравнение подходов к оценке

Ни одна из метрик не отменяет остальные. Короткие тесты быстрее и дешевле, они хороши для регрессии между версиями. Временной горизонт дороже в измерении, но он ближе к тому, за что пользователь платит подпиской.

Кому это пригодится, а кому нет

Метрика длины задачи полезна не всем. Разберём по сценариям.

Пригодится

• Командам, внедряющим ИИ-агентов в разработку. Если вы хотите поручить агенту закрыть тикет от начала до конца, вас интересует не средний балл, а вероятность, что он не бросит задачу на середине.
• Тем, кто строит автоматизацию процессов. Например, сбор данных из нескольких источников с проверками. Здесь важна устойчивость на длинной цепочке шагов, а не эрудиция.
• Тем, кто выбирает между моделями по цене за результат. Более длинный горизонт при той же цене прогона означает меньше вмешательств человека.

Скорее не пригодится

• Если вы используете модель как справочник или для коротких ответов. Перевод, суммаризация, разовые вопросы — тут длина автономной задачи ничего не добавляет, смотрите на точность и скорость.
• Для творческих задач без объективного критерия. Понятие «задача выполнена» размывается: у текста нет прохождения тестов.
• Для чувствительных операций, где нужен контроль человека на каждом шаге. Здесь автономность — не плюс, а риск.

О чём молчат красивые графики

Экспоненциальный рост горизонта выглядит эффектно, но у измерения есть оговорки. Планка 50% успеха — это фактически подбрасывание монетки: половину длинных задач агент всё равно проваливает. Для боевого применения обычно нужна планка 80–90%, а на ней горизонт заметно короче.

Второе — «человеческое время» оценивают эксперты, и оценка субъективна: разные люди делают одну задачу с разной скоростью. Третье — набор задач в бенчмарке не покрывает всё многообразие реальной работы, и модель может блестеть на типовых задачах и рассыпаться на нестандартных.

Поэтому корректная формулировка звучит осторожно: длина автономной задачи растёт быстро, и это лучший на сегодня показатель практической полезности агентов, но не гарантия, что агент справится именно с вашей работой.

¹ Агент — модель, которая не просто отвечает на запрос, а сама планирует шаги, вызывает инструменты (запускает код, ищет в интернете, читает файлы), проверяет результат и корректирует действия до достижения цели.