METR и «горизонт задач»: как измеряют автономность ИИ-агентов

Исследовательская организация METR в 2025 году опубликовала работу с метрикой, которая быстро стала предметом споров в индустрии: вместо очков на очередном тесте она измеряет способности ИИ-агента длиной задачи, которую тот выполняет самостоятельно. Формулировка звучит так: сколько минут или часов заняла бы задача у квалифицированного человека, если модель справляется с ней с успешностью 50%. По оценке METR, эта величина — «горизонт задач» (task horizon) — растёт по экспоненте и на исследованном ими наборе задач удваивается примерно каждые семь месяцев.

Звучит абстрактно, но следствие простое. Если тренд сохранится, то задачи, которые сегодня агент проваливает из-за длины и многошаговости, через год-полтора он будет доводить до конца. Это касается всех, кто думает поручать моделям не отдельные реплики в чате, а целые рабочие процессы.

Что именно измерили

METR — некоммерческая организация, которая занимается оценкой рисков продвинутых моделей и до этого была известна по тестам на автономность и способность к самораспространению. В работе про горизонт задач они собрали набор заданий разной длины — от коротких (несколько минут работы человека) до многочасовых инженерных и исследовательских задач, в основном в области программирования и работы с данными.

Ключевая идея — привязать сложность не к субъективной шкале, а к человеческому времени. Каждой задаче эксперты назначили ориентировочную длительность: сколько заняло бы её решение у компетентного специалиста. Дальше для каждой модели считали, при какой длине задачи её успешность падает до 50%. Эта точка и есть горизонт.

Метрика отвечает не на вопрос «насколько модель умна», а на вопрос «как долго ей можно доверять работать без присмотра, прежде чем она собьётся».

Разница принципиальная. Модель может блестяще писать функцию за пять минут и разваливаться на задаче, где нужно два часа держать в голове контекст, откатывать неудачные ходы и не терять цель. Горизонт задач ловит именно эту вторую способность — устойчивость на длинной дистанции.

Почему 50%, а не 100%

Порог в 50% выбран как точка, где кривая успешности круче всего реагирует на изменение длины задачи, — так метрику проще измерять стабильно. METR приводит и более строгий горизонт при успешности 80%: он заметно короче. То есть цифра «горизонт вырос до N часов» означает не «модель надёжно делает задачи на N часов», а «на таких задачах она справляется в половине случаев». Для реального применения это важная оговорка: 50% успеха — это каждая вторая задача провалена.

Чем это отличается от привычных бенчмарков

Большинство известных тестов — это наборы вопросов с проверяемым ответом. Их слабость в том, что счёт быстро упирается в потолок: как только модели набирают 90+, тест перестаёт различать сильные системы, и его приходится менять. Горизонт задач устроен иначе — он не насыщается, потому что всегда можно взять задачу длиннее.

Главная критика метрики бьёт как раз в последнюю строку таблицы. Оценка человеческого времени субъективна: разные эксперты назовут разные цифры для одной задачи. Набор заданий смещён в сторону программирования и не покрывает, скажем, работу с людьми, юридические процессы или физический труд. Поэтому «горизонт в несколько часов» — это про определённый класс инженерных задач, а не универсальный интеллект.

Кому это пригодится, а кому нет

Метрика полезна не всем и не для всего. Вот где она действительно помогает.

• Командам, внедряющим агентов^* в рабочие процессы. Если вы прикидываете, можно ли доверить модели ночной прогон рефакторинга или сборку отчёта из нескольких источников, горизонт задач даёт ориентир: задача длиннее горизонта почти наверняка потребует человека в цикле.
• Тем, кто планирует бюджет на автоматизацию. Полезнее думать в терминах «какой длины задачи можно снять с людей», чем в очках бенчмарка, которые ни на что в бюджете не переводятся.
• Исследователям безопасности. Рост горизонта — это ранний индикатор того, что модели приближаются к задачам, которые раньше считались чисто человеческими, включая потенциально опасные.

Где метрика бесполезна или вводит в заблуждение:

• Если вам нужна надёжность, а не «в среднем». Горизонт при 50% ничего не говорит о том, что делать с той половиной задач, где агент ошибся. Для критичных процессов (финансы, право, медицина) это неприемлемый уровень.
• Вне области задач из набора METR. Ваша задача — обзвон клиентов или согласование договоров? Горизонт, измеренный на программировании, вам ничего не скажет.
• Для выбора модели «в чат». Если вы просто отвечаете на вопросы и правите тексты, длинные автономные задачи вас не касаются, и метрика нерелевантна.

Что делать с этим на практике

Если вы всерьёз рассматриваете агентов для работы, метрика задаёт удобную рамку для решения. По шагам:

1. Оцените, сколько занимает ваша типовая задача у человека — грубо, в минутах или часах.
2. Сравните с заявленным горизонтом модели и держите в уме, что он даётся при 50% успешности.
3. Если задача заметно длиннее горизонта — разбейте её на короткие шаги с проверкой человеком между ними, а не отдавайте целиком.
4. Заложите контроль результата: чем ближе задача к горизонту, тем чаще агент будет ошибаться незаметно.
5. Пересматривайте оценку раз в несколько месяцев — по тренду METR горизонт растёт быстро, и то, что сегодня требует надзора, завтра может его не требовать.

METR прямо оговаривает, что экстраполяция тренда — гипотеза, а не закон природы: удвоение каждые семь месяцев может замедлиться или ускориться, и оценки времени человека несут в себе неопределённость. Ценность работы не в конкретной цифре горизонта у конкретной модели, а в том, что индустрия получила язык, на котором о способностях агентов можно говорить в понятных единицах — во времени, которое иначе потратил бы человек.

^* Агент — модель, которая не просто отвечает на запрос, а выполняет многошаговую задачу: сама вызывает инструменты, читает результаты, планирует следующие действия и корректирует курс без вмешательства человека на каждом шаге.