Как AI-агенты проваливают запуски: разбор типичных сценариев

Автономный AI-агент — это не чат-бот, который отвечает на вопрос. Это система, которая сама планирует шаги, вызывает инструменты, ходит в браузер и файловую систему и доводит задачу до конца без человека в цикле. Именно из-за этой автономности провалы получаются зрелищными: там, где обычная модель просто выдаст неверный ответ, агент может выполнить неверное действие — и его уже не отменить. За последние два года индустрия собрала целую коллекцию таких эпизодов, и они складываются в понятную картину: агенты ломаются не случайно, а в предсказуемых местах.

Я намеренно не называю конкретную компанию «худшей»: провальные демо были у стартапов вроде Devin от Cognition и у платформ AutoGPT, и у корпоративных ассистентов на базе GPT-4-класса моделей. Публичных, документированных и полностью подтверждённых «самых громких провалов» с единой оценкой ущерба нет — есть повторяющийся паттерн. О нём и речь.

Что вообще идёт не так

Агент^* отличается от обычной языковой модели тем, что действует в цикле: наблюдение → рассуждение → действие → новое наблюдение. Каждый шаг умножает риск. Если модель на одном шаге ошибается с вероятностью, скажем, 5%, то на цепочке из двадцати шагов вероятность хотя бы одной ошибки уже превышает 60%. Это простая арифметика, и она объясняет, почему короткое демо проходит гладко, а реальная задача на сотню шагов разваливается.

Разберём типичные точки отказа.

1. Галлюцинация действия, а не текста

Модель придумывает несуществующий API-метод, флаг командной строки или путь к файлу — и агент честно пытается его выполнить. В чате это была бы просто неверная строка. В агенте это вызов, который либо падает с ошибкой, либо, что хуже, случайно срабатывает не так, как задумано.

2. Зацикливание

Агент застревает: пробует одно и то же действие, получает одну и ту же ошибку, «исправляет» её тем же способом и снова упирается. Без жёсткого лимита на число итераций такой цикл жжёт токены и деньги, пока кто-нибудь не нажмёт стоп. На публичной сцене это выглядит как зависший экран, по которому бесконечно бегут одинаковые логи.

3. Необратимые действия без подтверждения

Самый дорогой класс ошибок. Агент с доступом к терминалу выполняет rm, отправляет письмо, делает платёж или коммитит в основную ветку. Если между планированием и исполнением нет человека или хотя бы白 песочницы, ошибка становится фактом.

Разница между забавной ошибкой и катастрофой — это одна необратимая команда, выполненная без подтверждения. Всё остальное можно откатить.

4. Потеря контекста на длинной дистанции

У модели ограничено контекстное окно^*. На длинной задаче ранние инструкции вытесняются, и агент «забывает» исходную цель: начинал чинить тест, а через полчаса переписывает конфигурацию сборки, потому что потерял нить.

Почему демо врут

Сценическая демонстрация почти всегда показывает лучший из многих прогонов на заранее выбранной задаче. Это не обязательно обман — так устроен формат. Проблема в том, что зритель видит успешный прогон и достраивает вывод «оно так работает всегда». А дальше он ставит агента на свою задачу, которую никто не репетировал, и получает совсем другую статистику.

Отдельная история — бенчмарки. Когда компания заявляет «наш агент решает X% задач», важно спросить: на каком тесте, кто его составлял, как считался успех. Для программных агентов ориентиром стал SWE-bench — набор реальных задач из GitHub-репозиториев. Но и тут цифры разнятся в зависимости от подмножества (SWE-bench Verified, Lite, полный набор), и сравнивать заявления разных вендоров без указания варианта теста бессмысленно.

Где ломаются разные типы агентов

Кому агенты сейчас реально помогают, а кому нет

Пригодятся, если:

• задача короткая и проверяемая — сгенерировать черновик кода, который вы всё равно прочитаете перед мержем;
• ошибка обратима — агент работает в песочнице, ветке или на тестовых данных;
• есть человек в цикле, подтверждающий каждое действие с последствиями;
• вы готовы платить за токены и мириться с тем, что часть прогонов уйдёт в мусор.

Не стоит доверять агенту, если:

• действие необратимо и дорого — прод-деплой, платёж, рассылка клиентам;
• цена ошибки — данные пользователей или деньги, а логирование и откат не выстроены;
• задача требует сотен последовательных шагов без промежуточной проверки;
• вы не можете внятно сформулировать критерий «готово» — агент тоже не сможет.

Как не повторить чужой провал

1. Ограничьте число итераций и бюджет токенов на задачу — жёстким потолком, а не пожеланием.
2. Запускайте агента в песочнице: отдельная ветка, тестовая БД, ограниченные права доступа.
3. Требуйте подтверждения человека перед любым необратимым действием.
4. Логируйте каждый шаг: что агент увидел, что решил, что выполнил. Без этого разбор провала невозможен.
5. Тестируйте не на отрепетированной задаче, а на случайной выборке из ваших реальных.

Автономные агенты — не провалившаяся технология и не готовый работник. Это инструмент с высокой дисперсией результата: иногда экономит часы, иногда красиво ломается на публике. Разница между этими исходами — почти целиком в том, как выстроены ограничения вокруг агента, а не в том, какая модель под капотом.

* Агент — программа на основе языковой модели, которая сама планирует последовательность шагов и вызывает внешние инструменты (браузер, терминал, API), чтобы достичь цели, а не просто отвечает текстом.

* Контекстное окно — максимальный объём текста (в токенах), который модель удерживает одновременно. Всё, что выходит за границу окна, для модели перестаёт существовать.