Почему демо ИИ-агента всегда лучше его работы в бою

Осенью 2024 года Anthropic показала Claude, который сам двигает курсор и кликает по кнопкам (функция Computer Use), а OpenAI в начале 2025-го выпустила Operator — агента, который бронирует столики и заполняет формы в браузере. В демо всё летает: запрос голосом, пара секунд, готовый результат. Потом вы даёте агенту свою реальную задачу — и он зависает на капче, путает поля или уверенно оформляет заказ не на тот адрес. Разрыв между сценой и практикой — не случайность и не обман конкретной компании. Это структурное свойство того, как устроены демонстрации и как устроены сами агенты.

Что такое агент и почему с ним сложнее, чем с чатом

Обычный чат-бот отвечает текстом: ошибся — вы перечитали и переспросили. Агент^* действует: открывает сайты, кликает, отправляет данные, вызывает внешние функции. Каждое действие меняет состояние мира, и ошибка на третьем шаге ломает всё, что было построено раньше. Если модель угадывает следующий токен с вероятностью 95%, то цепочка из двадцати действий целиком проходит без сбоя примерно в 36% случаев (0.95 в двадцатой степени). Демо показывает вам тот самый удачный прогон, а не распределение исходов.

^* Агент — ИИ-система, которая не просто отвечает, а выполняет последовательность действий во внешней среде: браузере, файловой системе, через API. Отличается от чат-бота тем, что её результат — совершённое действие, а не текст.

Пять причин, по которым демо обгоняет реальность

1. Отбор удачного прогона. Публичное демо — это лучший дубль из многих. Никто не показывает три провала подряд перед тем, как получилось.
2. Знакомая среда. Демо гоняют на популярных сайтах с предсказуемой вёрсткой. Ваш корпоративный портал или нишевый маркетплейс агент видит впервые.
3. Отсутствие капч и антибот-защиты. На сцене их либо нет, либо их проходит человек за кадром. В реальной жизни капча останавливает агента намертво.
4. Короткая цепочка. Демо-задача — 5–8 шагов. Реальная — 20–40, и на каждом шаге накапливается вероятность ошибки.
5. Нет цены ошибки. В демо неверный клик — курьёз. В вашем случае это отправленный не туда платёж или удалённый файл.

Демо показывает, что агент может сделать при идеальных условиях. Продакшн показывает, что он делает надёжно при плохих. Это два разных вопроса, и второй решает, стоит ли платить.

Бенчмарки говорят то же самое

Если смотреть не на ролики, а на замеры, картина трезвеет. На бенчмарке WebArena, где агент выполняет реалистичные задачи в браузере, лучшие системы на момент публикации исследования проходили заметно меньше половины заданий — при том что человек справляется почти со всеми. На SWE-bench Verified, где агент правит реальные баги в открытых репозиториях, топовые связки к 2025 году добрались до значений в районе 60–70% решённых задач, но это тщательно отобранный и очищенный набор, а не случайный тикет из вашего трекера. Точные цифры зависят от версии модели и обвязки — сверяйтесь с актуальными таблицами лидеров, они обновляются постоянно.

Почему проценты с бенчмарков нельзя переносить напрямую

Бенчмарк — это фиксированный, проверенный набор задач. Ваша работа — открытый поток непредсказуемых ситуаций. Агент, решающий 65% задач SWE-bench, не будет закрывать 65% ваших тикетов: ваши задачи другой сложности, в другом контексте и без гарантии, что решение вообще существует в один проход.

Сравнение: что реально предлагают агенты для браузера и кода

Таблица описывает классы продуктов, а не рейтинг. Конкретные возможности и цены меняются от релиза к релизу — перед покупкой смотрите текущую документацию поставщика.

Кому это пригодится, а кому нет

Где агент реально экономит время

• Повторяющиеся задачи в стабильном интерфейсе. Выгрузка одинаковых отчётов, заполнение однотипных форм на сайте, который не меняется.
• Черновая работа под присмотром. Агент делает первый проход — правку кода, сбор данных, — а человек проверяет и дожимает. Тут даже 60% автоматизации экономят часы.
• Исследование и суммаризация. Обойти десяток страниц и свести факты — задача с низкой ценой ошибки.

Где на агента полагаться рано

• Необратимые действия с деньгами. Платежи, переводы, юридически значимые заявки — без обязательного ручного подтверждения каждого шага.
• Длинные цепочки без контроля. Чем больше шагов подряд без проверки человеком, тем выше шанс, что где-то накопится ошибка.
• Уникальные и редкие интерфейсы. Самописные корпоративные системы, где агент не видел похожих примеров.

Как оценить агента до того, как платить

1. Возьмите свою типичную задачу, а не ту, что в ролике.
2. Прогоните её минимум 10 раз и считайте, сколько раз результат верен без вмешательства.
3. Замерьте цену одной ошибки: сколько времени уходит на разбор и откат неудачного прогона.
4. Сравните полное время «агент плюс проверка» с тем, за сколько вы делаете это руками.
5. Проверьте, что все необратимые шаги требуют вашего подтверждения.

Если после десяти прогонов агент стабилен на восьми-девяти и проверка занимает меньше, чем ручная работа, — он окупается. Если каждый второй раз приходится всё переделывать, красивое демо вам ничего не даст.

Агенты быстро прогрессируют, и разрыв между демо и практикой сокращается год от года. Но пока он есть, единственная честная проверка — прогнать инструмент на ваших задачах и посчитать, а не поверить ролику со сцены.