Как маркетинг AI-агентов подменяет цифры обещаниями

За последний год слово «агент» из технического термина превратилось в маркетинговый ярлык. Стартапы обещают «автономных AI-сотрудников», которые «полностью закроют отдел поддержки» или «сами разработают приложение». А на бенчмарках, которые действительно измеряют способность моделей выполнять многошаговые задачи, лучшие системы до сих пор не дотягивают до половины успешно завершённых сценариев. Разрыв между слайдом презентации и результатом теста — и есть то, что можно назвать гринвошингом эффективности.

Что именно продают под словом «агент»

Строго говоря, агент — это система, которая сама планирует последовательность действий, вызывает внешние инструменты (поиск, код, API), оценивает результат и корректирует план без участия человека на каждом шаге. Так термин используют в исследованиях. В рекламе им называют почти всё: от чат-бота с одной кнопкой «вызвать менеджера» до скрипта, который дергает один эндпоинт по расписанию.

Проблема не в самих продуктах — многие из них полезны. Проблема в подмене метрики. «Заменяет сотрудника» звучит как измеримое утверждение, но за ним почти никогда не стоит ни доля успешно завершённых задач, ни условия теста, ни данные о том, сколько раз пришлось вмешаться человеку.

Если продукт называют «автономным агентом», но не показывают долю задач, доведённых до конца без человека, — вы смотрите на демо, а не на измерение.

Три типичных приёма

• Демо вместо метрики. Показывают один удачный прогон на тщательно подобранной задаче. За кадром — сколько было неудачных попыток и на каком проценте реальных запросов агент ломается.
• Свой бенчмарк без источника. «Точность 95%» без названия теста, датасета и того, кто считал. Проверить нельзя, значит, это не цифра, а лозунг.
• Подмена автономности. «Работает без человека» на деле означает «человек проверяет каждый ответ перед отправкой». Автономность в маркетинге и в проде — разные вещи.

Что показывают публичные бенчмарки

Есть тесты, которые пытаются честно измерить способность агентов доводить задачи до конца. Их результаты полезно держать в голове, когда читаете рекламу. Оговорка: лидеры и цифры меняются от прогона к прогону и от версии модели к версии, поэтому смотрите на порядок величин, а не на конкретное число.

• SWE-bench — набор реальных задач из GitHub-репозиториев: агент должен внести правку, которая проходит тесты. Даже сильные системы решают лишь часть задач, а не подавляющее большинство.
• WebArena — навигация по веб-интерфейсам и выполнение действий на сайтах. Доля успешно завершённых сценариев у лучших конфигураций долго держалась заметно ниже человеческой.
• GAIA — многошаговые задачи с использованием инструментов; отдельно замеряется, насколько задача сложна для человека и для модели.

Общий вывод из этих тестов один: агенты неплохо справляются с узкими, хорошо очерченными задачами и заметно проседают, когда шагов много, инструменты капризны, а условия отклоняются от идеальных. Именно это и скрывает формулировка «заменяет сотрудника».

Маркетинговое обещание против того, что можно проверить

Кому агенты реально пригодятся, а кому нет

Разрыв между рекламой и практикой не значит, что технология бесполезна. Она хорошо работает там, где задача узкая, ошибка не критична, а человек остаётся на подстраховке.

Скорее пригодится

• Поддержка первой линии, где 60–70% обращений однотипны, а сложные тикеты можно эскалировать человеку.
• Черновая разработка: сгенерировать заготовку функции, тесты, миграцию — с обязательным ревью инженера.
• Сбор и структурирование данных из множества источников, когда результат всё равно перепроверяется.
• Внутренние справочные боты поверх документации компании через RAG*, где цена ошибки — уточняющий вопрос, а не убыток.

Скорее разочарует

• Задачи с ценой ошибки в деньгах или праве: платежи, юридические заключения, медицинские рекомендации без контроля специалиста.
• Длинные цепочки шагов с хрупкими интеграциями, где сбой на пятом шаге рушит всю цепочку.
• «Поставил и забыл»: любой агент требует мониторинга, обновлений и разбора провалов — это не разовая покупка.

Как читать презентацию агента

1. Ищите долю успешно завершённых задач без человека — не «точность ответа», а именно завершённость сценария.
2. Требуйте название бенчмарка и ссылку на методику. Нет источника — считайте, что цифры нет.
3. Спросите, что происходит при провале: молчит, зовёт человека, делает вид, что справился.
4. Уточните стоимость владения: подписка плюс токены на каждый вызов модели, плюс интеграции и мониторинг. «Замена сотрудника за $20 в месяц» почти всегда не считает эти статьи.
5. Попросите пилот на ваших данных, а не демо на подготовленном сценарии.

Цена вопроса измеряется не только подпиской. Внедрение агента, который на 30% задач ошибается молча, дороже отсутствия агента: кто-то всё равно перепроверяет вывод, а доверие к системе падает после первого тихого сбоя.

* RAG (retrieval-augmented generation) — подход, при котором модель перед ответом подтягивает релевантные фрагменты из базы знаний или документов и опирается на них, а не только на то, что «запомнила» при обучении. Снижает выдумывание фактов, но не устраняет его полностью.