Когда пора менять AI-агента: чек-лист из семи признаков

AI-агент — не разовая покупка, а живая система, которая устаревает быстрее, чем большинство корпоративного софта. За 2024–2025 годы вышли новые версии моделей от OpenAI, Anthropic, Google и других поставщиков, подешевели токены, изменились лимиты контекстного окна. То, что вы собрали год назад на старой модели с ручным парсингом ответов, сегодня нередко проигрывает решению, которое собирается за выходные. Проблема в том, что деградация агента почти никогда не выглядит как поломка. Он продолжает отвечать, просто хуже, дороже и медленнее — а вы этого не замечаете, пока не начнёте считать.

Ниже — семь признаков, по которым видно, что текущего агента^* пора пересматривать. Не все сразу означают полную замену: иногда достаточно сменить базовую модель или переписать промпт. Но если у вас совпадают три и больше — это уже разговор о переработке архитектуры.

* Агент — программа, которая с помощью языковой модели сама решает, какие шаги предпринять и какие инструменты (поиск, вызов API, база данных) вызвать для достижения цели, а не просто отвечает одним сообщением на один запрос.

Семь признаков, что агент устарел

1. Стоимость запроса растёт, а результат — нет

Самая частая история: агент собран на дорогой модели, каждый запрос гоняет полный контекст, а качество ответа не отличается от того, что даёт модель поколением новее и в разы дешевле. Посчитайте среднюю стоимость одной успешной задачи (не запроса — именно доведённой до результата) за последний месяц и сравните с тем, что было при запуске. Если цифра выросла или стоит на месте, пока конкуренты-поставщики снижали цены на токены, вы переплачиваете за инерцию.

2. Доля задач, которые агент доводит до конца, падает

Заведите одну метрику — task success rate, долю задач, закрытых без вмешательства человека. Если она снижается месяц к месяцу, причин обычно две: изменились входные данные (новые форматы, новые типы запросов) или агент упёрся в потолок своей модели. И то, и другое — сигнал к пересборке.

3. Вы обходите ограничение контекста костылями

Если ваш агент режет документы на куски, теряет нить в длинных диалогах или вы вручную дописываете «помни, что выше мы договорились» — вы боретесь с маленьким контекстным окном^**. Современные модели держат от 128 тысяч до миллиона токенов контекста. Костыли, которые вы писали под окно на 8–16 тысяч, сегодня можно просто удалить.

** Контекстное окно — максимальный объём текста (в токенах), который модель удерживает в поле внимания за один запрос: и ваш запрос, и история, и приложенные документы вместе.

4. Галлюцинации в фактах, которые можно было проверить

Если агент выдумывает цифры, ссылки или пункты договора, хотя нужные данные лежат у вас в базе — это не проблема модели, это проблема того, что у агента нет RAG^*** или он настроен плохо. Замена модели тут не поможет; нужна перестройка того, как агент достаёт факты.

*** RAG (retrieval-augmented generation) — подход, при котором модель перед ответом ищет релевантные документы в вашей базе и отвечает на их основе, а не только по памяти обучения.

5. Latency, на которую жалуются пользователи

Задержка ответа — то, что убивает продукт тише всего. Если раньше пользователи ждали три секунды, а теперь семь, потому что вы навесили на агента лишние шаги рассуждения и вызовы инструментов, стоит проверить, не решают ли новые модели ту же задачу за один проход.

6. Модель под агентом снята с поддержки или объявлена устаревшей

Поставщики регулярно помечают старые версии как deprecated и через несколько месяцев отключают. Если ваш агент завязан на конкретную снапшот-версию, которую вендор собирается вывести, миграция неизбежна — вопрос только в том, сделаете вы её планово или в аврале, когда API вернёт ошибку.

7. Появился класс задач, который агент в принципе не тянет

Бизнес меняется: вчера нужно было отвечать на письма, сегодня — разбирать таблицы и вызывать внутренние сервисы. Если вы обвешиваете старого агента новыми функциями, а он спотыкается, дешевле может оказаться собрать новую связку под актуальный набор задач, чем чинить старую.

Агент не ломается с грохотом. Он тихо становится дороже, медленнее и глупее относительно того, что вышло за это время у конкурентов — и замечаете вы это только когда считаете деньги и метрики, а не по ощущениям.

Три уровня реакции: от промпта до полной пересборки

Не каждый признак требует всё выкинуть. Оцените, на каком уровне лежит проблема.

Кому это пригодится, а кому нет

Чек-лист полезен, если у вас агент уже в проде и обрабатывает реальный поток задач.

• Поддержка клиентов на боте. Здесь критичны task success rate и latency: если бот стал чаще эскалировать на живого оператора, считайте это признаком №2.
• Внутренний ассистент по документам. Главные враги — галлюцинации по фактам и костыли под контекст. Проверяйте пункты 3 и 4 в первую очередь.
• Автоматизация рутины (разбор писем, заполнение форм). Смотрите на стоимость задачи и на то, не появился ли новый класс входных данных.

Кому чек-лист пока не нужен: если вы только собираете первый прототип и он ещё не в проде, сравнивать не с чем — сначала запустите и снимите базовые метрики. И если ваш агент решает узкую стабильную задачу, входные данные не меняются, а цена вас устраивает — не трогайте то, что работает, только потому что вышла новая модель.

Как проверить себя за один час

1. Выгрузите логи за последний месяц и посчитайте среднюю стоимость одной доведённой до конца задачи.
2. Посчитайте task success rate и сравните с прошлым месяцем.
3. Проверьте в личном кабинете поставщика, не помечена ли ваша модель как deprecated.
4. Прогоните 10–20 реальных запросов через модель поколением новее и сравните ответы вслепую.
5. Спросите пользователей или операторов, что бесит: медленно, врёт или не понимает.

Если по итогам совпало три пункта и больше — планируйте работу. Начните с самого дешёвого уровня: часто смена базовой модели закрывает половину проблем без переписывания кода.