Метрики поддержки на ИИ-агентах: что мерить вместо CSAT

Вы подключили ИИ-агента к поддержке, отчёты показывают рост скорости ответа и падение стоимости обращения — а живые отзывы клиентов стали злее. Так бывает часто: классические метрики удовлетворённости придумали под операторов-людей, и на автоматизированных диалогах они начинают показывать искажённую картину. CSAT растёт, потому что довольные клиенты чаще нажимают на смайлик в первые секунды, а те, кто ушёл в цикл «не понял — переформулируйте», вообще не заполняют опрос. Ниже — какие показатели дают честную картину и как их читать.

Почему старые метрики ломаются на агентах

Три классических показателя поддержки — CSAT, CES и NPS — измеряют разное, и на ИИ-агентах каждый ломается по-своему.

• CSAT (Customer Satisfaction Score) — оценка конкретного обращения по шкале, обычно 1–5 или «доволен / не доволен». Проблема: агент закрывает простые вопросы за секунды, и по ним CSAT высокий. Сложные случаи он передаёт человеку — и негатив от них уходит в метрику оператора, а не агента.
• CES (Customer Effort Score) — сколько усилий клиент потратил, чтобы решить вопрос. Это самый честный показатель для агентной поддержки: если человек три раза переформулировал запрос, усилие высокое, даже когда ответ в итоге верный.
• NPS (Net Promoter Score) — готовность рекомендовать компанию. Он про бренд в целом, а не про один диалог, поэтому связывать его напрямую с работой агента рискованно.

Ключевая ловушка — ошибка выжившего. Опрос после диалога заполняют не все, и заполняют его чаще на полюсах эмоций. Если агент запутал клиента и тот бросил чат, он не поставит оценку — вопрос просто «испарится» из статистики, а средний балл останется красивым.

Что реально измерять

Удовлетворённость на агентной поддержке складывается из нескольких слоёв. Один опрос их не покроет — нужен набор.

Поведенческие метрики (не спрашивают клиента, а смотрят, что он сделал)

• Containment / Resolution rate — доля обращений, решённых агентом без передачи человеку. Но важно не путать «клиент не попросил оператора» с «клиенту помогли»: часть людей просто уходит, не добившись ответа. Считайте containment только по диалогам, где вопрос действительно закрыт.
• Эскалация к человеку — как быстро и по каким темам агент передаёт диалог. Резкий рост эскалаций по одной категории — сигнал, что там дыра в базе знаний.
• Повторные обращения за 24–72 часа — если клиент вернулся с тем же вопросом, первый диалог не решил проблему, каким бы высоким ни был CSAT в нём.
• Reask rate — сколько раз внутри одного диалога клиент переформулировал запрос. Прямой прокси того самого «усилия».

Явные оценки (спрашиваем клиента)

• Микро-CSAT сразу после диалога — короткий, один клик.
• CES с формулировкой «насколько легко вам было решить вопрос».
• Свободный комментарий — его текст можно прогнать через анализ тональности, чтобы увидеть, на что жалуются те, кто оценку не поставил, но что-то написал.

Главный риск агентной поддержки не в том, что агент даст неверный ответ, а в том, что метрики покажут успех там, где клиент тихо ушёл к конкуренту.

Как сравнивать агента с человеком честно

Сравнивать средний CSAT агента и оператора «в лоб» некорректно: они работают с разными потоками обращений. Агент берёт массовые простые вопросы, человек — остаток, где негатива изначально больше. Правильный способ — сегментировать по типу обращения и сравнивать внутри одинаковых категорий.

Пошаговый план внедрения замеров

1. Зафиксируйте базовую линию до запуска агента: CSAT, CES, containment и повторные обращения по каждой категории тем.
2. Разметьте обращения по типам, чтобы сравнивать агента и оператора внутри одной категории, а не в среднем.
3. Считайте containment строго — только диалоги с подтверждённым решением, а не отсутствием эскалации.
4. Добавьте отслеживание повторных обращений за 24–72 часа с дедупликацией по клиенту.
5. Прогоняйте свободные комментарии и брошенные диалоги через анализ тональности, чтобы поймать «молчаливый негатив».
6. Пересматривайте метрики раз в месяц: база знаний и поведение агента меняются быстро.

Кому это пригодится и кому нет

Пригодится: продуктовым и support-командам с большим потоком типовых обращений — маркетплейсы, телеком, финтех, SaaS. Там containment и повторные обращения дают быструю экономию и честную картину качества. Пригодится и тем, кто уже видит расхождение между «зелёными» дашбордами и растущим числом жалоб в соцсетях.

Не стоит городить сложную систему метрик: если у вас десятки обращений в день, статистика по сегментам будет шумной — хватит ручного разбора диалогов. И если агент решает только один узкий сценарий (например, отслеживание статуса заказа), достаточно двух метрик — containment и повторные обращения, остальное избыточно.

CES (Customer Effort Score) — показатель усилий клиента: обычно один вопрос вида «насколько легко было решить ваш вопрос» по шкале, где чем ниже усилие, тем лучше опыт. В отличие от CSAT, он лучше предсказывает, вернётся клиент или уйдёт.