Дашборд для агентных метрик: что мерить, кроме токенов

Классический мониторинг веб-сервиса меряет три вещи: задержку, ошибки, нагрузку. С агентом на большой языковой модели этого мало. Агент сам решает, сколько раз дёрнуть модель, какой инструмент вызвать и когда остановиться — и каждое такое решение стоит денег и времени. Одна и та же задача может уложиться в два вызова или зациклиться на пятнадцати, а по стандартным метрикам оба прогона выглядят как успешный ответ 200 OK. Дашборд для агента строится вокруг того, что происходит между запросом и ответом.

Что вообще меряют у агента

Агент¹ отличается от простого чат-запроса тем, что работает в цикле: планирует, вызывает инструменты, читает результат, решает, продолжать или отдавать ответ. Значит, у одного пользовательского запроса появляется внутренняя структура — трасса из нескольких шагов. Метрики распадаются на четыре группы.

• Стоимость. Токены на вход и на выход отдельно, потому что выходные обычно дороже. Стоимость одного завершённого задания, а не одного вызова модели — это разные числа, и второе обманчиво.
• Латентность. Время до первого токена, время всего шага и время всей трассы от запроса до финального ответа. Пользователь чувствует последнее.
• Поведение цикла. Сколько шагов заняла задача, сколько раз вызывались инструменты, какие из них падали, доходил ли агент до потолка итераций.
• Качество. Довёл ли агент задачу до конца, сколько раз пришлось переспрашивать, доля ответов, которые прошли валидацию или проверку человеком.

Первые три группы собираются автоматически из телеметрии. Четвёртая — самая ценная и самая тяжёлая: её нельзя вытащить из логов без разметки или отдельной проверки.

Из чего собрать

Технически задача делится на три слоя: сбор трасс, хранение и визуализация. Для сбора почти все инструменты сегодня опираются на OpenTelemetry — открытый стандарт трейсинга, к которому добавляют семантику под работу с моделями. Дальше выбор зависит от того, хотите ли вы готовый продукт под LLM или собрать стек из общих кирпичей.

Langfuse и Arize Phoenix можно поднять у себя — это важно, если трассы содержат пользовательские данные, которые нельзя отдавать в чужое облако. Конкретные тарифы и лимиты бесплатных планов у всех перечисленных сервисов меняются, их стоит сверять на официальных страницах перед выбором, а не по обзорам полугодовой давности.

Какие панели ставить на дашборд

Дашборд без приоритета — это стена графиков, на которую никто не смотрит. Разбейте его на три экрана по вопросам, на которые он отвечает.

Экран «всё ли живо»

• Доля завершённых заданий за последний час и за сутки.
• Доля трасс, упёршихся в лимит итераций — это ранний признак зацикливания.
• Ошибки вызова инструментов, разбитые по инструменту.
• P50 и P95 времени полной трассы. Среднее здесь бесполезно: один зависший агент его перекосит.

Экран «сколько это стоит»

• Стоимость на одно завершённое задание в динамике по дням.
• Токены вход/выход раздельно, с разбивкой по модели.
• Топ самых дорогих трасс за период — туда почти всегда попадают циклы и раздутый контекст.

Экран «стало ли хуже»

Сюда идут метрики качества после смены промпта, версии модели или набора инструментов. Число шагов на задание, доля переспросов, результаты офлайн-оценки на фиксированном наборе примеров. Именно этот экран показывает регрессию, которую не видно по деньгам и латентности.

Самая дорогая метрика агента — не токены, а число шагов. Модель, которая решает задачу за три вызова вместо восьми, экономит и деньги, и время, и нервы пользователя одновременно.

Кому это пригодится и кому нет

Отдельный дашборд под агентные метрики оправдан не всем.

• Команде, у которой агент в проде и растёт трафик. Здесь дашборд окупается на первом же скачке счёта: вы видите, какая цепочка инструментов съедает бюджет.
• Тем, кто часто меняет промпты и модели. Без экрана «стало ли хуже» вы узнаёте о регрессии от пользователей, а не из графика.
• Продуктам с пользовательскими данными в трассах. Им подойдёт только самостоятельно размещённое решение, и это отдельная строка в требованиях.

Кому это лишнее: если у вас один запрос к модели без инструментов и цикла — это не агент, а обычный вызов, и хватит стандартного APM плюс лога токенов. Прототипу на выходные тоже не нужен трёхэкранный дашборд: там достаточно вывести число шагов и стоимость в консоль. Строить observability раньше, чем появился стабильный трафик, — это оптимизация того, чего ещё нет.

С чего начать за один вечер

1. Обвесьте трейсингом одну точку — цикл агента, чтобы каждый шаг стал span'ом в одной трассе.
2. Добавьте в каждый span токены, стоимость, имя вызванного инструмента и его исход.
3. Отправьте трассы в один сборщик — специализированный сервис или свой стек на OpenTelemetry.
4. Соберите сначала один экран «всё ли живо». Остальные два добавите, когда появятся вопросы к деньгам и качеству.

Порядок важен: сначала видимость, потом красота. Дашборд, на который смотрят раз в день перед релизом, полезнее, чем сорок панелей, которые открывали один раз при настройке.

¹ Агент — программа, которая использует языковую модель как «мозг» в цикле: модель решает, какой инструмент вызвать и когда остановиться, а не просто отвечает одним текстом на один запрос.