Автономный агент по отделам: как оценить риск до запуска

Автономный агент — это не чат-бот, которому вы задаёте вопрос. Это система, которая сама планирует шаги, вызывает инструменты и выполняет действия без подтверждения человеком на каждом шаге: отправляет письма, ставит задачи, меняет записи в базе, инициирует платёж. И как только агент получает право что-то менять, а не только читать, возникает вопрос, который до 2024 года стоял только в теории: что произойдёт, если он ошибётся, и кто за это отвечает. Матрица рисков — это способ ответить на него до запуска, а не после инцидента.

Идея простая: один и тот же агент, встроенный в отдел маркетинга и в бухгалтерию, несёт разный риск. В первом случае худший исход — неудачный пост и потраченный бюджет на рекламу. Во втором — ошибочный платёж или искажённая отчётность. Поэтому оценивать нужно не «агента вообще», а связку «отдел + права доступа + тип действия».

Из чего собирают матрицу

Матрица рисков для внедрения агента строится минимум по двум осям, знакомым любому, кто занимался управлением рисками: вероятность ошибки и тяжесть последствий. Для ИИ-агентов к ним добавляют третью, специфическую — обратимость действия. Отправленное клиенту письмо отозвать нельзя, черновик задачи — можно удалить без следа.

• Вероятность сбоя. Насколько задача формализуема. Разметить входящие заявки по категориям — задача с понятным правильным ответом. Составить ответ на жалобу клиента — задача, где «правильного» ответа нет, и модель может выдать правдоподобную, но неуместную формулировку (это называют галлюцинацией*).
• Тяжесть последствий. В деньгах, репутации, юридических обязательствах. Ошибка в подписи к посту и ошибка в договоре — разные весовые категории.
• Обратимость. Можно ли откатить действие и за сколько времени. Действия с внешними получателями и с деньгами почти всегда необратимы.
• Доступ к данным. Видит ли агент персональные данные, коммерческую тайну, платёжные реквизиты. Это отдельная ось, потому что утечка через промпт или лог не зависит от того, ошибся агент в основной задаче или нет.

Правило, которое стоит держать в голове: агенту нельзя давать право на необратимое действие в зоне высоких последствий без человека в контуре. Всё остальное — вопрос настройки, это — вопрос принципа.

Как это выглядит по отделам

Ниже — не универсальная истина, а рамка для собственной оценки. Конкретные веса зависят от того, что именно вы поручаете агенту и какие права ему выдаёте. Уровень риска здесь — комбинация тяжести последствий и обратимости при типичных задачах отдела.

Логика видна сразу: чем ближе к деньгам, людям и внешним обязательствам, тем меньше автономии стоит давать. В маркетинге агент может работать почти самостоятельно, в финансах — только как ассистент, готовящий действие, которое подтверждает человек.

Что делать с ячейками высокого риска

Высокий риск не означает «не внедрять». Он означает «внедрять с ограничителями». Практический набор мер:

1. Человек в контуре (human-in-the-loop). Агент готовит действие, но исполняет его только после подтверждения сотрудника. Стандарт для всего критического.
2. Ограничение прав. Доступ только на чтение там, где запись не обязательна. Отдельные технические учётные записи с минимальными правами вместо общего доступа.
3. Пороги и лимиты. Платёж выше определённой суммы, рассылка больше N адресатов, удаление записей — только через подтверждение.
4. Логирование каждого действия. Полный след: какой запрос, какой инструмент вызван, что изменилось. Без этого разбор инцидента невозможен.
5. Песочница перед боем. Прогон на исторических данных или в тестовом контуре, чтобы увидеть, где агент ошибается, до того как он получит доступ к рабочей системе.

Кому это пригодится, а кому нет

Пригодится, если вы запускаете агента сразу в нескольких процессах и нужно решить, с чего начать. Матрица подскажет: стартуйте с зоны низкого риска и высокой обратимости — разметка данных, черновики, внутренняя аналитика. Там ошибка дёшева, а команда успеет понять, как агент себя ведёт.

Сценарий, где рамка особенно полезна: компания хочет автоматизировать поддержку. Матрица показывает, что ответы клиентам необратимы, значит первый шаг — не автоответы, а подготовка черновиков для оператора. Автономию добавляют позже, когда накоплена статистика по качеству.

Не пригодится в двух случаях. Первый — если у вас один узкий сценарий и вы и так понимаете его риск: строить матрицу из одной строки бессмысленно. Второй — если решение уже принято сверху и внедрять будут в бухгалтерии «потому что там больше рутины», игнорируя оценку. Матрица — инструмент для тех, кто готов на её основании отказаться от опасной затеи или отложить её.

Частая ошибка: считать риск один раз

Матрица — не документ на подпись и в архив. Права агента со временем расширяют, задачи усложняют, а модель под капотом обновляют — и профиль риска меняется. Ячейка, которая была зелёной при доступе на чтение, становится красной, когда агенту выдали право на запись. Пересматривать оценку стоит при каждом расширении полномочий, а не по календарю.

* Галлюцинация — ситуация, когда языковая модель выдаёт правдоподобный, грамматически связный, но фактически неверный или выдуманный ответ. Для агента это опасно тем, что он может действовать на основе такого ответа, а не только показать его человеку.