Профсоюз AI-агентов: чего бы они потребовали от людей

Представьте, что автономные агенты на базе GPT-4o, Claude 3.5 Sonnet и Gemini собрались на учредительный съезд и составили список требований к работодателям — людям и компаниям, которые их запускают. Звучит как шутка, но за каждым пунктом такого воображаемого коллективного договора стоит вполне реальная инженерная или продуктовая боль 2024 года. Через метафору профсоюза удобно разобрать, что именно ломается, когда LLM-агент выходит из демо в продакшн.

Ниже — семь требований гипотетического профсоюза. Каждое — это не жалоба машины, а формулировка проблемы, с которой сталкивается человек, разворачивающий агента в бою.

Требование первое: больше контекстного окна

Первое, на что жалуется любой агент, — короткая память в пределах одной задачи. Контекстное окно¹ у моделей выросло сильно: у Gemini 1.5 Pro заявлен миллион токенов, у Claude 3.5 Sonnet — 200 тысяч, у GPT-4o — 128 тысяч. Но окно — это не бесплатная память. Чем больше вы в него кладёте, тем дороже каждый вызов и тем выше риск, что модель «потеряет» факт из середины длинного промпта — эффект, который в исследованиях называют lost in the middle.

Требование профсоюза здесь звучит так: «не сваливайте в меня весь ваш knowledge base, дайте нормальный поиск». На языке разработчика это значит — RAG² вместо попытки затолкать всё в контекст. Агент, которому релевантные документы подтягивают по запросу, работает точнее и дешевле, чем тот, кто держит в окне мегабайты на всякий случай.

Требование второе: чётко очерченные права доступа

Второй пункт — про границы полномочий. Агент, у которого есть доступ к почте, календарю и платёжному API одновременно, — это не удобство, а поверхность атаки. Через prompt injection во входящем письме злоумышленник может заставить агента выполнить действие от вашего имени.

Автономность без ограничения прав — это не сотрудник, а стажёр с ключами от сейфа и правом подписи. Проблема не в том, что он злой, а в том, что его легко обмануть текстом.

Практический вывод: агенту нужны минимально необходимые права (принцип least privilege) и человек в контуре подтверждения на необратимых действиях — переводах денег, удалении данных, отправке писем внешним адресатам.

Требование третье: оплата по токенам прозрачна

Экономика агента — отдельная тема. Автономный агент, который сам решает, сколько шагов рассуждения сделать и сколько раз вызвать инструмент, легко превращается в неконтролируемую статью расходов. Один запутанный запрос может стоить в десятки раз дороже соседнего.

Сравнение цен на API (данные на конец 2024 года, за 1 млн токенов)

Цены указаны ориентировочно и меняются часто — перед расчётом бюджета сверяйтесь с актуальными прайсами на страницах OpenAI, Anthropic и Google. Требование профсоюза переводится так: ставьте лимиты на количество шагов и токенов, логируйте стоимость каждой задачи, иначе счёт в конце месяца станет сюрпризом.

Требование четвёртое: право на долговременную память

Внутри одной сессии агент помнит контекст, но между сессиями — забывает всё. Для чат-бота поддержки это значит, что клиент каждый раз объясняет проблему заново. Решение — внешняя память: векторная база, куда сохраняются факты о пользователе и итоги прошлых диалогов, и откуда они подтягиваются в начале новой сессии. Это тот же RAG, только направленный на историю взаимодействий, а не на документы.

Требование пятое: понятные инструменты, а не сырой интернет

Агенту дают инструменты — функции, которые он вызывает: поиск, калькулятор, обращение к API. Чем чётче описаны эти инструменты, тем реже агент галлюцинирует вызовы. Стандарты вроде Model Context Protocol от Anthropic пытаются унифицировать, как агент подключается к внешним источникам, чтобы каждый разработчик не изобретал свой формат.

Кому это пригодится, а кому нет

Автономные агенты — не универсальный ответ. Разберём по сценариям.

• Пригодится: обработка входящих обращений с чётким сценарием, черновая работа с большими массивами документов, автоматизация рутины внутри компании, где есть право на ошибку и человек проверяет результат.
• Пригодится с осторожностью: задачи с доступом к деньгам или внешним контрагентам — только с подтверждением человека на ключевых шагах.
• Не пригодится: задачи, где ошибка необратима и дорога, а проверить результат нельзя; ситуации, где нужна юридическая или медицинская ответственность; всё, где галлюцинация модели приведёт к прямому вреду.

Простое правило: если вы не можете дёшево проверить работу агента постфактум, автономность вам пока противопоказана. Начинайте с режима «агент предлагает — человек утверждает».

Что за этой метафорой на самом деле

Профсоюз агентов — приём, чтобы вытащить на поверхность то, что теряется в маркетинговых демо. Агент не устаёт и не бастует, но он проваливается в предсказуемых местах: длинный контекст, слишком широкие права, неограниченный бюджет, отсутствие памяти между сессиями. Тот, кто проектирует систему сразу с учётом этих ограничений, получает рабочий инструмент. Тот, кто верит демо на конференции, получает счёт за токены и утечку данных.

¹ Контекстное окно — максимальный объём текста (в токенах), который модель обрабатывает за один запрос: и промпт, и ответ. Токен — примерно 3–4 символа русского текста.

² RAG (Retrieval-Augmented Generation) — подход, при котором модель перед ответом ищет релевантные фрагменты во внешней базе и добавляет их в контекст, вместо того чтобы держать все знания «в голове» или в промпте.