Память ИИ-агента: что оставлять в контексте, а что забывать

Агент, который помнит всё, работает хуже агента, который помнит нужное. Это контринтуитивно, но подтверждается на любом длинном диалоге: когда контекстное окно забивается историей, модель начинает терять из виду задачу, повторяться и путать факты из ранних сообщений с текущими. Плюс за каждый токен в окне вы платите — деньгами через API или скоростью ответа. Поэтому вопрос управления памятью агента — не про то, как запомнить больше, а про то, что осмысленно забыть.

Почему «помнить всё» не работает

У любой языковой модели есть контекстное окно¹ — максимальный объём текста, который она может держать перед глазами за один вызов. У актуальных моделей оно большое: 128 тысяч токенов у GPT-4o, до 200 тысяч у Claude, до миллиона у Gemini 1.5 Pro. Кажется, что этого хватит на любую историю. Но есть две проблемы.

Первая — деньги и задержка. Токены на входе тарифицируются, и полный диалог на 150 тысяч токенов при каждом новом сообщении превращается в дорогой и медленный запрос. Вторая — качество. Исследователи описали эффект «lost in the middle»: модель хорошо помнит начало и конец контекста, но информация в середине длинного окна используется заметно хуже. Формально токены влезли — а на деле агент их почти не видит.

Память агента — это не архив, а рабочий стол. На столе лежит то, что нужно прямо сейчас; всё остальное убрано в ящики, откуда достаётся по запросу.

Три слоя памяти

На практике память агента раскладывают на несколько уровней с разной живучестью. Проще всего думать о них так:

• Рабочая память — текущий контекст: системный промпт, последние сообщения, результаты вызванных инструментов. Живёт один сеанс, помещается в окно целиком.
• Эпизодическая память — сжатые сводки прошлых сессий: чем закончился прошлый разговор, какие решения приняты. Хранится вне окна и подтягивается, когда релевантна.
• Семантическая память — устойчивые факты о пользователе или предметной области: имя, предпочтения, ключевые данные проекта. Меняется редко, извлекается точечно.

Рабочую память нужно активно чистить, эпизодическую — сжимать, семантическую — хранить и обновлять. Смешивать их в одну простыню истории — как раз то, что ломает агентов на длинной дистанции.

Что оставлять в окне

В рабочую память имеет смысл держать только то, что влияет на следующий шаг: формулировку задачи, последние 5–10 реплик, результаты недавних инструментов и жёсткие ограничения (формат ответа, запреты). Всё, что старше и не упоминалось, — кандидат на выгрузку.

Что забывать

Забывать стоит сырые логи инструментов после того, как из них извлечён вывод, промежуточные рассуждения, которые уже привели к результату, и повторяющиеся уточнения. Ключевое слово — «сырые»: вместо десяти сообщений о том, как агент искал файл, в памяти остаётся одна строка «файл config.yaml найден в /etc, версия 2».

Подходы к управлению: сравнение

Единого стандарта нет, но сложилось несколько рабочих стратегий. Их можно комбинировать.

В готовых продуктах это уже спрятано под капот. У OpenAI в ChatGPT есть функция памяти, которая сохраняет факты о пользователе между чатами и позволяет их просматривать и удалять. Для разработчиков подобное реализуют библиотеки вроде LangChain, LlamaIndex и специализированные проекты памяти — но выбор конкретного инструмента зависит от того, строите вы чат-ассистента или автономного агента с инструментами.

Кому это пригодится, а кому нет

Пригодится:

• Тем, кто строит агента поддержки, который ведёт пользователя через много сессий — здесь без эпизодической и семантической памяти клиент каждый раз начинает с нуля.
• Разработчикам автономных агентов с длинными цепочками вызовов инструментов: без чистки рабочей памяти окно забивается за десятки шагов.
• Тем, кто считает расходы на API: сжатие истории напрямую режет счёт, особенно на дорогих моделях.

Не пригодится:

• Для коротких одноразовых запросов вроде «переведи текст» или «напиши регулярку» — там весь контекст и так помещается, память избыточна.
• Для задач, где важна ровно вся история без потерь, например юридический разбор длинного документа — тут лучше поместить документ целиком в большое окно, чем рисковать сжатием.

С чего начать

1. Замерьте, сколько токенов реально уходит в окно на типичном диалоге — многие удивляются, обнаружив, что 80% занимают логи инструментов.
2. Введите скользящее окно как базовую защиту: это самый дешёвый способ не дать истории расти бесконечно.
3. Добавьте суммаризацию старой части, если теряется важный контекст из начала.
4. Если сессий много и они разнесены во времени — выносите факты в отдельное хранилище и подтягивайте по релевантности.
5. Дайте пользователю или самому агенту возможность править и удалять запомненное: устаревший факт хуже, чем его отсутствие.

¹ Контекстное окно — объём текста в токенах, который модель обрабатывает за один вызов; и запрос, и ответ должны в него уместиться.

² RAG (retrieval-augmented generation) — подход, при котором нужные фрагменты достаются из внешнего хранилища (часто векторной базы) и добавляются в контекст перед генерацией ответа.