ИИ-агенты, которые учатся на ошибках: чего бояться, а чего нет

Осенью 2024 года формулировка «агент, который учится на ваших ошибках» перекочевала из презентаций стартапов в маркетинг крупных вендоров. OpenAI, Anthropic и Google продвигают продукты, которые не просто отвечают на запрос, а выполняют цепочки действий: открывают браузер, правят код, бронируют встречи. И почти все обещают, что со временем агент станет работать лучше — потому что «запоминает» ваши поправки. Звучит как обучение. На практике под этой фразой скрываются как минимум три разных механизма, и путать их дорого — в деньгах и в приватности.

Что на самом деле значит «учится на ошибках»

Когда вендор говорит, что агент^* учится, почти всегда речь идёт об одном из трёх сценариев. Они принципиально разные по последствиям для вас.

• Память сессии. Агент держит ваши поправки в контекстном окне^** текущего разговора. Закрыли чат — всё забыл. Никакого дообучения, только временный буфер.
• Долговременная память. Инструмент сохраняет заметки о ваших предпочтениях в отдельное хранилище и подмешивает их в будущие запросы. Это не изменение самой модели, а внешняя база. Именно так устроена «Memory» у ChatGPT.
• Дообучение модели. Ваши данные и правки попадают в обучающую выборку, на которой корректируют веса модели. Вот это и есть настоящее обучение — и именно здесь возникают риски для приватности.

Разница критична. В первых двух случаях модель не меняется: она просто получает больше подсказок на входе. В третьем ваши данные могут повлиять на то, что модель ответит совершенно другому пользователю.

«Учится на ваших ошибках» и «обучается на ваших данных» — не синонимы. Первое чаще всего означает записную книжку, второе — вклад в чужую модель. Читайте, какой именно вариант вам продают.

Как это устроено у основных игроков

Механизмы памяти и правила использования данных различаются даже внутри одной компании — между бесплатным тарифом, платной подпиской и корпоративным API. Ниже — общая картина на конец 2024 — начало 2025 года; точные условия смотрите в актуальной документации, они меняются.

Общая закономерность: на бесплатных и потребительских тарифах ваши разговоры чаще используются для улучшения продуктов, а в корпоративных версиях и через API — как правило, нет. Но «как правило» здесь не гарантия: точный режим определяется договором и настройками, а не рекламной страницей.

Где заканчивается память и начинается риск

Долговременная память удобна: агент помнит, что вы предпочитаете короткие ответы или что ваш проект на TypeScript. Но у неё есть обратная сторона. Если агент сохранил в заметки чувствительный факт — например, диагноз, зарплату или коммерческую тайну, — этот факт всплывёт в будущих сессиях, иногда неожиданно. А при дообучении данные теоретически могут быть извлечены другими пользователями через атаки на выуживание обучающих примеров. Такие атаки описаны в исследовательской литературе, хотя массового практического ущерба на потребительских продуктах публично не задокументировано.

Кому это пригодится, а кому нет

Агент с памятью — не универсальное благо. Всё зависит от того, что вы ему доверяете.

Скорее пригодится

• Разработчику-одиночке. Агент запоминает стиль кода, любимые библиотеки, структуру проекта — и перестаёт предлагать то, что вы уже отвергли. Экономия — десятки минут в день на повторных уточнениях.
• Копирайтеру и маркетологу. Память тона голоса бренда избавляет от того, чтобы каждый раз объяснять, как писать. Публичные тексты — низкий риск утечки.
• Аналитику с обезличенными данными. Если в запросах нет персональных данных и коммерческой тайны, память ускоряет рутину без серьёзных последствий.

Скорее навредит

• Юристу и медработнику. Данные клиентов и пациентов защищены законом. Загрузка их в потребительский агент с обучением по умолчанию — прямой риск нарушения режима конфиденциальности.
• Сотруднику под NDA. Внутренние документы компании в бесплатном чат-боте могут попасть в обучающую выборку. Многие работодатели прямо запрещают это внутренними регламентами.
• Тем, кто путает автономность с надёжностью. Агент, который «учится», всё равно ошибается — и чем больше действий он выполняет сам (правит файлы, отправляет письма), тем дороже цена одной ошибки.

Что сделать перед тем, как довериться агенту

1. Откройте настройки приватности продукта и найдите пункт об использовании данных для обучения. Отключите, если работаете с чувствительной информацией.
2. Проверьте, есть ли отдельный переключатель памяти — и очистите сохранённые заметки, если там уже накопилось лишнее.
3. Для рабочих задач используйте корпоративный тариф или API, где обучение на ваших данных по умолчанию отключено.
4. Не давайте агенту право на необратимые действия (удаление, отправку, оплату) без подтверждения — режим «человек в контуре» дешевле любой автоматизации, которая ошиблась.
5. Раз в месяц перечитывайте, что агент запомнил о вас: память склонна накапливать устаревшие и просто неверные выводы.

^* Агент — программа на основе языковой модели, которая не только отвечает текстом, но и выполняет действия: вызывает инструменты, ходит по сайтам, запускает код в несколько шагов.

^** Контекстное окно — объём текста (в токенах), который модель удерживает «в голове» за один запрос. Всё, что в него не влезло, модель не видит, если это не сохранено во внешнюю память.