Сайты учатся отличать ИИ-агентов от людей: как это работает

В 2025 году агенты вроде OpenAI Operator и Anthropic Computer Use перестали быть демо: они реально открывают сайт, заполняют формы, кладут товар в корзину и жмут «Оплатить». За этим сразу пошла обратная реакция — сайты, платёжные системы и антифрод-сервисы стали активнее отличать такого агента от живого посетителя. Одним площадкам автоматизированные покупки мешают (перекупщики, накрутка), другим — наоборот выгодны, и они выпускают отдельные механизмы, чтобы агент прошёл, а не был заблокирован. Разбираем, как устроена эта защита и кому она мешает.

Что именно защищают

Скрапинг и агентные покупки — это разные задачи, и защита от них тоже разная. Скрапинг — это массовое чтение контента: цены, отзывы, каталог, тексты для обучения моделей. Агентная покупка — это действие: авторизация, добавление в корзину, оформление заказа, ввод платёжных данных.

Соответственно у сайта три уязвимые точки:

• контент — его читают, чтобы собрать данные или обучить модель;
• ресурсы — агенты создают нагрузку и трафик, за который платит владелец сервера;
• действия — покупки, брони, регистрации, где важно, что за ними стоит человек с намерением, а не скрипт.

Технические барьеры: что стоит на входе

robots.txt и явные запреты для ИИ-ботов

Первый и самый мягкий уровень — файл robots.txt¹ и заголовки, которыми сайт просит краулеры не заходить. С 2023–2024 годов в нём появились отдельные строки для ИИ-краулеров: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (обучение Gemini), CCBot (Common Crawl). Это не техническая блокировка, а декларация: добросовестный краулер её уважает, недобросовестный — игнорирует.

Проблема в том, что агент, управляемый пользователем в реальном времени (Operator), формально не «краулер» и часто не представляется этими user-agent. Он ведёт себя как браузер конкретного человека, поэтому robots.txt на него не распространяется — и это отдельная головная боль для владельцев сайтов.

CAPTCHA и проверки «человечности»

Классический рубеж — CAPTCHA и её невидимые варианты (reCAPTCHA v3, Cloudflare Turnstile, hCaptcha). Они оценивают поведение: движения курсора, ритм ввода, историю сессии, репутацию IP. Агент, который двигает курсор идеально по прямой и печатает без пауз, набирает низкий балл доверия и получает вызов.

Здесь идёт гонка: продвинутые агенты научились имитировать человеческую моторику, а антибот-сервисы — ловить эту имитацию по другим признакам. Побочный эффект — растёт число ложных срабатываний на живых людях с нестандартным поведением.

Fingerprinting и анализ окружения

Сайт снимает «отпечаток» браузера: версия, набор шрифтов, разрешение, WebGL, часовой пояс, поведение JavaScript. Автоматизированные среды (headless-браузеры, инструменты вроде Playwright и Puppeteer) исторически оставляли характерные следы. Часть агентов работает поверх обычного Chrome именно чтобы этих следов не было.

Rate limiting и репутация IP

Ограничение частоты запросов и блок по диапазонам дата-центров — базовая защита от скрапинга. Трафик из облаков (AWS, GCP) режут агрессивнее, чем из жилых сетей. Скраперы отвечают на это резидентными прокси, а сайты — сервисами репутации IP.

Главный сдвиг 2025 года: сайт больше не отвечает на вопрос «бот или человек» бинарно. Он спрашивает «какой это агент, от чьего имени и с каким разрешением» — и на этот вопрос старые CAPTCHA ответить не умеют.

Новый подход: не блокировать, а пускать по пропуску

Параллельно с обороной появился встречный тренд. Раз агентные покупки — это деньги, часть игроков хочет не отбиваться от агентов, а обслуживать их правильно. Для этого нужен способ, которым агент честно представляется и получает разрешение действовать от лица пользователя.

Направления, которые обсуждаются и внедряются:

• Идентификация агента — подписанные запросы и заголовки, по которым сайт понимает, что перед ним конкретный проверяемый агент, а не аноним;
• Делегированные платежи — платёжные протоколы для агентов, где пользователь заранее выдаёт агенту лимит и правила, а не сообщает ему полные данные карты. О таких инициативах говорят Visa, Mastercard и крупные платёжные игроки;
• Машиночитаемые правила доступа — расширение логики robots.txt до условий «что агенту можно, что нельзя и на каких условиях платно».

Общего утверждённого стандарта на сегодня нет — это набор конкурирующих подходов от разных вендоров. Поэтому конкретные названия протоколов лучше сверять по официальным анонсам компаний, а не считать устоявшимися.

Как это выглядит для трёх сторон

Кому это пригодится и кому нет

Владельцу e-commerce, которому агенты выгодны. Если вы продаёте расходники, подписки, авиабилеты — агент, который сам оформит повторный заказ, увеличивает выручку. Вам нужны не блокировки, а понятный «вход для агентов»: чтобы транзакция прошла, но с проверяемым источником и защитой от мошенничества.

Площадке с дефицитным товаром или динамическими ценами. Билеты на концерты, лимитированные кроссовки, бронирование — здесь агенты и боты перекупщиков вредят: скупают, накручивают, ломают ценообразование. Вам нужна жёсткая оборона: поведенческий анализ, лимиты, идентификация.

Медиа и контент-проекту. Ваша ценность — тексты, которые собирают для обучения моделей. Технические барьеры помогают частично; полезнее договорные и лицензионные механизмы плюс явные запреты в robots.txt для ИИ-краулеров.

Кому защита скорее навредит. Если ваша аудитория активно пользуется ассистивными технологиями и легальными автоматизациями, агрессивная антибот-защита ударит по живым пользователям ложными срабатываниями. Здесь важнее точная настройка, чем максимальная строгость.

Что делать бизнесу прямо сейчас

1. Решите, друг вам агент или враг: для одних товаров автоматическая покупка — рост выручки, для других — прямой убыток.
2. Обновите robots.txt: явно пропишите отношение к GPTBot, ClaudeBot, Google-Extended, CCBot.
3. Не полагайтесь на один барьер: CAPTCHA обходят, fingerprinting обходят — работает связка сигналов.
4. Следите за платёжными протоколами для агентов от платёжных систем и вендоров антифрода — это ближайшее поле стандартизации.
5. Мерьте ложные срабатывания на живых пользователях: слишком строгая защита теряет реальные продажи.

¹ robots.txt — текстовый файл в корне сайта, в котором владелец указывает, каким автоматическим программам и какие разделы разрешено обходить. Это соглашение, а не техническая блокировка: недобросовестный краулер может его проигнорировать.