robots.txt против ИИ-агентов: старый файл на новой войне

Летом 2024 года издание The Information и разработчики open-source сообщили о том, что краулеры вроде тех, что собирают данные для обучения языковых моделей, обращаются к сайтам сотни тысяч раз, а часть из них не соблюдает запреты в robots.txt. Владельцы сайтов ответили массовыми блокировками: по данным исследования Originality.ai и мониторинга Dark Visitors, доля сайтов из топ-1000, закрывающих доступ ботам OpenAI, Google и Anthropic, за 2023–2024 годы выросла с единиц процентов до десятков. Файл, который придумали в 1994 году для поисковых пауков, оказался в центре спора о том, кто и на каких условиях читает веб.

Что такое robots.txt и почему он вдруг перестал работать

robots.txt — текстовый файл в корне домена, где владелец перечисляет, какие разделы каким ботам можно обходить. Это не замок, а табличка «просьба не входить»: соблюдение добровольное. Поисковики вроде Google десятилетиями его уважали, потому что им было выгодно — за индексацию сайт получал трафик.

С ИИ-краулерами сделка сломалась. Модель забирает контент, но взамен читатель получает ответ в чате, а не переход на сайт. Владелец платит за трафик и хостинг, теряет рекламные показы и не получает ничего. Отсюда волна блокировок и попытки перекроить сам механизм.

Кто ходит по сайтам и как их зовут

У крупных игроков есть отдельные user-agent для разных задач, и это важно различать:

• GPTBot — краулер OpenAI для сбора данных, которые могут пойти в обучение будущих моделей.
• OAI-SearchBot — бот OpenAI для поиска и цитирования в ответах, отдельный от обучающего.
• ChatGPT-User — обращение по запросу пользователя в реальном времени (когда агент идёт на сайт по вашей команде).
• ClaudeBot и anthropic-ai — краулеры Anthropic.
• Google-Extended — токен, которым можно запретить использование контента для обучения Gemini, не теряя место в поиске Google.
• PerplexityBot — краулер поискового ассистента Perplexity.

Заблокировать в robots.txt можно любого из них по имени. Но здесь три проблемы: боты меняют имена, некоторые ходят без явного user-agent, а часть трафика идёт не от «краулера», а от агента[1], который выполняет задачу пользователя и формально краулером себя не считает.

Новый фронт: агенты вместо краулеров

Классический краулер обходит сайт заранее и складывает копию в базу. ИИ-агент приходит в момент запроса: пользователь просит «сравни цены на этих трёх сайтах и оформи заказ» — и агент открывает страницы прямо сейчас, кликает, заполняет формы. Для сервера это выглядит как обычный, хоть и странно быстрый, посетитель.

Здесь robots.txt буксует концептуально. Правило «не индексировать» плохо ложится на ситуацию «пользователь через своего помощника зашёл посмотреть страницу». Отсюда вопрос без готового ответа: агент, действующий от имени человека, — это бот, которого ограничивает robots.txt, или это сам человек с необычным браузером?

Полвека веб держался на договорённости: боты соблюдают robots.txt, потому что это выгодно всем. ИИ-агенты — первые массовые посетители, которым эта договорённость невыгодна, и в этом суть конфликта.

Чем пытаются заменить старый файл

Появилось несколько подходов, и ни один пока не стал стандартом де-факто.

llms.txt — не запрет, а наоборот приглашение: предложенный сообществом формат, где сайт кладёт для моделей чистую Markdown-версию ключевых страниц, чтобы те не парсили сложную вёрстку. Это инструмент для тех, кто хочет попасть в ответы, а не спрятаться от них.

Cloudflare в 2024–2025 годах запустила блокировку ИИ-краулеров в один клик, а затем — механику платного пропуска ботов (pay-per-crawl). Идея простая: если модель хочет данные, пусть платит владельцу. Это переводит спор из плоскости «пускать или нет» в плоскость «сколько стоит».

Отдельно про Crawl-delay и нагрузку

Часть жалоб владельцев — не про авторские права, а про счета за трафик. Агрессивный краулер способен положить небольшой сайт. Директиву Crawl-delay в robots.txt поддерживают не все боты (Google, например, её игнорирует, предлагая настройки в своей панели). Поэтому ограничение частоты чаще делают на стороне сервера или CDN, а не файлом.

Кому это пригодится и кому нет

Разберём по сценариям.

• Медиа и авторам платного контента — да, закрывать обучающие краулеры имеет смысл: контент — актив, за который стоит просить лицензию или деньги. Но закрытие search-ботов лишит вас цитирования и переходов, взвесьте это отдельно.
• Интернет-магазину — блокировка агентов рискованна: если покупатели всё чаще делегируют выбор ассистентам, закрытая для агента карточка товара просто не попадёт в сравнение. Скорее нужна оптимизация под агентов, а не запрет.
• Блогу или проекту, живущему на трафике из поиска — осторожно: не перепутайте обучающий бот с поисковым. Заблокируете не тот user-agent — потеряете видимость.
• Документации и SaaS — часто выгодно, чтобы модели знали ваш продукт и советовали его. Здесь уместнее llms.txt, а не блокировки.
• Тому, кто верит, что robots.txt защитит контент юридически — нет. Это техническая просьба, а не договор. Правовой статус обхода robots.txt для обучения моделей в разных юрисдикциях спорный и решается судами, а не самим файлом.

Что сделать прямо сейчас

1. Откройте логи сервера и посмотрите, какие user-agent реально к вам ходят и с какой частотой — сначала факты, потом решения.
2. Решите отдельно два вопроса: пускать ли обучающие краулеры и пускать ли поисковые. Это разные боты и разные последствия.
3. Пропишите нужные директивы в robots.txt по именам ботов из документации каждого вендора — имена меняются, сверяйтесь с первоисточником.
4. Если robots.txt игнорируют, поднимайте защиту на уровень CDN или сервера: блокировка по сигнатурам, лимит частоты, при необходимости — платный доступ.
5. Если цель обратная — попасть в ответы моделей, — добавьте llms.txt и не режьте search-ботов.

[1] Агент — программа на базе языковой модели, которая не просто отвечает текстом, а выполняет действия: открывает страницы, кликает, заполняет формы, вызывает внешние сервисы для достижения поставленной пользователем цели.