Строчка в robots.txt не спасёт ваш контент от ИИ: почему Гугл прямо сказал, что фишка Cloudflare не работает

Осенью 2025-го Cloudflare громко представил Content Signals Policy — способ «запретить нейросетям забирать ваш контент» одной строчкой в robots.txt. Идея красивая: не хотите, чтобы ChatGPT и Google учились на ваших статьях, — поставьте галочку, и Cloudflare сам пропишет запрет. К этому подключили больше 3,8 млн доменов.

А через пару недель Джон Мюллер из Google публично сказал, что эта строчка не делает ничего. Дословно — «no effects whatsoever for any crawler or LLM».

Я занимаюсь видимостью брендов в ИИ-поиске, и мимо этой истории пройти не мог: слишком многие бизнесы уже решили, что «защитились». Разберу, что именно придумал Cloudflare, почему Google прав, и что с этим делать владельцу сайта — и тому, кто хочет закрыться от ИИ, и тому, кто, наоборот, хочет туда попасть.

Что вообще предложил Cloudflare

Content Signals Policy — это три новых сигнала, которые Cloudflare добавляет в ваш `robots.txt`:

1. search — можно ли использовать контент для обычного поиска (индекс, ссылки, сниппеты);
2. ai-input — можно ли брать его в ответы и summary нейросетей;
3. ai-train — можно ли обучать на нём модели.

У каждого три состояния: `yes` — разрешено, `no` — запрещено, пусто — предпочтение не выражено. Выглядит это как аккуратная приписка в старом добром robots.txt, которую якобы должны читать краулеры OpenAI, Google и остальных.

Почему Мюллер говорит, что это пустая строчка

Логика Google простая и техническая. Краулер выполняет только те директивы, которые описаны в его собственной документации. Всё, что он не знает, он молча пропускает. `content-signal` не описан ни у Google, ни у OpenAI, ни у кого — значит, для их ботов это просто комментарий, набор символов. Директива, которую никто не парсит, ничего не разрешает и не запрещает, как бы аккуратно она ни была написана.

И второй аргумент Мюллера: сигнал придумал не поисковик и не ИИ-лаборатория, а один CDN. Это не отраслевой стандарт, под который все обязались. Это предложение одной компании, которое остальные вольны игнорировать — и игнорируют.

Content Signals — это декларация о намерениях, вежливая табличка «пожалуйста, не берите». Она юридически фиксирует вашу позицию (может пригодиться в спорах об использовании контента) и её теоретически могут начать уважать добросовестные боты. Но сама по себе она ничего не блокирует. Cloudflare, к их чести, это и не скрывает: в их же формулировке сигналы «выражают предпочтения, а не являются техническим средством против скрейпинга».

Где проходит граница между «просьбой» и «защитой»

Просьба — это robots.txt. Любые его строчки, включая Content Signals, работают только на доверии: бот сам решает, послушаться или нет. Хороший бот послушается, скрейпер-хам — нет. Никакой принудительной силы у текстового файла нет и не было никогда.

Защита — это блокировка на сетевом уровне. У того же Cloudflare есть настоящий инструмент: трафик ботов инспектируется и режется на edge, ещё до того как запрос дойдёт до вашего сервера. Вот это работает — и работает независимо от того, читал бот robots.txt или нет, потому что его просто не пускают. Но это уже не «галочка Content Signals», это WAF и bot management, отдельная функция.

Что с этим делать, если вы хотите закрыться от ИИ

1. Не путайте намерение и барьер. Content Signals и обычный `Disallow` — это заявка о позиции. Ставить можно (лишним не будет, юридически фиксирует), но считать это защитой — нельзя.
2. Нужна реальная блокировка — включайте её на сетевом уровне. Bot management / блок конкретных AI-краулеров по User-Agent и поведению на edge. Это то, что физически не пускает.
3. Помните про цену вопроса. Жёсткая блокировка ИИ-ботов закрывает вас и от того трафика, который они начали приводить: ChatGPT, Perplexity и «Алиса» уже кликают на источники. Резать всех подряд — значит выключить и этот канал.

А если вы, наоборот, хотите попасть в ответы ИИ

Обратная сторона той же истории, и для бизнеса она сейчас важнее. Cloudflare с сентября 2025-го автоматически дописывает свою политику в robots.txt всем, кто отдал ему управление этим файлом. То есть у миллионов сайтов сигналы могли проставиться по умолчанию — и кто-то, сам того не зная, мог получить `ai-input: no`, то есть просьбу «не берите меня в ответы нейросетей».

Если вы хотите, чтобы ИИ вас цитировал и рекомендовал, стоит проверить свой `robots.txt` руками: не стоит ли там случайный запрет, не режете ли вы AI-ботов на edge заодно с полезными. Я регулярно вижу сайты, которые борются за видимость в ChatGPT и при этом сами же техническими настройками закрыли к себе доступ. Сначала — не мешать, потом — помогать.

Короткий вывод

Content Signals Policy — не защита, а вежливая просьба, которую большие краулеры пока просто не читают; Google это подтвердил прямым текстом. Хотите реально закрыться — блокируйте ботов на сетевом уровне, а не строчкой в текстовом файле. Хотите попасть в ответы ИИ — сначала проверьте, что вы сами себе эту дверь не захлопнули.

Мы в Звонко как раз меряем, кого и как видят нейросети, и техническую доступность сайта для ИИ-ботов проверяем первым делом — рассказываем об этом здесь.