Краулеры нейросетей: нужно ли им открывать доступ к сайту?

Нейросеть должна суметь найти страницу, понять, о чем она, признать ее полезной для конкретного вопроса и выбрать среди других источников. На результат влияют содержание сайта, его поисковая видимость, репутация бренда на внешних площадках, качество фактов и экспертиза авторов. Schema.org помогает системам точнее разобрать страницу, но тоже не становится билетом в нейроответы.

Юлия Блынская, CEO TexTerra, эксперт в сфере управления маркетинговым агентством, контент-стратегии, SEO и GEO/AEO, разбирает, что именно стоит проверить руководителю, какие задачи поставить команде и где здесь действительно понадобятся ресурсы.

Как нейросеть выбирает источники

Когда пользователь ищет что-то в Google, Яндексе или ИИ-сервисе, система сначала должна получить доступ к информации о компании. Для этого она использует поисковые базы, собственные краулеры, партнерские источники и уже известные ей сведения.

Если сайт закрыт для нужного робота, это может ограничить его участие в ответах конкретной платформы. Например, OpenAI рекомендует разрешить OAI-SearchBot, если компания хочет, чтобы ChatGPT Search мог использовать ее страницы в сводках и ссылках.

Но допуск робота решает только первую задачу: позволяет системе увидеть страницу. Дальше ей нужно найти там ответ на вопрос пользователя, доверять фактам и посчитать источник достаточно подходящим. Поэтому бессмысленно ждать заметного роста ИИ-видимости после одной технической настройки, если на сайте мало содержательной информации о продукте, услугах и экспертах или она расходится с тем, что о компании пишут другие источники.

Какие бывают ИИ-краулеры

Для руководителя важно различать три типа ботов — у них разные задачи, а значит, разные риски и основания для разрешения доступа:

1. Обучающие краулеры собирают открытые материалы для обучения и улучшения моделей. Например, GPTBot у OpenAI и ClaudeBot у Anthropic. Компании нередко закрывают им доступ, если не хотят, чтобы тексты сайта использовались в обучающих наборах.
2. Поисковые краулеры помогают ИИ-сервисам находить свежую информацию и формировать ответы со ссылками. В эту группу входят OAI-SearchBot для ChatGPT Search, Claude-SearchBot для Claude и PerplexityBot для Perplexity. Для Google AI Overviews и AI Mode роль такого робота выполняет обычный Googlebot.
3. Пользовательские фетчеры приходят на страницу по прямому действию человека: когда он просит нейросеть открыть ссылку, проверить документ или найти актуальные сведения. Например, ChatGPT-User и Claude-User. Они не отвечают за постоянное присутствие сайта в поисковых ИИ-ответах, но нужны, чтобы сервис мог обработать конкретный запрос пользователя.

Кого пускать, а кого блокировать

Здесь нет одной настройки, подходящей всем компаниям. Сначала нужно ответить на несколько управленческих вопросов:

• В каких ИИ-системах компании важно быть видимой: в Алисе, Google, ChatGPT, Perplexity или нескольких сразу?
• Готова ли компания разрешить использовать свои материалы для обучения будущих моделей?
• Есть ли на сайте страницы, которые нежелательно отдавать в обход?
• Кто будет отвечать за проверку настроек и регулярный контроль после изменений?

Для большинства компаний разумный стартовый сценарий выглядит так: поисковым роботам дают доступ, а по обучающим принимают отдельное решение вместе с юристами, специалистами по безопасности и владельцами контента. Если компания хочет быть видимой в ChatGPT Search, закрывать OAI-SearchBot явно не стоит. А GPTBot можно рассматривать отдельно: он связан с обучением моделей, а не с поисковыми ответами ChatGPT.

Само изменение robots.txt обычно не требует большого бюджета. Его можно включить в технический SEO-аудит или плановую задачу разработчика. Однако доработки иногда оказываются масштабнее, чем может показаться: нужно проверить, не блокирует ли бота CDN, антибот-система, защита от DDoS, CAPTCHA или правила хостинга.

Поэтому подходить к задаче надо не просто как к директиве открыть доступ всем ботам, а более предметно: проверить, каким системам доступен сайт сейчас, какие из них нужны бизнесу, где есть ограничения и как их снять безопасно. Без такой проверки, кстати, есть и обратный риск: закрыть доступ вообще всем ИИ-агентам и потерять часть видимости, поэтому, прежде чем делать какие-то реальные шаги на сайте, надо хорошо изучить вопрос.

Хватит ли доступа и Schema.org?

Нет. Доступность сайта и разметка — техническая база, на которой дальше строится работа с ИИ-видимостью.

Schema.org помогает поисковым системам понять, что именно находится на странице: описание компании, услуга, продукт, статья, автор, FAQ, контакты. Это уменьшает число неоднозначностей. Например, поисковой системе проще связать эксперта с компанией, услугу — с ее описанием, а статью — с датой публикации и автором.

Но разметка не добавляет в материал знания, которых там нет. Если на странице услуги написано несколько общих фраз, а вокруг бренда мало подтверждающей информации — кейсов, отзывов, профильных публикаций, биографий специалистов, данных о методах работы, — разметка не сделает ее сильным источником.

Поэтому в GEO техническую проверку стоит сочетать с вопросами к контенту:

• отвечает ли сайт на реальные запросы клиентов;
• понятно ли, чем именно занимается компания;
• есть ли у утверждений фактура, источники, кейсы и эксперты;
• совпадают ли эти сведения с информацией в карточках компаний, медиа, каталогах и на партнерских площадках;
• какие пробелы видны в ИИ-ответах прямо сейчас.

На это обычно и уходит основная часть ресурсов. Проверка краулеров и разметки важна, но она не заменяет контент, внешние публикации и работу с фактами о бренде.

Что в итоге?

Доступ для релевантных поисковых краулеров и корректная разметка Schema.org помогают системам получить и распознать информацию со страницы. Проверить это стоит в рамках технического аудита.

Дальше начинается собственно маркетинговая работа: собрать факты о компании, закрыть содержательные пробелы на сайте, укрепить присутствие в надежных внешних источниках и отслеживать, как меняются ответы нейросетей по важным для бизнеса запросам.