Почему страницы не индексируются Google: три типа проблем

Страница не содержит индексируемый контент

Если на важной странице есть тег noindex (в мета-теге robots или HTTP-заголовке X-Robots-Tag), Google не будет отображать и индексировать эту страницу.

Отдельно стоит отметить ошибку Soft 404. Если она возникает на важной странице, это означает, что Google подумал: контент на этой странице должен возвращать ошибку 404. Обычно это случается, когда Google обнаруживает похожий, небольшой по объему контент на нескольких страницах: это заставляет его думать, что эти страницы должны возвращать ошибку 404.

2. Дублированный контент

Эти ошибки связаны с процессом канонизации Google:

1. Альтернативная страница с правильным тегом canonical. Страница указала, что другая страница является каноническим URL, который должен отображаться в результатах поиска.
2. Дубликат без выбранного пользователем canonical. Google обнаружил, что эта страница является дубликатом, а так как на обнаруженной странице нет тега canonical, Google сам выбрал канонический URL.
3. Google выбрал не тот canonical, что пользователь. Хотя пользователь указал другую страницу как канонический URL, Google выбрал другую страницу для отображения в результатах поиска.

Почему Google может выбрать не тот canonical, что пользователь

Когда Google находит дубликаты страниц на сайте, он:

1. Группирует страницы в кластер.
2. Анализирует канонические сигналы страниц в кластере.
3. Выбирает канонический URL из кластера для отображения в результатах поиска.

Этот процесс называется канонизацией. Google постоянно оценивает канонические сигналы, чтобы определить, какой URL должен быть каноническим для кластера и наиболее релевантным для пользователей. Он смотрит на:

1. 3xx редиректы;
2. Включение страницы в Sitemap;
3. Сигналы тега canonical;
4. Структуру внутренних ссылок;
5. Предпочтения структуры URL.

Если страница раньше была канонической, но новые сигналы заставляют Google выбрать другой URL в кластере, то исходная страница удаляется из результатов поиска. Это может произойти, даже если вы используете тег canonical.

Поэтому важно убедиться в том, что канонические сигналы на вашем сайте согласованы для URL-адресов, которые вы хотите видеть в результатах поиска.

Подписывайтесь на наш ВК и Телеграм, чтобы узнавать последние новости SEO и подсматривать новые фишки продвижения.

3. Низкое качество страницы

Эти ошибки основаны на сигналах страниц, которые Google собирает со временем:

1. Просканировано — в настоящее время не проиндексировано. Страница была обнаружена, просканирована, но не проиндексирована, или ранее индексируемая страница сейчас удаляется из результатов поиска Google.
2. Обнаружено — в настоящее время не проиндексировано. Новая страница была обнаружена, но еще не просканирована, или Google сейчас удаляет ранее проиндексированную страницу из индекса. Нужно отметить, что этот статус может также указывать на проблемы с краулинговым бюджетом, особенно на крупных сайтах. Если сайт имеет ограниченный краулинговый бюджет, Google может отложить индексацию некоторых страниц.
3. URL-адрес неизвестен Google. Поисковик никогда не видел эту страницу или уже удалил ранее проиндексированную страницу из индекса.

Чтобы не затронуть те страницы, которые не важны для индексации, нужно разделить важные страницы на две категории:

1. Индексируемые. Важные страницы, которые могут быть проиндексированы Google, но сейчас не индексируются.
2. Неиндексируемые. Важные страницы, которые не должны быть проиндексированы (например, с ошибками 301, 404 и т.д.).

Что в итоге

Важно регулярно проверять статус индексации. Это поможет определить, к какой категории относятся неиндексированные страницы, и принять нужные меры.

Проверить статус индексации в Google или Яндекс вы можете с помощью онлайн-инструмента. Введите список URL в поле, выберите поисковую систему и запустите проверку: инструмент оценит состояние страниц и отметит галочкой проиндексированные.

Технические затруднения и проблемы с дублированным контентом, как правило, вполне решаемы. Их можно исправить с помощью стандартных методов оптимизации. Проблемы с качеством страницы требуют более глубокого анализа. Часто они сигнализируют о более серьезных проблемах с тем, насколько контент соответствует ожиданиям пользователей и поисковых систем.