Статья для тех, кто ни разу не считал краулинговый бюджет и не представляет, как это делается и для чего. Мы расскажем и покажем тонкости расчета и на примере нашего сайта, а также объясним, в каком случае следует бить тревогу.
Краулинговый бюджет (Crawl Budget) — это количество страниц сайта, которое сканирует краулер поисковых систем. После сканирования страницы, релевантные, по мнению бота, запросам пользователей, индексируются. И только после этого сайт попадает в органическую выдачу.
Напрямую краулинговый бюджет не влияет на ранжирование, однако он все равно важен для продвижения. Если на сайте много страниц, не факт, что бот их проиндексирует все — он может проиндексировать ошибочные, а на важные не хватит времени и бюджета.
Краулингового бюджета не хватает в нескольких случаях:
если на сайте есть технические ошибки — их обязательно следует исправить, чтобы увеличить бюджет сканирования;
если робот тратит объем сканирования на ненужные разделы, а важные пропускает. Важная страница останется без сканирования и не попадет даже на сотую позицию выдачи;
если на сайте заброшенный и нерелевантный контент. Из-за того, что сайт не обновляет информацию, боты будут реже его посещать, и краулинговый бюджет снизится.
С ситуацией нехватки бюджета может столкнуться как крупный, так и маленький сайт. Мы выявляем это на аудите.
На сканирование всем сайтам, в зависимости от их размера, выделяется разный бюджет. Небольшому — до 1 000 страниц, вероятнее всего, будет выделен меньший бюджет, нежели крупному сайту.
Чаще всего того минимума бюджета, что выделяется изначально, небольшому сайту хватает для хорошей индексации. Это значит, что все нужные страницы индексируются и присутствуют в поиске. А большому сайту вполне может потребоваться увеличение бюджета.
Сайты с историей меняют свой краулинговый бюджет при каждом сканировании, которое происходит ежедневно. На рост показателя влияют PageRank, поведенческие факторы и возраст ресурса.
В статье расскажем и покажем на примере нашего сайта, как определить уровень краулингового бюджета, какими сервисами для этого пользуемся мы. Это поможет проанализировать достаточность краулингового бюджета, сделать вывод о наличии ошибок и перейти к их дальнейшему анализу и исправлению. Поехали!
Шаг 1. Определите количество страниц, которое должно быть в индексе
Страницы, которые должны быть в индексе, мы определяем в ScreamingFrog. Сервис видит, какие страницы уже просканированы — это и будет искомый показатель. По нашему сайту количество таких страниц составляет 150.