редакции
Подозрительный рост посещаемости сайта: как защититься от ботов
Иногда владельцы сайтов встречаются с неожиданным всплеском посещений на ресурсе. Причиной такой активности могут быть боты.
Боты — программы, которые выполняют простые действия на сайтах и повторяют их очень быстро: гораздо быстрее, чем это делал бы человек.
Более известны поисковые боты: они изучают веб-страницы и вносят их в поисковую выдачу. Другие — например, боты сервисов SEO-анализа — направлены на изучение проектов заказчика или конкурента. Из-за их работы сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.
В статье рассказываем о том, как поисковые роботы создают всплеск фейковой посещаемости сайта и высокую нагрузку на сервер.
Как узнать, индексируются ли страницы поисковиками
Для начала работы с контролем посещения ресурса стоит узнать, какие страницы сейчас находятся в поиске. Легкий и удобный способ проверки — с помощью сервисов самих поисковых систем Яндекс и Google.
В Яндекс.Вебмастере раскройте раздел «Индексирование» (1) и перейдите в «Проверить статус URL» (2). Введите адрес страницы (3) и нажмите «Проверить». После отображения результатов вы можете раскрыть их с помощью кнопки «Подробнее» и убедиться в том, что страница индексируется Яндексом. Для проверки страницы в Google перейдите в Google Search Console. Нажмите «Проверка URL» (1) и введите адрес страницы в поле (2). Результат будет показан на экране: Владельцам сайтов хорошо известны поисковые боты, однако не все они полезны. Их могут использовать во вред. Например, для сбора e-mail, искусственного всплеска посещения сайта, распространения вредоносного ПО и много другого. Сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки. Зачастую «плохих» ботов непросто вычислить: они притворяются обычными пользователями, а в аналитике могут быть помечены как трафик с нормального сайта. На самом деле из-за посещения ботов происходит всплеск активности, который перегружает сервер и сайт перестает работать. Полный список ботов представлен международной библиотекой — ABC International Spiders and Bots List. Расскажем о часто встречающихся. SEMrushBot — бот аналитического сервиса semrush.com, предназначенный для обнаружения и сбора новых и обновленных веб-данных, а именно — для SEO-анализа сайта. Такие данные помогают найти технические проблему, улучшить удобство использования ресурса, отслеживать потенциально опасные обратные ссылки и многое другое. Он позволяет получить отчет SEO-параметров для вашего ресурса. Однако когда ваш сайт исследуют конкуренты, это отрицательно повлияет на бизнес. Бот сканирует сайт — одновременно посещает несколько веб-страниц, тем самым перегружает сервер и создает неудобства настоящим пользователям. DotBot — поисковый бот. Как и SEMrush, он предназначен для задач SEO. Бот собирает информацию и создает базу обратных ссылок на ресурсы сети. Отличается огромным «аппетитом» — создает большую нагрузку на сайт. AhrefsBot — бот аналитического сервиса ahrefs.com, который исследует внешние факторы онлайн-ресурсов. Он создает большую нагрузку на сервер во время поиска на веб-страницах ссылок на другие сайты. BLEXBot похож на ботов поисковых систем. Он посещает страницы и анализирует их содержание. BLEXBot помогает получить информацию о структуре ссылок на сайтах и их взаимосвязи в сети, чтобы исключить любые технические и юридические проблемы. Для этого бот сканирует страницы, собирает и проверяет все ссылки, которые есть в их содержании. Ботов — огромное количество, однако не стоит блокировать все известные. В этом случае появится вероятность перегрузить сервер, так как он будет проверять каждого нового пользователя на принадлежность боту. Рекомендуем блокировать только наиболее встречающихся, чтобы сайт работал в обычном режиме. Например, очистите трафик от SEMrush.
На хостинге отфильтровать посещения сайта от ботов можно с помощью внесения правок в «robots.txt» или «.htaccess». Следуйте нашим инструкциям Справочного центра: Если появятся вопросы, поможем по любому из способов связи: онлайн-чат на сайте, через личный кабинет, по почте support@reddock.ru. Тема ботов интересна и часто поднимается на самых разных ресурсах. Делимся самыми увлекательными. Желаем всем высокого трафика на проект без ботов! Статья подготовлена Reddock — хостинг для 1С-Битрикс.
Чем отличаются «плохие» поисковые боты
Как бороться с ботами
Что почитать о поисковых ботах
