Лучшие статьи и кейсы стартапов
Включить уведомления
Дадим сигнал, когда появится
что-то суперстоящее.
Спасибо, не надо
Главное Свежее   Проекты

Ян Черняев

Подписаться Написать
25 мая 2017 в 19:48
Подробная информация
Комментарии
0
"Необходимо убедиться, что в robots.txt закрыты от индексации серверные логи, админ-панель сайта..." - 2016-й уже на дворе, а этот совет как кочевал по рунету, так и продолжает. Итак, вдумайтесь: с помощью файла, местоположение которого известно (и основным назначением которого является собственно корректировка поведения поискового робота для лучшей индексации) вы советуете указывать те разделы, не индексировать которые требуется потому что там приватная информация. Админ-панель, какие-либо логи (оспади, откуда логи в открытом доступе?) и всё-всё-всё скрывается от поисковика не через robots.txt (т.е. прямое указание "ты сюда не ходи, ты туда ходи"), а как раз отсутствием этих URL через запрет индексации с помощью заголовков - т.е. если поисковик "случайно" забредает по этому URL (обычно в результате включенных по умолчанию опций "проверять адреса на фишинг" и т.п.) - заголовок ему сразу говорит "Уважаемый, забудьте что вы здесь видели"). В итоге у хорошего с т.з. безопасности сайта в принципе непонятно куда идти, чтобы увидеть админ-панель.
8 Апреля 2016