GPTBot, ClaudeBot и другие: пускать ли ИИ-краулеры на свой сайт
У сайтов появилась новая категория посетителей, о которой большинство владельцев даже не догадывается — ИИ-боты: краулеры OpenAI, Anthropic, ByteDance и других ИИ-компаний. В Яндекс Метрике и Google Analytics их не видно: счётчики фиксируют тех, кто исполняет JavaScript, а роботы просто скачивают страницы.