Разоблачение ИИ-детекторов

Сегодня мы проведём небольшое исследование и докажем обратное — что всё не так страшно, как кажется, и даже наоборот.

Методология исследования

Для объективного анализа мы решили рассмотреть 10 разных ниш бизнеса и 10 городов, чтобы увидеть, как ИИ-детекторы реагируют на тексты из разных тематик, регионов и стилей подачи на сайтах, которые уже в ТОП 10.

Выбранные ниши для анализа текстов:

1. Косметика и уход за кожей
2. Фитнес, здоровье
3. Образовательные услуги и онлайн-курсы
4. Электронная коммерция и нишевые онлайн-магазины
5. Технологии, программное обеспечение и ИТ-услуги
6. Туризм
7. Рестораны, кейтеринг, доставка еды
8. Ремонт, строительство, дизайн интерьера и архитектура
9. Юридические, финансовые услуги и страхование
10. Медицина, стоматология

Города для анализа:

1. Москва
2. Санкт-Петербург
3. Казань
4. Екатеринбург
5. Новосибирск
6. Ростов-на-Дону
7. Владивосток
8. Сочи
9. Нижний Новгород
10. Краснодар

Сайты о натуральной косметике (Москва)

Для начала я взяла первую нишу — натуральная косметика и уход за кожей.Анализ проводился по сайтам, находящимся в топ-10 выдачи Яндекса и Google по тематическим запросам, связанным с покупкой и описанием эко-косметики в Москве.Главное условие — на странице должны присутствовать хотя бы какие-то текстовые описания, а не только карточки товаров.

Результаты оказались показательно противоречивыми.На одних сайтах детекторы уверенно «определили» до 70% сгенерированного текста, при этом страницы стабильно держались в верхних позициях поиска.На других — при минимальных признаках ИИ-контента (0–5%) — результаты ранжирования были такими же.

Иногда детектор «ругается» на вполне живые, естественные тексты, а иногда наоборот — без проблем пропускает выверенные, но явно машинные описания.

Уже на первом этапе становится очевидно: ИИ-детекторы не могут объективно определить происхождение текста, а тем более — не влияют на видимость сайта в поиске.

Фитнес и здоровье (Санкт-Петербург)

Следующим направлением для анализа стала сфера фитнеса и здоровья, где тексты обычно наполнены мотивацией, энергией и позитивными формулировками.Для выборки были взяты сайты из топ-10 по Санкт-Петербургу — студии, тренажёрные залы.

Результаты проверки: 48%, 24%, 18%, 44% и 50% в зависимости от детектора.

При этом все анализируемые сайты имеют стабильный трафик и хорошие позиции в поисковой выдаче.

Эта ниша особенно показательная, потому что фитнес-контент часто выглядит «слишком правильным» — короткие фразы, позитивные формулировки, структурированные советы. Именно такой стиль алгоритмы нередко ошибочно принимают за машинный.

Образовательные услуги и онлайн-курсы (Казань)

Далее в анализ попала сфера образовательных услуг и онлайн-обучения.Для выборки я взяла сайты из топ-10 по Казани — языковые школы, курсы программирования, мастер-классы и платформы дистанционного обучения.

Результаты проверки: 66%, 4%, 7%, 9% и 42%.Разброс настолько велик, что говорить о какой-либо стабильности определений просто невозможно.

Интересно, что именно образовательные тексты часто пишутся с четкой структурой — логичными абзацами, нейтральной лексикой, выверенными формулировками. Если в коммерческих нишах им мешают эмоции и маркетинговый стиль, то в образовательных — наоборот, слишком правильная структура.

Электронная коммерция и нишевые онлайн-магазины

Результаты проверки снова показали отсутствие какой-либо системности: 59%, 47%, 43%, 8% и 20%.

Такая ситуация особенно показательная именно для e-commerce.

Большинство текстов здесь — это описания товаров, категорий и SEO-блоки, где язык обычно лаконичен, без лишней эмоциональности.

Алгоритмы детекторов воспринимают подобный формат как «неестественный» просто потому, что он информативен и структурирован.

При этом в поисковой выдаче такие страницы занимают высокие позиции и работают на привлечение трафика не хуже, чем любые другие.

Технологические компании, программное обеспечение и ИТ-услуги

Для анализа были выбраны сайты из топ-10 по Новосибирску — студии разработки, интеграторы решений, а также сервисы, предлагающие цифровые продукты для бизнеса.

Результаты проверки: 0%, 22%, 18%, 32% и 41%.

Здесь процент чуть ниже, на мой взгляд это обусловлено близостью данной сфере со знаниями SEO и более серьезной проработкой контента.

Туризм (Ростов-на-Дону)

Далее в анализ попала сфера туризма — отели, туроператоры, локальные экскурсии и сервисы отдыха в Ростове-на-Дону.Для исследования были выбраны сайты из топ-10 поисковой выдачи, где на страницах присутствовали описания направлений, услуг и предложений для путешественников.

Результаты проверки: 37%, 82%, 4%, 29% и 0%.Скажу сразу найти сайты с хорошим описанием в этой нише та еще задача)

Туристические тексты по своей природе эмоциональны, наполнены описаниями впечатлений, атмосферными фразами и живыми деталями.

Рестораны, кейтеринг и доставка еды (Владивосток)

Следующий этап анализа — сфера ресторанного бизнеса, кейтеринга и доставки еды.

Результаты проверки: 58%, 15%, 33%, 11% и 34%.

Разница в показателях между сайтами остается заметной — от почти «чисто человеческих» текстов до тех, что программы уверенно относят к сгенерированным.

Ремонт, строительство, дизайн интерьера и архитектура (Сочи)

Далее в исследовании — сфера ремонта, строительства и дизайна интерьеров, а также архитектурные услуги.

Результаты проверки: 29%, 23%, 38%, 46% и 77%.Разница между показателями — почти в три раза, при том что все тексты принадлежат к одной тематике и написаны в похожем стиле.Это в очередной раз подтверждает — детекторы не оценивают реальное качество текста, а лишь реагируют на особенности стилистики.

Юридические, финансовые услуги и страхование (Нижний Новгород)

Результаты распределились следующим образом: 4%, 17%, 75%, 59% и 14%.Разброс значительный, а закономерностей вновь не прослеживается.

Все рассмотренные сайты имеют одно общее — хорошая развернутая структура, блог. Возможно следы накрутки.

Медицина и стоматология (Краснодар)

На заключительном этапе исследования рассматривалась сфера медицины и стоматологических услуг.Главная особенность этой ниши — высокий уровень экспертности и доверия, который должен транслировать контент. Тексты здесь в основном информативные, точные, выверенные, с минимальным количеством эмоциональных фраз и максимумом конкретики.Они описывают услуги, преимущества специалистов, лицензии, технологии лечения и реальные результаты.В медицинской тематике особенно хорошо работают страницы, где есть:

1. четкие описания услуг и процедур;
2. реальные данные о специалистах и лицензиях;
3. структурированные блоки с ответами на частые вопросы;
4. правильное оформление заголовков и подзаголовков.

Иными словами, в этой нише текст — не просто элемент оформления, а стратегический инструмент продвижения. Результаты проверки: 45%, 18%, 22%, 3% и 52%.

Личное наблюдение

Для чистоты эксперимента я решила проверить свой собственный текст, написанный ещё в марте 2020 года — то есть пять лет назад, в то время, когда об ИИ и ChatGPT ещё никто не говорил, и подобных инструментов попросту не существовало в массовом использовании. Текст создавался полностью вручную, в естественном рабочем процессе — без каких-либо технологий генерации. Однако результаты оказались, мягко говоря, удивительными: один сервис определил, что текст «человеческий» только на 67%, другой посчитал, что 15% текста — сгенерировано, а некоторые показали вообще противоположные значения.

И вот главный вывод

Они оценивают не смысл и не происхождение текста, а стиль, структуру предложений и частотность слов. И если даже текст, написанный задолго до появления нейросетей, может быть признан «частично сгенерированным», — это говорит лишь об одном: такие инструменты не способны объективно определить, кто автор — человек или машина.

Наше исследование это подтверждает.

Во всех рассмотренных нишах — от косметики и фитнеса до медицины и юриспруденции — результаты ИИ-детекторов хаотичны и непоследовательны. Они не связаны ни с позициями сайта в поиске, ни с качеством контента, ни с его ценностью для пользователя. Поисковые системы сегодня оценивают полезность, авторство, экспертность и достоверность. Вот что действительно имеет значение — а не проценты, выданные алгоритмами, которые сами не до конца понимают, что измеряют. И если коротко: детекторы ИИ — это не инструмент анализа, а иллюзия контроля.

Главное, как и раньше, — писать тексты для людей, а не для машин.

В рамках этого исследования я также подготовила сводную таблицу с процентами по всем нишам и городам — для тех, кто хочет подробно рассмотреть результаты и сравнить данные между нишами.

Примечание, а самым критичным детектором мне показался https://retext.ai/ru/ai-detector. Он ругался даже написанные в ручную тексты. Иногда им пользуюсь, но не нужно верить на 100%. Как вариант более лояльный https://aidetectorwriter.com/ru/.