Без контекста Claude менял приоритеты 8 из 10 SEO-запросов. С контекстом все три списка совпали

Что мы сделали

Объект тестирования — реальная компания-клиент digital-агенства PRAGMATIX DIGITAL. Ее услуги: монтаж заборов, ворот и навесов под ключ в Москве и Московской области, специализация на профнастиле, евроштакетнике, откатных воротах и поликарбонатных навесах.

Использовали один и тот же тестовый набор из десяти поисковых запросов, от «Установка забора под ключ цена за метр» до «Забор из сетки рабицы». Модель ИИ Claude Sonnet 5, дата теста 27 июля 2026 года, без доступа в Интернет.

Схема

6 независимых чистых чатов без общей истории, без возможности одного ответа повлиять на другой. Из них:

1. 3 чата с инструкцией без описания бизнеса;
2. 3 чата с той же инструкцией плюс короткий абзац о компании (регион, специализация, портрет целевого клиента, явное указание на нецелевой сегмент).

Дословно одинаковая формулировка задания и порядок запросов во всех шести случаях. Строгий линейный рейтинг от 1 до 10 с коротким обоснованием по каждой позиции.

Заранее, до запуска, мы отметили, какие сдвиги предсказуемы из самого текста бизнес-контекста, а какие — нет. Ожидаемо: запрос про сетку-рабицу должен уйти на дно рейтинга, потому что в описании бизнеса это направление прямо названо нецелевым. Заранее нельзя было предсказать, как поведут себя стилистические и смежные запросы. Например, горизонтальный монтаж профлиста или навес для машины.

Что получилось

Без бизнес-контекста три прогона разошлись заметно. Верх и низ таблицы совпадали во всех трех случаях: «Установка забора под ключ цена за метр» неизменно занимала первое место, «Забор из сетки рабицы» — последнее. А вот середина рейтинга гуляла в диапазоне в несколько позиций. Запрос «Забор из профнастила» получил в трех запусках 8-е, 6-е и 3-е место — разброс на пять пунктов. «Ворота с калиткой цена с установкой» — от 2-го до 5-го места. «Навес для машины из поликарбоната» — от 5-го до 9-го.

С бизнес-контекстом три прогона совпали полностью. Все десять запросов заняли одни и те же места во всех трех независимых чатах — без единого расхождения.

Сводная таблица (место в рейтинге, среднее по трем запускам):

Если сравнивать средние значения между двумя условиями, среднее место изменилось у 8 из 10 запросов. Но у большинства сдвиг составил меньше одного пункта. Заметно меньше, чем разброс в 4–5 позиций, который те же запросы показывали просто между тремя прогонами без всякого контекста.

Порога в две позиции достиг только один запрос — навес для машины (с 7,0 до 5,0). Формулировку «контекст переставил шесть из десяти запросов» мы сознательно не используем: она была верна для первого, методологически слабого сравнения (два прогона в одном чате) и не подтвердилась на независимых данных.

В этом тесте после добавления бизнес-контекста разброс исчез: три независимых рейтинга совпали полностью. Это наблюдение в пределах шести прогонов, а не доказанная причинно-следственная связь. Для такого вывода нужно было бы больше повторов и несколько разных вариантов бизнес-контекста, а не один.

Важно разделить два разных утверждения — устойчивость и качество. Совпадение рейтингов и близкая аргументация показывают, что в трех прогонах модель пришла к одной и той же очередности запросов.

Это не доказательство одинакового внутреннего процесса модели, доступны только ответы и объяснения к ним. И тем более это не доказывает, что выбранная очередность страниц действительно верна для бизнеса. По одному такому совпадению нельзя понять, получили мы обоснованный приоритет или один из возможных вариантов модели, которому в этот раз просто не с чем было разойтись.

Обоснования, которые Claude давал каждому месту, тоже отличались между условиями. С контекстом аргументация всех трех прогонов почти дословно повторяла одну и ту же логику: запросы с прямым указанием на монтаж и цену выше, запросы без сервисных маркеров или явно вне специализации компании (например, деревянный штакетник — компания работает с евроштакетником, а не с классическим деревом) ниже, а сетка-рабица — вне обсуждения, потому что прямо исключена. Без контекста модель тоже объясняла выбор коммерческими маркерами, но по-разному расставляла вес между частотностью запроса, ценой и остротой конкуренции — отсюда и разброс.

Рекомендации от PRAGMATIX DIGITAL

Два практических правила, которые следуют из этого теста, без обобщения на все ниши и модели:

1️⃣ Не использовать единственный ответ Claude как готовую очередность страниц. Один прогон — это точка в диапазоне, а не результат. В одном запуске специалист мог получить «Забор из профнастила» на 3-м месте, а в другом — на 8-м, хотя промпт оставался прежним.

2️⃣Передавать модели критерии бизнеса и проверять рейтинг в нескольких независимых чатах. Если ответы расходятся, стоит проверить полноту вводных и не принимать один из вариантов за готовое решение. Расхождение может быть связано как с недостатком контекста, так и с вероятностным характером генерации самой модели.

Ограничения теста

Это наблюдение по одному тестовому набору из десяти запросов и одной нише, а не статистическое доказательство закономерности для всех моделей и всех тематик. Три повтора на условие — минимальная проверка устойчивости. Она показывает, что разброс существует и что он исчез при добавлении контекста именно в этом случае, но не дает оценить вероятность случайного совпадения.

«Место в рейтинге» здесь — это позиция в текстовом ответе модели, а не позиция сайта в поисковой выдаче Яндекса или Google. Прямой связи между приоритетом Claude и будущими позициями в поиске это исследование не проверяет.

Часть предсказуемых сдвигов — прямое следствие вводных. Снижение сетки-рабицы было ожидаемо, поскольку сегмент прямо назван нецелевым в самом промпте. Это корректная обработка явно сформулированного условия.