Есть ли жизнь после отключения Яндекс XML? Рассказываем, как SEO-специалистам работать с 1 октября 2023 года

Что было: за что мы любили (и иногда ругали) Яндекс XML?

Яндекс XML позволял парсить поисковую выдачу в несколько потоков. Он давал вебмастерам доступ к трем видам поиска: русскому, турецкому и мировому. Сервис любили за высокую скорость и низкие цены.

Но, кончено, работал неидеально. Бывали случаи, когда информация Яндекс XML не соответствовала прямой выдаче. Сервис не показывал колдунщики, рекламу над и под выдачей, нулевые позиции и другие элементы. Поэтому оценить ТОП и потенциальный трафик было сложно, так как первая позиция в реальности могла находиться на втором или даже третьем экране и практически не получать переходов.

При прямом парсинге такой проблемы нет. Данные отображаются именно так, как пользователь видит их в своем браузере: со всей рекламой, колдунщиками, расширенными сниппетами.

Но этот способ дорогой и хорошо работает при небольших объемах семантики. Ведь парсеры требуют огромных вычислительных ресурсов и специалистов, которые будут постоянно следить за их работоспособностью.

Через Яндекс XML мы одним запросом получали 1000 результатов выдачи, а при живом парсинге — максимум 10. То есть чтобы получить 1000, потребуется сделать 100 запросов.

Из-за скорости и низкой стоимости Яндекс XML использовали многие популярные программы. Вот только некоторые:

• Key Collector — утилита для съема позиций, сбора семантики и других ключевых целей. Стоимость от 1400 ₽.
• KeyAssort — ПО для работы с семантическим ядром, группировки и кластеризации выдачи. Стоимость от 1990 ₽, но есть демо-доступ.
• Zennoposter — профессиональный инструмент автоматизации и парсинга. Позволяет легко определять витальные запросы. Стоимость 3470 ₽.
• Serphunt.ru — сервис, позволяющий в счет переданных ему лимитов бесплатно проверять позиции своего сайта. Стоимость от 500 ₽
• Другие сервисы, например, Топвизор, Tools PixelPlus, JustMagic.

Как теперь будут работать все эти инструменты — пока вопрос. Скорее всего, доступы станут дороже, потому что альтернатива, которую предлагает Яндекс, будет дороже XML.

Что будет: какую замену Яндекс XML приготовили разработчики?

Вместо Яндекс XML разработчики предлагают работать с Yandex Search API. Описание нового сервиса звучит заманчиво:

• не нужно регистрировать свои сайты в Вебмастере;
• можно ставить любые лимиты запросов в PAYG, нет ограничений по объёму трафика с сайтов из Вебмастера;
• подключен облачный биллинг и мониторинг;
• гибкая настройка IP из консоли управления;
• различные уровни технической поддержки.

Но есть одно большое «НО». Стоит это удовольствие ну очень дорого. Лимиты, в частности, будут доступны, но в рамках Яндекс-облака и почти 100 раз дороже, чем было.

Вот прайс от разработчиков.

1000 бесплатных запросов в месяц доступны всем в ночные часы по часовому поясу UTC+3. За каждую 1000 сверху придется заплатить.

Еще одна проблема — лимит 30 000 запросов в месяц для новых пользователей, причем в день можно сделать не больше 1000 запросов. Это очень мало для агентств и фрилансеров, у которых несколько клиентов или один большой проект.

«Например, у SEO-специалистов KINETICA несколько десятков проектов на продвижении. Каждый день мы снимаем от 10 000 до 100 000 ключей. Теперь это будет стоить ~50 000 ₽. Раньше аналогичный объем обходился в ~500 ₽. Как говорится, почувствуйте разницу!»

Екатерина Ленева, SEO-аналитик

Чем сердце успокоится: как будем работать после первого октября

Во-первых, Яндекс обещает оптовые скидки крупным закупщикам типа XMLRiver. Конечно, сервисы сделают свою наценку. И парсинг станет чуть дороже. Но не кратно.

Во-вторых, есть свои наработки и сервисы, а из публичного есть инструменты типа A-Parser, чтобы парсить выдачу массово и напрямую, не используя сервисы Яндекса.

«Кроме того, советую присмотреться к новым инструментам в Метрике и Вебмастере — отчетам и мониторингу запросов. Они дают подробную информацию о позициях сайтов в поисковой выдаче и помогают определить, какие действия можно предпринять для улучшения показателей».

Екатерина Ленева, SEO-аналитик

Расскажу подробнее о новых инструментах.

Отчет «Средние показатели по рынку». Это новый инструмент, пока доступен только в бета-версии. Он помогает оценить, как сайт выглядит в сравнении с рынком и принимать наиболее эффективные решения по SEO и маркетингу в целом.

В отчете «Возвращаемость» можно увидеть, сколько пользователей повторно заходят на сайт. В отчете «Вовлеченность» — среднюю длительность пребывания на сайте, глубину просмотров и отказы. Отчет «Динамика трафика» показываем скорость роста посещаемости по сравнению с рынком.

Инструмент в целом полезный, но есть пара нюансов. Сайты подбираются на основе поведения пользователей, региона, тематики и размера, все данные усредненные. Поэтому добавить конкурентов или исключить какие-то конкретные сайты нельзя. Также нет возможности установить определенные период. Информация обновляется раз в месяц.

В статистику отчетов попадают только те сайты, которые подключили опцию «Получать доступ к отчетам по рынку». А значит, данные неполные.

Но есть шанс, что инструмент доработают. По крайней мере, уже сейчас можно отправить через форму обратной связи список конкурентов. Это позволит алгоритму точнее определять похожие сайты.

Мониторинг запросов в Вебмастере. Этот инструмент помогает решать сразу несколько задач:

• следить за динамикой сайта в поиске;
• анализировать причины изменения трафика;
• составлять группы запросов для длительного анализа семантики;
• узнавать, по каким поисковым запросам из сотен тысяч сайт уже отображается в результатах выдачи. Срок хранения данных — 14 дней.

В мониторинге есть стандартные показатели: клики, CTR, показы, позиция, а также новый параметр — спрос. Эта метрика показывает, как часто пользователи Яндекса задают запрос и находят ответ на первой странице выдачи.

Так же как и отчеты, мониторинг пока находится на стадии тестирования.

Подытожим

Новость об отключении Яндекс XML стала шагом в сторону изменения формата работы и оплаты, который может вызвать рост цен на поисковое продвижение, потому что команды и фрилансеры будут перекладывать издержки на клиента.

Повторю несколько важных рекомендаций:

• используйте текущие инструменты для мониторинга позиций, чтобы вся история сохранилась и альтернативы для парсинга конкурентов и парсинга по черновой работе;
• посмотрите новые инструменты Яндекса в Метрике и Вебмастере — хотя они еще на стадии тестирования, там много полезного для развития стратегии SEO;
• обсудите с клиентами изменения и предложите альтернативные решения для мониторинга позиций и продвижения сайтов, если для вас это актуально.

А если у вас есть вопросы по продвижению, пишите нам в Телеграм. Обсудим ваш проект.