Дроп домены: готовый парсер дроп-доменов для построения сеток PBN

Только ленивый в 2021 году не создает PBN-сетки для своих проектов или не заказывает их на аутсорсе. Для тех, кто что-то слышал о PBN, но так и не понял, что это такое, мы дадим объяснение в две строчки. PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. Для поиска стоящего дропа нужно перелопатить огромные объемы информации или же платить большие суммы на аукционах.

Вариантов поиска дропов много, один из самых простых — пресет, который мы создали под эту задачу, состоящий из последовательной работы нескольких парсеров. Пресет делает 80% работы по поиску дропа за вас. Схема его работы не нова, но у нашего решения есть преимущества — максимальная автоматизация и колоссальная производительность, что позволяет парсить миллионы доменов.

Теперь о концепции поиска дропов с использованием A-Parser на конкретном примере.

Парсинг поис

Парсинг поисковых запросов

Для демонстрации работы пресета мы подготовили документ с размноженными поисковыми запросами. Были собраны областные центры России и Украины и сгенерировали документ с 1303 запросами (запросы по типу «недвижимость москва», «недвижимость киев»). В пресете мы используем встроенный парсер Rank::Bukvarix::Keyword для сбора поисковых запросов, также можно использовать любой другой подход к получению поисковых запросов, например, парсить их с помощью SE::Google::KeywordPlanner или SE::Yandex::WordStat. В результате мы получили 133 514 ключей за 1 минуту в нашей нише, а именно недвижимость по России и Украине. Объем запросов легко можно увеличить, но для демонстрации возможностей пресета этого достаточно. Полученные поисковые запросы передаются в следующий парсер.

Парсинг выдачи

Используя встроенный парсер SE::Google, мы парсим результаты поисковой выдачи на глубину в 10 страниц по 100 ссылок в каждой. Глубину парсинга можно указать больше если результатов будет недостаточно. Полученные результаты сразу чистятся, убираются дубликаты и приводятся к домену, а затем передаются в следующий парсер. На скриншоте представлена информация о работе парсера. За 4 часа было получено 156 972 уникальных домена.

Резолвинг базы доменов

Используя встроенный парсер Net::DNS, получаем доменов. В результате нам нужны те домены, которые не имеют IP. Это значит, что у них какие-то проблемы на сервере или хостинге либо они недавно дропнулись. Данный парсер ускорит работу следующего парсера (Whois), так как быстро переберет все домены, оставив только те, у которых отсутствует IP, и этот результат передаст в следующий парсер. В итоге, парсер прошелся по списку из 156 972 доменов за 18 минут, и у нас осталось 910 результатов.

Получаем данные о занятости

По оставшимся доменам мы проходим встроенным парсером Whois(Net::Whois) и фильтруем результаты, оставив только домены с истекшим сроком регистрации. В итоге мы получили 208 дропнутых доменов, парсинг занял чуть больше минуты.

Пример полученных результатов:

inveniotravelgroup.ch

nos5sens.ch

zdoroves.ru

azovinform.zp.ua

megazastroykino.ru

kangaroo-web.ru

pkcklimat.ru

footgames.ru

real-estate.by

artes-spb.ru

airbnb.com.my

dahan.edu.tw

derzhizaim.online

dou44-spb.ru

tonol.ru

orlov-invest.ru

custom4×4.ru

casejeans.ru

altainedvig.ru

futurerussia.gov.ru

ml-lefortovo.ru

yulado.org

tambov.gov.ru

atele78.ru

isn64.ru

adtju.top

l-price.ru

yuvelir-print.ru

trole.pw

fso.gov.ru

Парсинг SEO метрик

Один из важнейших моментов в поиске хорошего дроп-домена — это оценка показателей множества метрик из различных сервисов. В этом блоке парсинга мы постарались охватить параметры, которые помогут подобрать дроп-домены как для СНГ, так и для буржа. Также данный парсер фильтрует результат по двум параметрам DR и количество обратных ссылок по Ahrefs, если DR>2 и количество беклинков > 10 то данный домен попадает в результат. В итоге у нас получилось 45 доменов. Собственно, вот перечень метрик:

Данные из Rank::Ahrefs. Для парсинга нужна рекапча:

1. DR
2. Количество ссылающихся доменов RD
3. Количество бэклинков Ahrefs BL
4. Анкоры
5. Dofollow

Данные с Rank::MajesticSEO:

1. Анкоры
2. Trust Flow
3. Citation Flow
4. Количество ссылающихся доменов
5. Количество бэклинков
6. Количество проиндексированных страниц

Данные из Rank::Archive:

1. Количество сохраненных копий сайта

Данные с MegaIndex

1. определение категории (тематика) сайта

Данные из Гугл:

1. значение количества найденных результатов ( site:domain.com)

Результат выводится в структурированный csv-документ — это первый файл с результатами, в котором удобно будет делать предварительную оценку дропов. Ссылка на файл с результатами

Количество метрик можно сделать практически любым, так как у нас много встроенных парсеров основных SEO-сервисов, а если нужно, то можно настроить и те, которых нет в нашем каталоге. На скриншоте часть полученных результатов.

И конечно же, чтобы подобрать дроп-домен и быть уверенным в его качестве, нужно оценить его обратные ссылки. Для этого А-Парсер собирает бэклинки по финальному списку доменов (полученном после парсинга Whois) из сервиса Ahrefs, используя встроенный парсер Rank::Ahrefs, и выводит эти результаты во второй csv-файл, вот ссылка на него. Теперь вам осталось только сделать финальную чистку и оставить подходящие вашим требованиям дроп-домены. На скриншоте часть полученных результатов.

В данной статье мы показали по отдельности все этапы парсинга дроп-доменов, но для удобства использования они объединены в один пресет. Вам только нужно указать файл с ключами и дождаться результата в виде двух файлов. В первом будут дроп-домены с необходимым набором метрик, а во втором — бэклинки по этим дропам.