Парсинг бесплатно: 30 программ, сервисов и фреймворков

Парсинг — это автоматизированный сбор данных в интернете. Применяется для сбора информации о ценах конкурентов, файлов, SEO данных, описаний товаров, контактов, пользовательских рейтингах и отзывов, для других задач, когда нужно получить значительный объем информации, который невозможно собрать руками или ручная обработка будет слишком трудозатратна. При этом, часто у начинающих компаний нет лишних средств на подобные инструменты и решением проблемы может стать самостоятельное изучение инструментов для парсинга, которые можно использовать бесплатно.

Для начала, посмотрим, какие бывают инструменты для парсинга, условно разделим на две части. Первая — это разработка программы парсера. Такие программы пишут программисты, на различных языках программирования — Python, Java, JavaScript. Подход позволяет создать любую логику скрипта и в конечном итоге гарантированно решит задачу, но требует времени и средств на создание и поддержание парсера.

Вторая — обычные пользователи, которым приходится выбирать из множества готовых решений, в которых реализован набор возможностей, с одной стороны такой подход быстр и практичен, но если возможностей сервиса вам не хватит, то придется искать другое решение, это приводит к трате времени на изучение нескольких инструментов без гарантии, что вы в конечном итоге решите задачу.

Программы для парсинга

Десктоп программы подойдут, если вам нужно не сложное решение с возможностью быстрого старта и не требующее знаний программирования. Возможности и специализация программ отличаются, а так же ограничены мощностью вашего компьютера, в целом программы для парсинга — отличное решение для простых задач.

1. Screaming Frog SEO Spider

Screaming Frog SEO Spider — известная программа, специализирующаяся на работе с SEO данными, имеет широчайший функционал для аудита сайтов и парсинга данных, перечисление всех возможностей программы займет много времени, в нашем обзоре рассмотрим основные возможности программы. При первом взгляде интерфейс программы кажется, но через некоторое время понимаешь, что интерфейс структурирован, вкладки организованны для быстрого доступа к важной информации и в целом работа удобна.

Ограничения в бесплатной версии:

1. Отслеживание нерабочих ссылок;
2. Сбор заголовков и метаданных;
3. Аудит href;
4. Нахождение дубликатов страниц;
5. Работа с robot.txt;
6. 500 адресов на сайт;
7. Работа с Sitemap.

Программа имеет хорошую документацию, много обучающих уроков, на нее написано много обзоров, освоить программу при желании будет не сложно.

Полная версия программы позволит парсить не только SEO информацию, но и любую нужную вам, с помощью язык запросов XPath.

Возможности программы:

• Быстрая работа;
• Аудит сайта среднего размера;
• Подробная документация и уроки.

Доступные ОС:

• Windows;
• MacOS;
• Ubuntu.

2. Easy Web Extract

Easy Web Extract позволяет собирать данные с простых html сайтов и сайтов с динамически подгружаемым содержимым. Для использования программы не нужны знания программирования, работа ведется через мастер, который пошагово поможет организовать настройку шаблона для парсинга. Для того, чтобы быстро освоить программа предлагает базу знаний и видео уроки.

Особенность — вы можете задать автоматический поиск нужных вам товаров на стадии настройки и собирать только нужные данные. Другая особенность Easy Web Extract — возможность многопоточного сбора, это позволит экономить время выполнения парсинга, но будте аккуратны при многопоточном сканировании, целевой сайт может блокировать ваш ip из-за подозрительной активности.

В Easy Web Extract есть возможность парсинга динамически загружаемых данных, при тестировании программа справилась не со всеми сайтами, проверьте эту возможность на нужном вам сайте.

Ограничения в бесплатной версии:

• 14 дней;
• Парсинг первых 200 результатов;
• Экспорт первых 50 результатов.

Таким образом, не смотря на все возможности в бесплатной версии программа подойдет для парсинга небольшого объема информации, если это ваш вариант, то она станет отличным выбором.

Возможности:

• Многопоточность;
• Работа с поиском;
• Сохранение шаблонов;
• Работа с динамическими данными;
• Видео-уроки.

Доступные ОС:

1. Windows.

3. FMiner

FMiner — программа для парсинга сайтов, с визуальной настройкой, не требует знания языков программирования, она записывает ваши действия создавая таким образом сценарии, которые вы можете редактировать, сохранять и воспроизводить в последующем.

Программа понимает динамически загружаемые данные, например AJAX, поддерживает многопоточность, предоставляет возможность работать с результатами поиска и экспортирует данные в несколько выходных форматов.

Для быстрого старта есть видео-уроки и мануалы, есть раздел с документацией, рассказывающий в краткой форме возможности и основы работы с программой.

Ограничения в бесплатной версии:

1. 14 дней;

Возможности:

1. Визуальная настройка парсинга;
2. Многопоточность;
3. Работа с результатами поиска;
4. Работа с динамическими данными;
5. Видео-уроки.

Доступные ОС:

1. Windows;
2. Mac OSX.

4. Helium scraper

Helium scraper — программа для парсинга данных с сайтов. Принцип работы с программой похож на работу с рассмотренной выше программой, с отличием — вместо визуального представления действий программа показывает код. Интерфейс у программы не самый дружелюбный для неподготовленного пользователя, но программа имеет базу знаний и видео-уроки, которые помогут освоить принципы работы.

Функциональность программы имеет ряд особенностей по отношению к рассмотренным выше. Одна из ключевых — это возможность собирать большие базы данных, до 140 Терабайт, если ваша задача подразумевает сбор большого объема информации, то стоит обратить внимание на Helium scraper. Так же программа может работать через API, вы можете интегрировать запросы к целевым сайтам в свой проект.

Ограничения в бесплатной версии:

• 10 дней, без функциональных ограничений;

Возможности:

• Визуальное программирование;
• Многопоточность;
• Работа с результатами поиска;
• Работа с динамическими данными;
• Ротация ip;
• Блокировка нежелательного контента;
• База знаний;
• API интеграция;
• Планировщик.

Доступные ОС:

1. Windows.

5. WebHarvy

WebHarvy — интересный вариант для парсинга сайтов, программа предлагает простой и наглядный интерфейс для захвата данных и в этом ее главная особенность — она интуитивно понятна с первого взгляда. WebHarvy не подойдет для каталогов со сложной структурой вложенности, программу нужно выбирать для сайтов с простой структурой вложенности не далее второго уровня, приятный бонус, программа понимает динамически загружаемые данные, так же вы сможете подключить свои прокси и пройти по заранее подготовленному списку адресов. Программа позволяет пользоваться регулярными выражениями, например вы сможете очистить html код.

Ограничения в бесплатной версии:

• 15 дней;
• Первые 2 страницы.

Из-за ограничения в 2 страницы, программа сильно ограничивает парсинг каталогов, но если есть возможность вывести данные на одну страницу, WebHarvy — хороший выбор.

Возможности:

• Визуальное редактирование;
• Многопоточность;
• RegExp;
• Работа с динамическим содержимым;
• Поддержка Ip;
• Видео-уроки;
• Планировщик.

Доступные ОС:

• Windows.

6. Screen-Scraper

Screen-Scraper — еще одно программное решение для сбора данных с сайтов. Программу сложно назвать простой, потребуется время для обучения, но возможности бесплатной версии высоки. Screen-Scraper может собирать данные, переходить по ссылкам, заполнять и отправлять формы, переходить на страницы результатов поиска и скачивать различные файлы. Программа может справится с практически любым сайтом, в том числе с AJAX данными.

Ограничения в бесплатной версии:

• Не ограничено по времени;

Возможности:

• Видео-уроки;
• Многопоточность;
• API;
• AJAX;
• Поддержка роации Ip;
• Программирование скриптов на Java, JavaScript и Python.

Доступные ОС:

1. Windows;
2. MacOS;
3. Linux.

Облачные сервисы для парсинга

Облачные сервисы, в отличие от программ позволяют собирать не использую ресурсы вашего компьютера, такие сервисы программируются через окно браузера или программу на вашем компьютере, а вот сам процесс извлечения данных выполняется на стороннем сервере. Сервисы как и программы предоставляют возможности осуществлять парсинг бесплатно.

7. Octoparse

Octoparse — популярный сервис для парсинга, позволяет визуально, те без написания кода программировать парсер. Преимущество сервиса для неподготовленного пользователя — множество статей, объясняющих как им пользоваться. В плане функциональности сервис предоставляет хорошие лимиты в бесплатной версии.

Ограничения в бесплатной версии:

• 14 дней;
• Количество страниц не ограничено;
• Экспорт 10 000 строк;
• До 10 сохраненных настроек;
• Поддержка.

Возможности сервиса:

• Динамический контент;
• Ротация ip;
• Планировщик;
• Работа в облаке 24/7;
• Работа с API.

8. Mozenda

Mozenda — известный и один из старейших облачных сервисов. Предлагает настройку визуальным захватом данных, язык XPath для настройки извлечения сложных данных, разработчикам сервис предлагает создание сценариев парсинга. Сервис предлагает демонстрационный период на целый месяц, настройка парсинга происходит через приложение, которое нужно установить на компьютер, сбор информации происходит в облаке.

Ограничения в бесплатной версии:

• 30 дней;

Возможности сервиса:

• Многопоточность;
• Динамический контент;
• Ротация ip;
• Планировщик;
• Уведомления.

9. Diffbot

Diffbot — инновационный сервис использующий машинное обучение и компьютерное зрение для парсинга данных. Сервис способен автоматически определить тип страницы, на которой находится и собирать различные данные данные для поддерживаемых типов страниц. Заявляется о поддержке статей, карточек товаров, изображений, обсуждений и видео.

Ограничения в бесплатной версии:

• 14 дней;
• Запрос в секунду.

Возможности сервиса:

• Автоматизация процесса
• Ротация ip;
• Работа с API.

10. Scraper api

Scraper api — сервис требующий программирования, работает через безголовый браузер. Сильная сторона Scraper API — смена Ip адреса для каждого запроса, сервис выбирает прокси из миллиона доступных и автоматически повторяет неудачные запросы, до тех пор, пока не соберет нужные данные. Сервис умеет работать с капчей.

Ограничения в бесплатной версии:

• 1000 вызовов;

Сервис может работать с одним из языков программирования — NodeJS, Python, Ruby или PHP.

Возможности сервиса:

• 40 млн Ip;
• 12 геолокаций;
• Неограниченная пропускная способность;
• Работа с Javascript.

11. Scrapy Cloud от Scrapinghub

Scrapy Cloud — облачная платформа позволяющая программировать парсеры, требует знания языков программирования. Предоставляет гибкие инструменты для создания проектов с любой нужной вам логикой. Сервис предлагает безлимитное количество данных на бесплатном тарифе, но ограничивает время работы одним часом.

Ограничения в бесплатной версии:

• 1 час;

Возможности сервиса:

• Динамическое содержимое;
• Смена прокси;
• Мультипоточность;
• API.

12. ScrapingBee

ScrapingBee — сервис для парсинга данных требующий программирования, сбор данных осуществляется через безголовый браузер. Особенность ScrapingBee — рендеринг Javascript, это позволяет парсить любой сайт, использующий React, Angulars, Vue.js и другие библиотеки. Сервис использует прокси сервера для снижения вероятности блокировки, так же это позволит запустить парсинг в несколько потоков, что увеличит скорость сбора данных.

Ограничения в бесплатной версии:

• 1000 запросов;

Сервис требует знания программирования на одном из языков — CURL, Python, NodeJS, Java, Ruby, Php, Go.

Возможности сервиса:

• Работа с JavaScript;
• Поддержка смены Ip;
• Мультипоточность;
• API.

13. Apify

Apify — сервис основанный на готовых решениях. Магазин Apify позволяет использовать заранее подготовленные шаблоны для самых популярных пользовательских запросов: сбор данных с Amazon, Instagram, Booking и т.д. Сервис дает доступ к API через подключение к которому и происходит сбор данных, все представленные шаблоны хорошо описаны, так же вы можете изменить настроенный шаблон, чтобы внести нужные вам изменения.

Ограничения в бесплатной версии:

• 10 страниц;
• Хранение данных за 7 дней;
• 30 прокси серверов).

Возможности сервиса:

• Работа с JavaScript;
• Ротация прокси;
• Мультипоточность;
• API.

14. Web Scraper

Web Scraper — сервис для парсинга созданный, чтобы упростить парсинг данных с сайтов. Парсер настраивается в визуальном редакторе, вы просто указываете какие элементы хотите захватить. Web Scraper позволяет создавать карты сайта из различных типов селекторов. Эта система позволяет в последующем адаптировать извлечение данных к разным структурам сайта.

Ограничения в бесплатной версии:

• Только локальное использование;
• Динамические данные;
• Не возможен рендеринг JavaScript;
• Экспорт только в CSV.

Возможности сервиса:

• Рендеринг JavaScript;
• Ротация прокси;
• Планировщик;
• Мультипоточность;
• Работа через API.

15. CrawlMonster

CrawlMonster — SEO ориентированный инструмент для парсинга. С помощью сервиса вы сможете получить доступ к SEO данным вашего веб-сайта, таким как — контент, статусы страниц, код сайта, различные ошибки, сервис оповестит о проблеме с безопасностью и многое другое.

Ограничения в бесплатной версии:

• 100 страниц;
• 1 сайт;
• Нет планировщика;
• Ограниченный функционал.

Возможности сервиса:

• Комплексный SEO-анализ;
• Структурный анализ;
• Эффективность SEO;
• Отслеживание проблем;
• Анализ безопасности;
• Мониторинг сайта в реальном времени;
• Отчеты.

16. eScraper

eScraper — сервис который подойдет для парсинга сайтов электронной коммерции у сервиса есть настроенные интеграции с магазинами построенными на Magento, PrestaShop, WooCommerce или Shopify. Может парсить динамически загружаемый контент, такой как, раскрывающиеся списки, разделы «показать еще» и «следующая страница» и чекбоксы.

Ограничения в бесплатной версии:

• 100 страниц.

Возможности сервиса:

• Визуальное программирование;
• Планировщик;
• Большое количество интеграций с eCommerce CMS.

17. 80legs

80legs — сервис для парсинга сайтов использующий заранее созданные шаблоны. Шаблоны для парсинга от 80legs используют технологии Javascript, которые вы можете менять в соответствии с вашими задачами. В шаблонах можно настроить, какие данные будут собираться и по каким ссылкам нужно переходить.

Ограничения в бесплатной версии:

• Один поток;
• 10 000 страниц;
• Нужно привязать пластиковую карты.

Возможности сервиса:

• Рендеринг JavaScript;
• Ротация Ip;
• Автоопределение скорости парсинга;
• API.

18. Phantom Buster

Phantom Buster — еще один облачный сервис, предлагающий готовые шаблоны. Сервис специализируется на социальных сетях, таких как Facebook, Twitter, Instagram, LinkedIn и т.д. Парсинг не требует умения программировать, вы сможете легко выполнять привычные для социальных сетей действия автоматически, такие как отслеживание активности профилей, авто-лайки постов, отправка сообщений и прием заявок.

Ограничения в бесплатной версии:

• Один шаблон;
• 10 минут в день.

Возможности сервиса:

• Готовые шаблоны;
• Автоматизация действий;
• Планировщик.

19. Webhose

Webhose — этот сервис специализируется на новостях, блогах, форумах и работе с даркнетом. Webhose работает через API, который предоставляет доступ к данным в режиме реального времени. Также сервис откроет доступ к огромной базе исторических данных.

Ограничения в бесплатной версии:

• 10 дней.

Сервис подойдет, если вам нужно достать информацию из новостных источников или даркнета. Также, если есть необходимость в исторических данных.

Возможности сервиса:

• API;
• Новостные источники;
• Исторические данные.

20. Parsers

Parsers — сервис парсингас визуальной настройкой парсинга, работает через расширение для браузера. Сервис упрощает настройку сбора данных при помощи алгоритмов машинного обучения, вам нужно выбрать данные только на одной, первой странице сайта, далее сервис ищет похожие страницы на сайте и извлекает указанные данные.

Ограничения в бесплатной версии:

• 1000 страниц за прогон;
• 10 потоков.

Возможности сервиса:

• API;
• Планировщик;
• Автоматический поиск нужных данных.

21. Agenty

Agenty — сервис предлагающий настройку парсера через расширение для браузера Chrome. Сервис очень прост в настройке, нужно просто кликнуть на данные которые вы хотите собрать, работает при помощи CSS-селекторов, экспортирует данные в JSON, CSV, TSV.

Ограничения в бесплатной версии:

• 14 дней;
• 100 страниц.

Возможности сервиса:

• Автоматическая ротация прокси;
• Визуальная настройка;
• Пакетная обработка страниц;
• Планировщик;
• Интеграции с облачными дисками и Google таблицами.

22. Grepsr

Grepsr — расширение для браузера Chrome с визуальной настройкой парсеа. Сервис предлагает интуитивно понятный интерфейс, API для автоматизации сбора данных и интеграции с популярными облачными дисками — Dropbox, Google Drive, Amazon S3, Box, FTP.

Ограничения в бесплатной версии:

• 1000 запросов в месяц;
• 500 записей за запуск;
• 5 запусков в месяц;
• 3 отчета в месяц.

Возможности сервиса:

• Интеграции с облачными дисками;
• Визуальное программирование;
• Планировщик;
• API.

23. Web Robots

Web Robots — облачный сервис использующий для настройки расширение для браузера Chrome. Работа с сервисом максимально упрощена, это один из самых простых сервисов, парсер настраивается визуально, разобраться с ним не составит труда, просто указываете нужные данные на странице и сервис автоматизирует дальнейший действия. Функциональность сервиса так же проста, парсер подойдет для простейших задач.

Ограничения в бесплатной версии:

• Расширение работает без ограничений;

Возможности сервиса:

• Визуальная настройка;
• Автоматически находит и собирает данные.

24. Data miner

Data miner — еще один сервис, использующий шаблоны и работающий через расширение для браузера, поддерживаются Google Chrome и Microsoft Edge. Имеет визуальный интерфейс для настройки данных. Data Miner предлагает просто гигантское количество настроенных шаблонов, более 40 000 для самых популярных сайтов. При помощи готовых шаблонов, вы сможете собрать данные в несколько кликов мышкой. Сервис позволяет работать с нужным вам списком адресов.

Ограничения в бесплатной версии:

• 500 страниц;

Возможности сервиса:

• Визуальная настройка;
• Пакетная обработка страниц;
• Работа с динамическими данными.

25. Scraper.AI

Scraper.AI — сервис работающий через расширение для браузера. Поддерживаются Chrome, Firefox и Edge. Scraper.AI не требует работы с кодом и предлагает простую настройку через визуальный интерфейс. Так же вы можете использовать готовые шаблоны для соцсетей — Facebook, Instagram и Twitter.

Ограничения в бесплатной версии:

• 3 месяца;
• 50 страниц.

Возможности сервиса:

• Визуальная настройка;
• Планировщик;
• Работа с динамическими данными;
• Уведомления.

Бесплатные фреймворки (библиотеки) для парсинга

Фреймворки — инструментарий для разработки собственных парсеров, для работы с ними необходимо знать один из языков программирования, эти инструменты помогут реализовать проект любой сложности. Можно написать нужную вам логику парсинга, парсить любые сайты, конечно, это потребует программистов, выделенных серверов и покупки прокси.

26. Scrapy

Scrapy — фреймворк для парсинга с открытым исходным кодом. Scrapy использует язык программирования Python и является одним из самых популярных фрейморков для парсинга. Одно из главных достоинств Scrapy — возможность асинхронной обработки запросов. Это позволяет не ждать, пока запрос будет завершен, парсер может отправлять параллельные запросы или выполнять другую логику в это время. Если в процессе вызова произойдет ошибка, парсер не прекратит свою работу, параллельные процессы продолжат выполняться.

Такой подход позволяет работать очень быстро и получать высокую отказоустойчивость запрсов. Scrapy также предлагает управление и другими параметрами парсинга, вы сможете задавать задержку между каждым запросом или группой запросов, ограничить количество одновременных запросов для каждого домена или IP адреса или даже использовать автоматический расчет нужной задержки между запросами.

В силу популярности у Scrapy большое комьюнити и написана подробная документация.

27. BeautifulSoup

BeautifulSoup — фреймворк, также использующий популярный язык программирования Python, позволяет парсить данные из HTML и XML документов. Фреймворк предлагает подробную документацию, для открытия ссылок и сохранения результатов потребуется подключить сторонние библиотеки. Он более прост функционально по сравнению со Scrapy, BeautifulSoup стоит выбрать, если задачи парсинга не требуют распределения данных, не требуют реализации сложной логики и не нужно применять прокси сервера. Но, в противовес меньшему функционалу BeautifulSoup более прост в освоении, библиотека подойдет начинающим программистам, множество мануалов помогут быстро разобраться в продукте.

28. Jaunt

Jaunt —библиотека для парсинга на языке Java с открытым исходным кодом. Работает через легкий и быстрый безголовый браузер (без графического интерфейса). Браузер дает доступ к DOM и контроль над каждым HTTP запросом — ответом. Jaunt позволяет скриптам на Java:

• Парсить страницы сайтов, извлекать JSON-данные;
• Работать с формами;
• Парсить таблицы;
• Обрабатывать отдельные HTTP-запросы — ответы;
• Интерфейс с REST API или веб-приложениями (JSON, HTML, XHTML или XML).

29. Selenium

Selenium — это настоящий «швейцарский нож» для парсинга, представляет из себя набор инструментов для автоматизации браузеров, включает инструменты для управления, развертывания, записи и воспроизведения действий. Все продукты Selenium выпущены с открытым исходным кодом.

Парсеры можно писать на различных языках — Python, Java, C#, JavaScript или Ruby. Selenium позволяет связывать не только браузеры, но и сервера для решения сложных задач. Этот инструмент стоит выбрать, если перед вами стоят большие задачи и есть ресурсы для их реализации.

30. Grab

Grab — фреймворк позволяющий писать скрипты для парсинга на языке Python. С помощью Grab можно создавать парсеры различной сложности, как простые скрипты на 5 строчек, так и сложные асинхронные поисковые алгоритмы, способные обрабатывать миллионы страниц. Фреймворк имеет API для выполнения запросов и последующей обработки данных, например, для взаимодействия с деревом DOM HTML- документа.

Фреймворк Grab состоит из двух частей:

1. API запроса — ответа, позволяющий выполнять запросы и обрабатывать полученные данные (API — оболочка библиотек pycurl и lxml).
2. Spider API-интерфейс для создания асинхронных парсеров.

Платный сервис в заключении

В заключении расскажу о сервисе парсинга, развитием которого я занимаюсь — iDatica. Мы делаем разработку парсеров и сопровждающих услуг: очищаем данные, сопоставляем (матчим) товары, визуализируем информацию в Bi сервисах, делаем это качественно, под ключ.

Почему наши услуги нужны, если есть бесплатные инструменты? Мы работаем с масштабными задачами, добывая каждый день миллионы значений. Для таких задач требуются специалисты, сервера, прокси, системы обхода капч, постобработка, и многое другое.

Если говорить более развернуто — мы поможем, когда продукт, не может собрать данные с нужного сайта, например, большинство даже платных версий сервисов из списка, при тестировании не справились с парсингом Яндекс.Маркет, а тем или иным способом защищаются от парсинга многие коммерческие сайты. Мы напишем логику парсинга под ваши требования, например, сначала найти на сайте нужную информацию, выбрать категории, бренды, парсинг набора ссылок или парсинг сайта с нестандартной структурой. Мы сравним ваши товары и товары конкурентов с максимальной точностью, в противовес — автоматические алгоритмы сравнения товаров часто не отрабатывают на 100% и требуют ручной доработки с вашей стороны, а часть сервисов потребует предварительно сопоставить ваши товары и товары конкурентов, а если какие-то адреса карточек изменяться, делать это придется заново. Все это выливается в оплату сервиса, оплату труда сотрудника, который работает с сервисом, а если сервис в конечном итоге не справится, в потраченное время и необходимость искать новый сервис. Выбирая работу с нами, вы просто будете получать нужный результат в готовом виде.