Лучшие статьи и кейсы стартапов
Включить уведомления
Дадим сигнал, когда появится
что-то суперстоящее.
Спасибо, не надо
Вопросы Проекты Вакансии
Статистика цен на продукты питания
Рекомендуем
Продвинуть свой проект
Лучшие проекты за неделю
29
Эбиа

Эбиа

www.ebia.ru

16
Enlite

Enlite

enlited.ru

16
Amarket

Amarket

amarket.io

15
likearea

likearea

smm.li

14
Relap

Relap

relap.io

12
RockinRobin

RockinRobin

www.rockinrobin.co

12
E-Commerce and Venture projects

E-Commerce and Venture projects

Продажа товаров от производителей оптом и в розницу

11
Perezvoni.com

Perezvoni.com

perezvoni.com

11
Cookiezz

Cookiezz

cookiezz.com.ua

Показать следующие
Рейтинг проектов
Подписывайтесь на Спарк в Facebook

Проблемы в жизни сборщиков информации

139 5 В избранное Сохранено
Авторизуйтесь
Вход с паролем
Уже пару месяцев мы в тестовом режиме собираем цены с сайта ГлобусГурме и бережно храним их у себя на сервере. Однако в эту пятницу наш сборщик был заблокирован по айпи и не смог выполнить свою миссию.

Хочется надеяться, что техническая служба магазина заблокировала нас из-за подозрительной активности, а не из-за желаний спрятать свои цены.

b_5560c78ac1c9a.jpg

От себя добавлю, что можно вообще ценники закрывать сами знаете какими тряпками и для онлайна это будет не меньше глупостью, чем для оффлайна.

Решение

Первое, что мы сделали, отправили запрос в администрацию торговой сети. Результата это никакого не принесло, по крайней мере пока.

Однако цены нам нужно получать каждый день, поэтому мы реализовали следующую логику: каждый сборщик перед выходом на работу получает новый айпи через прокси, с помощью которого он анонимно собирает нужные ему данные.

Тестирование и внедрение решения заняло несколько субботних часов, однако мы добились быстрого восстановления работы сервиса и уже успешно собрали новый набор данных.

Итоги

Перекрывать доступ к данным, которые уже опубликованы в интернете, малоэффективно и требует серьезных технических решений. Время на разработку которых лучше пустить в более созидательное русло :)

В заключение хочу сказать, что мы очень ждем от магазинов именно сотрудничества, чтобы вместе внедрять нужные и полезные сервисы.

Подписывайтесь и следите за обновлениями! :)

0
Добавить в избранное Сохранено
Авторизуйтесь
Вход с паролем
Первые Новые Популярные
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
Я не поленился и на их главной странице нашел надпись:
Копирование и любое иное использование информации,
размещенной на сайте www.globusgurme.ru,
допускается ИСКЛЮЧИТЕЛЬНО
с письменного разрешения
ООО «Столичная торговая компания».
Ответить
Тембр
Делитесь аудиозаметками с подписчиками и слушайте интересных людей.
Ilia Donskikh
Перед использованием этих данные в своих разработках будем ждать их разрешения. Собираем у них по 540+ прайсов в тестовом режиме. У тех кому не жалко, по 3000+ прайсов.

Будет действительно досадно, если они не захотят работать вместе. Но это в их интересах настолько же, насколько и в наших.
Ответить
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
Да выйдите на связь с ними, в их же интересах или к апи вас пустить или к выгрузке хмл. Просто если действительно захотят забанить -забанят и никакие прокси не спасут.
Ответить
Тембр
Делитесь аудиозаметками с подписчиками и слушайте интересных людей.
Ilia Donskikh
Спасибо за комменты, вы все правильно говорите. Мы работаем в этом направлении.

Кроме этого сейчас готовим еще один продукт, после которого у компаний будет больше причин для сотрудничества с нами.
Ответить
Виктор Рассоха
"и любое иное использование информации" ну если подходить формально, то использование данной информации и с целью принятия решения о покупке товара, тоже должно требовать письменного разрешения ООО ^.^
Ответить
Выбрать файл
Читайте далее
Загружаем…
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать