Лучшие статьи и кейсы стартапов
Включить уведомления
Дадим сигнал, когда появится
что-то суперстоящее.
Спасибо, не надо
Главное Свежее   Проекты
Рекомендуем
Продвинуть свой проект
142 5 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Проблемы в жизни сборщиков информации

Уже пару месяцев мы в тестовом режиме собираем цены с сайта ГлобусГурме и бережно храним их у себя на сервере. Однако в эту пятницу наш сборщик был заблокирован по айпи и не смог выполнить свою миссию.

Хочется надеяться, что техническая служба магазина заблокировала нас из-за подозрительной активности, а не из-за желаний спрятать свои цены.

b_5560c78ac1c9a.jpg

От себя добавлю, что можно вообще ценники закрывать сами знаете какими тряпками и для онлайна это будет не меньше глупостью, чем для оффлайна.

Решение

Первое, что мы сделали, отправили запрос в администрацию торговой сети. Результата это никакого не принесло, по крайней мере пока.

Однако цены нам нужно получать каждый день, поэтому мы реализовали следующую логику: каждый сборщик перед выходом на работу получает новый айпи через прокси, с помощью которого он анонимно собирает нужные ему данные.

Тестирование и внедрение решения заняло несколько субботних часов, однако мы добились быстрого восстановления работы сервиса и уже успешно собрали новый набор данных.

Итоги

Перекрывать доступ к данным, которые уже опубликованы в интернете, малоэффективно и требует серьезных технических решений. Время на разработку которых лучше пустить в более созидательное русло :)

В заключение хочу сказать, что мы очень ждем от магазинов именно сотрудничества, чтобы вместе внедрять нужные и полезные сервисы.

Подписывайтесь и следите за обновлениями! :)

0
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Подбираем рекоммендации...
Комментарии
Первые Новые Популярные
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
Я не поленился и на их главной странице нашел надпись:
Копирование и любое иное использование информации,
размещенной на сайте www.globusgurme.ru,
допускается ИСКЛЮЧИТЕЛЬНО
с письменного разрешения
ООО «Столичная торговая компания».
Ответить
Тембр
Делитесь аудиозаметками с подписчиками и слушайте интересных людей.
Ilia Donskikh
Перед использованием этих данные в своих разработках будем ждать их разрешения. Собираем у них по 540+ прайсов в тестовом режиме. У тех кому не жалко, по 3000+ прайсов.

Будет действительно досадно, если они не захотят работать вместе. Но это в их интересах настолько же, насколько и в наших.
Ответить
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
Да выйдите на связь с ними, в их же интересах или к апи вас пустить или к выгрузке хмл. Просто если действительно захотят забанить -забанят и никакие прокси не спасут.
Ответить
Тембр
Делитесь аудиозаметками с подписчиками и слушайте интересных людей.
Ilia Donskikh
Спасибо за комменты, вы все правильно говорите. Мы работаем в этом направлении.

Кроме этого сейчас готовим еще один продукт, после которого у компаний будет больше причин для сотрудничества с нами.
Ответить
Виктор Рассоха
"и любое иное использование информации" ну если подходить формально, то использование данной информации и с целью принятия решения о покупке товара, тоже должно требовать письменного разрешения ООО ^.^
Ответить
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать