Лучшие статьи и кейсы стартапов
Включить уведомления
Дадим сигнал, когда появится
что-то суперстоящее.
Спасибо, не надо
Вопросы Проекты Вакансии
Статистика цен на продукты питания
Рекомендуем
Продвинуть свой проект
Лучшие проекты за неделю
26
Битрикс24

Битрикс24

www.bitrix24.ru

16
Отследить-посылку

Отследить-посылку

B2B-сервис трекинга посылок

14
myPreza

myPreza

mypreza.ru

13
WebResidentTeam

WebResidentTeam

webresident.agency

12
Perezvoni.com

Perezvoni.com

perezvoni.com

11
Expresso

Expresso

www.expresso.today

10
YAGLA

YAGLA

yagla.ru

10
Reader

Reader

Интернет-журнал о современных технологиях.

Показать следующие
Рейтинг проектов
Подписывайтесь на Спарк в Facebook

Проблемы в жизни сборщиков информации

133 5 В избранное Сохранено
Авторизуйтесь
Вход с паролем
Уже пару месяцев мы в тестовом режиме собираем цены с сайта ГлобусГурме и бережно храним их у себя на сервере. Однако в эту пятницу наш сборщик был заблокирован по айпи и не смог выполнить свою миссию.

Хочется надеяться, что техническая служба магазина заблокировала нас из-за подозрительной активности, а не из-за желаний спрятать свои цены.

b_5560c78ac1c9a.jpg

От себя добавлю, что можно вообще ценники закрывать сами знаете какими тряпками и для онлайна это будет не меньше глупостью, чем для оффлайна.

Решение

Первое, что мы сделали, отправили запрос в администрацию торговой сети. Результата это никакого не принесло, по крайней мере пока.

Однако цены нам нужно получать каждый день, поэтому мы реализовали следующую логику: каждый сборщик перед выходом на работу получает новый айпи через прокси, с помощью которого он анонимно собирает нужные ему данные.

Тестирование и внедрение решения заняло несколько субботних часов, однако мы добились быстрого восстановления работы сервиса и уже успешно собрали новый набор данных.

Итоги

Перекрывать доступ к данным, которые уже опубликованы в интернете, малоэффективно и требует серьезных технических решений. Время на разработку которых лучше пустить в более созидательное русло :)

В заключение хочу сказать, что мы очень ждем от магазинов именно сотрудничества, чтобы вместе внедрять нужные и полезные сервисы.

Подписывайтесь и следите за обновлениями! :)

0
Добавить в избранное Сохранено
Авторизуйтесь
Вход с паролем
Первые Новые Популярные
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
Я не поленился и на их главной странице нашел надпись:
Копирование и любое иное использование информации,
размещенной на сайте www.globusgurme.ru,
допускается ИСКЛЮЧИТЕЛЬНО
с письменного разрешения
ООО «Столичная торговая компания».
Ответить
Тембр
Делитесь аудиозаметками с подписчиками и слушайте интересных людей.
Ilia Donskikh
Перед использованием этих данные в своих разработках будем ждать их разрешения. Собираем у них по 540+ прайсов в тестовом режиме. У тех кому не жалко, по 3000+ прайсов.

Будет действительно досадно, если они не захотят работать вместе. Но это в их интересах настолько же, насколько и в наших.
Ответить
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
Да выйдите на связь с ними, в их же интересах или к апи вас пустить или к выгрузке хмл. Просто если действительно захотят забанить -забанят и никакие прокси не спасут.
Ответить
Тембр
Делитесь аудиозаметками с подписчиками и слушайте интересных людей.
Ilia Donskikh
Спасибо за комменты, вы все правильно говорите. Мы работаем в этом направлении.

Кроме этого сейчас готовим еще один продукт, после которого у компаний будет больше причин для сотрудничества с нами.
Ответить
Виктор Рассоха
"и любое иное использование информации" ну если подходить формально, то использование данной информации и с целью принятия решения о покупке товара, тоже должно требовать письменного разрешения ООО ^.^
Ответить
Выбрать файл
Читайте далее
Загружаем…
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать