Лучшие статьи и кейсы стартапов
Включить уведомления
Дадим сигнал, когда появится
что-то суперстоящее.
Спасибо, не надо
Вопросы Проекты Вакансии
Панель управления публикациями в соц.сетях
Рекомендуем
Продвинуть свой проект
Лучшие проекты за неделю
30
Битрикс24

Битрикс24

www.bitrix24.ru

22
Отследить-посылку

Отследить-посылку

B2B-сервис трекинга посылок

13
WebResidentTeam

WebResidentTeam

webresident.agency

12
Devicerra

Devicerra

devicerra.com

12
Perezvoni.com

Perezvoni.com

perezvoni.com

11
Expresso

Expresso

www.expresso.today

11
myPreza

myPreza

mypreza.ru

9
Reader

Reader

Интернет-журнал о современных технологиях.

9
ADN Digital Studio

ADN Digital Studio

adn.agency

Показать следующие
Рейтинг проектов
Подписывайтесь на Спарк во ВКонтакте

Куда мы сложили все наши изображения

810 6 В избранное Сохранено
Авторизуйтесь
Вход с паролем
Небольшой дайджест о нашем переезде на Amazon S3. Как мы отправили все изображения в облака.

Мы решили, что некоторым из наших пользователей будет интересно узнать технические детали работы нашего сервиса.

Мы попросили наших разработчиков писать нам небольшие заметки по ходу разработки. Ниже - дайджест за прошлую неделю из первых уст.

Привет из отдела разработки SMMplanner!

На этой неделе мы расстались с одной головной болью, чему очень рады. Проблема заключалась в постоянно растущей базе картинок, которые загружают наши пользователи. На текущий момент набралось около 200Gb. За всё время существования сервиса мы уже дважды меняли сервер (кстати, надеюсь, вы даже не заметили второго переезда, он должен был пройти незаметно для вас). Мы не хотим сразу брать большой и дорогой сервер, т.к. и текущий вполне справляется. Но второй переезд был вызван именно нехваткой места на диске.

И вот свободное пространство начало опять заканчиваться. На этот раз мы подошли радикальнее и перенесли все на Amazon S3. S3 это такое бесконечное файловое хранилище, облачный сервис, предоставляемый компанией Amazon. Это было сделать не трудно, т.к. все картинки уже были там - ежедневно они копировались туда в качестве резервной копии.

Оставалось немного подправить код и всё протестировать. Переход осуществлялся ночью, чтобы во время обновления было как можно меньше пользователей онлайн. Но и не слишком поздно, чтобы в случае проблем, кто-нибудь из разработчиков смог отреагировать.

А проблема все таки возникла :) К сожалению наши тестовые сервера несколько отличаются от боевого. Оказалось, что на боевом стояла устаревшая библиотека, которая подхватилась вместо новой. Это вызывало проблемы при загрузке файлов на S3. Проблему удалось локализовать быстро, но около 5 минут у пользователей были проблемы при загрузке картинок. Еще из-за логической ошибки в скрипте переноса, удалились некоторые картинки, которые были загружены во время переноса. Но удалились не окончательно, т.к. на S3 есть возможность включения версионности. Т.е файл удаляется не сразу. Он помечается как удаленный, а окончательно удаляется через заданное время. Поэтому все картинки мы восстановили.

Версионность позволяет защитить данные. Даже если взломают наши сервера и все сотрут, мы можем все восстановить. В следующей статье как раз можно поговорить о безопасности.

Надеюсь, статья вызвала у вас интерес. Ставьте лайки, пишите комментарии, если вам было интересно.

+7
Добавить в избранное Сохранено
Авторизуйтесь
Вход с паролем
Первые Новые Популярные
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
"На текущий момент набралось около 200Gb" — не ошиблись ли на порядок?
Ответить
SMMplanner
Панель управления публикациями в соц.сетях
Крылов Василий
Нет, если бы ошиблись на порядок, то S3 не понадобился бы. Количество пользователей постоянно растет, при том условии, что и старые продолжают делать публикации, объемы изображений очень быстро увеличиваются. Когда то и 20Gb, нам казалось, на долго хватит.
Ответить
Симулятор бизнес-процессов
Сервис имитационного моделирования и оптимизации бизнес-процессов
Prolis Labkk
Серверный диск на 1Тб стоит порядка $100. Туда поместится пять ваших сайтов и это будут капитальные затраты, в отличие от $6/мес. на s3.
Ответить
SMMplanner
Панель управления публикациями в соц.сетях
Крылов Василий
Поддержка своего сервера тоже денег стоит и для стартапов это будет куда дороже, чем облако. Свои сервера сейчас выгодны только крупным IT компаниям и хостерам. К тому же S3 дает надежность из-коробки. Сохранность 99.999999999% (99.99% в случае использования Reduced Redundancy), что ни один жесткий диск не даст. А надежный кластер из дисков — опять же дороже.
Ответить
GreenRed brand studio
разработка логотипа за 99$
Панченко Андрей
что-то в этом есть
Ответить
Саша Зверев
Если вас взломают, то удалят бакет, и никакая версионность уже не поможет. Но ведь, надеюсь, у вас хардварный ключ, и вас не взломают? ;)
Ответить
Выбрать файл
Читайте далее
Загружаем…
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать