Главное Авторские колонки Вакансии Образование
😼
Выбор
редакции
1 743 5 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Как мы сделали сайт, на котором прошли тест более 500 тыс. человек

Более полумиллиона человек написали «Большой этнографический диктант» на разработанном нами сайте. Что помогло нам справиться с пиковыми нагрузками и сэкономить деньги заказчика, читайте в статье.
Мнение автора может не совпадать с мнением редакции

Клиент

«Большой этнографический диктант» проводится с 2016 года. Это культурно-просветительское мероприятие, которое позволяет оценить уровень этнографических знаний людей, популяризировать науку о народах, привлечь внимание к проблемам сохранения национальной идентичности, традиций и культурного наследия.

Организаторы акции — Министерство национальной политики УР и Федеральное агентство по делам национальностей.

Идея проекта родилась в Удмуртии и была поддержана другими регионами. В 2017 году акция приобрела международный масштаб. Принять участие в диктанте может любой житель России и 42 стран на разных континентах — Австралии, США, Германии, Китая, ЮАР и других. Для этого достаточно владения русским языком и готовности проверить свои знания.

Диктант проходит в форме теста и включает в себя 30 вопросов о культуре, быте, обычаях, языках, верованиях и других особенностях разных народов. 20 из них — федеральные, одинаковые для всех территорий, а 10 — различаются для каждого региона. При регистрации участник получает идентификационный номер, по которому потом может посмотреть свой результат.

Существует два варианта участия в акции. Первый — пройти тест на одной из 5000 офлайн-площадок в России и за рубежом. Второй — ответить на вопросы на сайте проекта miretno.ru.


Задачи

«Большой этнографический диктант» проводится ежегодно в течение 3-4 дней. В этот период сайт из обычного информационного ресурса превращается в высоконагруженный сервис с пиковой посещаемостью до 130 тыс. пользователей в день и 15 тысяч — единовременно. Участники акции из разных регионов и стран дружно проходят тест. Те, кто уже сдал его на одной из офлайн-площадок, ищут свои результаты и хотят получить pdf-сертификат. Из этого следует главная задача — ресурс должен выдерживать суперпиковую нагрузку.

Дополнительные требования:

  1. Возможность размещения разных видов контента.
  2. Настройка модуля онлайн-теста.
  3. Прием и обработка данных диктанта с офлайновых площадок.
  4. Создание формы авторизации для просмотра личных результатов.
  5. Генерация сертификатов в pdf-формате с ФИО участников и числом набранных баллов.

При всем этом было важно соблюсти ограничения по срокам и бюджету проекта. Сайт необходимо запустить к началу акции, а предложенные решения должны быть экономичными.


Решение

В соответствии с пожеланиями клиента мы создали сайт на CMS 1С-Битрикс, разработали структуру — новости, медиагалерею, списки координаторов и площадок.

На основе фирменного стиля проекта реализовали адаптивный веб-дизайн. Использовали этнические элементы — орнаменты и рисунки, разработанные дизайнером заказчика, также ориентировались на стилистику порталов «Тотального диктанта» и Международной акции «Тест по истории Великой Отечественной войны».

По-настоящему сложные технологические решения скрыты внутри.

Тест на Laravel

1С-Битрикс удобна заказчику как инструмент администрирования сайта. Изначально на функционале этой CMS был создан модуль тестирования, который становится видимым для пользователей только на время акции. Однако он оказался не предназначен для высоких нагрузок. Если тысячи пользователей одновременно проходили тест, перемещались между вопросами, меняли варианты ответов, возникала длинная очередь запросов. База данных падала, а за ней становился недоступным и сайт.

Поэтому после проведённого нагрузочного тестирования было принято решение переписать модуль теста на PHP-фреймворке Laravel и вынести в отдельный сервис. По сути, мы получили два ресурса, между которыми можно перераспределять нагрузку. Если она растет, в качестве экстренной меры настраиваем переадресацию с основного портала на платформу теста. В итоге нагрузка на базу данных снизилась, а производительность веб-приложения, наоборот, повысилась.

Внутрь модуля встроена система навигации по вопросам и счетчик времени. Каждый год организаторы акции составляют новые вопросы и присылают их нам за 3-4 дня до начала тестирования. Мы должны оперативно заменить вопросы и настроить систему начисления баллов за разные ответы. Часто за эти 3-4 дня необходимо решить дополнительные задачи по функционалу из-за появления новых типов вопросов — с медиафайлами или сопоставлением вариантов типа «соотнесите блюдо и национальную кухню».

Парсеры для обработки данных

В 2016 году в «Большом этнографическом диктанте» участвовали 90 тыс. человек, в 2019-м — уже более 450 тысяч. Все результаты теста — и с онлайн-диктанта, и с офлайн-площадок — аккумулируются на сайте. Для их обработки и систематизации мы написали парсеры. С помощью этих скриптов информация поступает в базу данных, а затем структурируется для форм выдачи.

На сайте публикуется список площадок и координаторов с актуальными контактами. Данные вносятся в таблицы Excel и ежесуточно обновляются с помощью парсеров. Это облегчает работу контент-менеджеров, которым не нужно выкладывать информацию на сайт в ручном режиме.

Мы добавили функционал определения результатов по идентификационному номеру. На отдельной странице размещена форма ввода, связанная с базой данных. Когда появляются данные со всех регионов, любой участник может войти в систему и узнать, сколько баллов он набрал.

Формирование сертификата

Каждый участник «Большого этнографического диктанта» может получить персональный сертификат с результатами теста. Для реализации этого функционала мы разработали отдельный html-шаблон для генерации файлов в pdf-формате. В сертификате автоматически проставляются ФИО, указанное при регистрации, и количество набранных баллов. Участник может скачать этот документ, а также поделиться результатами теста в соцсетях.


Техподдержка

В дни проведения диктанта мы круглосуточно наблюдаем за стабильностью работы системы. Для команды это волнительный период: ощущения примерно, как от соседства с пороховой бочкой. Никогда не знаешь, как на этот раз распределится нагрузка. Обычно резкий скачок посещаемости идет после рекламных акций. Пару лет назад «Большой этнографический диктант» анонсировали на Первом канале в прайм-тайм. После эфира посещаемость сайта на порядок превысила самые смелые ожидания заказчика. Реальные параметры нагрузки оказались выше расчетных показателей, под которые мы проектировали сервер. Поэтому пришлось оперативно принимать меры по добавлению и изменению конфигурации серверных ресурсов.

Чтобы обеспечить отказоустойчивость системы, мы внедрили несколько методов:

  1. Оптимизация контента: изображения, которые показываются в тесте и на сайте, перенесены на CDN — облачное хранилище.
  2. Настройка редиректа на модуль теста. При росте посещаемости нагрузку можно распределять между двумя порталами. Часть пользователей сразу начинают проходить тест, не попадая на сайт акции.
  3. При необходимости — кеширование страницы на сервере, чтобы сократить количество одновременных http-запросов и увеличить скорость загрузки.

Кроме того, для заказчика мы арендуем сервер на облачном хостинге, где действует гибкая система ценообразования. На время акции можно выкупать максимальный объем оперативной памяти, а затем резко уменьшать. Это гораздо выгоднее, чем приобретать мощный сервер, который большую часть года будет простаивать.

Команда проекта:


Результаты

Мы разработали высоконагруженный сайт для анонсирования, информационного и технического сопровождения международной просветительской акции. Изначально в условиях лимита времени было запущено стандартное решение. Однако популярность акции быстро росла. Чтобы сайт соответствовал новым требованиям, нам пришлось быстро его дорабатывать, реализовывать более сложные технические решения.

За 4 года проведения акции около 550 тыс. человек написали диктант онлайн. Для удобства участников мы разработали универсальный модуль тестирования и шаблон для генерации персональных сертификатов.

  • Около 550 тыс. чел. написали диктант за 4 года.
  • Это 42% от общего количества участников акции.

А клиенту мы помогли сэкономить значительные средства на содержании аппаратного обеспечения. Если бы организаторы акции приобрели физический сервер, это бы обошлось примерно в 1 млн рублей. Аренда виртуального сервера с аналогичными характеристиками стоит около 15 тыс. рублей в месяц. При этом на облачном хостинге действует посекундная тарификация, то есть по факту за время акции клиент платит меньше этой суммы.

  • 1 млн руб. стоил бы физический сервер, способный справиться с пиковой нагрузкой во время акции.
  • 15 тыс.руб. в месяц — аренда виртуального сервера с аналогичными характеристиками.

Отзыв клиента

Анастасия Караваева, федеральный координатор акции «Большой этнографический диктант» по работе с регионами:

— Мы сотрудничаем с компанией «Пиком» с 2016 года. Благодаря работе IT-специалистов пользователи со всего мира могут писать диктант онлайн.

Аудитория акции с каждым годом растет. За это время возникали разные ситуации. Иногда мы были не готовы к наплыву большого числа участников. Команда техподдержки всегда работала оперативно, даже в праздники и выходные. Проблемы быстро и эффективно решались, доступность сайта восстанавливалась.

Компания «Пиком» внесла большой вклад в реализацию важного просветительского проекта, который помогает людям вспомнить о своих корнях и больше узнать о тех, кто живет рядом.

0
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
Партнеры Spark
Реклама на Spark
Мария Кузьмина
В соц.сетях попросили пояснить, что имелось ввиду вот здесь:

> На время акции можно выкупать максимальный объем оперативной памяти, а затем резко уменьшать виртуальное дисковое пространство

Можете раскрыть это поподробнее, пожалуйста?)
Ответить
«Пиком»‎
С 2000 года создаем IT-решения для бизнеса и делаем это хорошо.
Григорий Коган
Добрый день! Да, конечно.
Мы арендуем для клиента облачный хостинг у одного из провайдеров. У него действует система гибкого ценообразования - объем оперативной памяти зависит от тарифа. Перед акцией мы смотрим на метрики прошлых лет и на основе этих данных увеличиваем ресурсы арендуемой виртуальной машины, что позволяет быстрее обрабатывать запросы пользователей. Также на протяжении всей акции специальная система мониторит нагрузку. Если она превышает N%, приходит уведомление. Специалист анализирует всплеск нагрузки и при необходимости может добавить еще мощностей виртуальной машине.
Спасибо за вопрос!
Ответить
Партнеры Spark
Реклама на Spark
Мария Кузьмина
Продолжаю вопросы от подписчика:
"Суть понятна. Непонятен момент, зачем нужно "резко уменьшать виртуальное дисковое пространство". Как это связано с увеличением оперативной памяти?"
Ответить
«Пиком»‎
С 2000 года создаем IT-решения для бизнеса и делаем это хорошо.
Григорий Коган
Объем оперативной памяти увеличивается непосредственно на время акции, когда посещаемость сайта растет. После того как акция прошла, участники узнали свои результаты, скачали сертификаты, посещаемость падает. Соответственно, мы уменьшаем ресурсы арендуемой виртуальной машины - до следующей акции.
Ответить
Партнеры Spark
Реклама на Spark
Мария Кузьмина
подписчик: "какое отношение в данном случае дисковое пространство имеет к оперативной памяти? Используется механизм подкачки страниц?"
Ответить
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать

Spark использует cookie-файлы. С их помощью мы улучшаем работу нашего сайта и ваше взаимодействие с ним.