8 марта на маркетплейсе цветов и подарков

Вырасти в 12 раз и за день вернуться к прежним масштабам

Несмотря ни на что, праздник в этом году состоялся, и женщины по всей стране могли порадоваться тюльпанам, розам и ирисам. А чтобы цветы были доставлены в срок, каждое 8 марта Flowwow готовится выдержать нагрузки в десятки раз больше привычных — и уже на следующий день спокойно вернуться к обычным мощностям.

Совсем коротко объясним, что такое 8 марта для Flowwow.

Компания создавалась в 2014 году как флористический маркетплейс. Сейчас на платформе регулярно получают заказы более 6000 партнеров в разных категориях (торты, декор, косметика и др.), но магазинов цветов по-прежнему большинство. А значит, самый «‎цветочный» праздник в году – один из ключевых пиков для нас.

Заказы принимаются только онлайн, через сайт или клиентское мобильное приложение. Продавцы получают заказы в режиме реального времени через партнерское приложение и выполняют их в кратчайшие сроки: в Москве адресат может получить букет в срок от 15 минут с момента заказа, в Питере — от 30 минут, в других городах — в зависимости от мощностей магазина и удаленности адреса доставки.

По сути, Flowwow — это система IT-продуктов, которые позволяют спонтанно заказать цветы, торт или подарок, которые привезут твоему близкому человеку за считанные минуты или часы, в любом городе. И вся эта система к 8 марта должна развернуться настолько, чтобы принять и обработать в 10, 15, иногда в 30 раз больше заказов, чем обычно.

Обычно у нас с января готов реалистичный прогноз трафика на 8 марта. К тому же, есть внутренняя оценка, выработанная за предыдущие годы: 8 марта трафик обычно в 3 раза выше, чем на 14 февраля того же года. Необходимые мощности всегда рассчитывались по этой простой формуле.

Но в 2022 году все наши прогнозы по числу заказов оказались не валидны: пришлось быстро адаптироваться под текущие условия.

В то же время мы понимали, что никакие события не отменят главный праздник всех мам, жен и дочерей, поэтому все равно приготовились на пару дней вырасти по мощностям примерно в 12 раз и выдержать поток заказов.

Подготовка к 8 марта идет у нас по трем направлениям: оптимизация нагрузки, масштабирование серверной схемы и улучшение работы админки. Каждый год действуем по отлаженной, проверенной схеме, лишь слегка меняя параметры.

Оптимизация нагрузки. С середины января анализируем узкие места с точки зрения нагрузки на сервера приложений, базу данных и API. Мониторим запросы к серверу и находим те, которые отвечают дольше других. Как правило, тормозят работу либо слишком частые, либо слишком большие и тяжелые запросы к базе данных. Мы профилируем базу данных на предмет оптимального индекса и сокращаем число “сложных” запросов.

Масштабирование серверной схемы. Здесь основную работу ведет наша команда девопс: ребята конфигурируют внутренние инструменты, которые позволяют управлять серверами.

С начала февраля мы поднимаем новые реплики базы данных, открываем новые сервера приложений, которые идут под дополнительную нагрузку, увеличиваем мощность сервера базы данных. Часть серверов масштабируем горизонтально, часть вертикально.

Работа с админкой. Львиная доля нагрузки в пиковый день ложится на команду саппорта — и партнерского, который отвечает на вопросы от продавцов, и клиентского, который помогает покупателям. 8 марта каждый из 9 менеджеров клиентского саппорта отвечает на 600-700 клиентских тикетов, а каждый из 6 менеджеров по сопровождению партнеров — на 300-400. Поэтому необходимо, чтобы их рабочий инструмент был максимально автоматизирован и мог сэкономить ребятам время и нервы.

В этом году наша админка за январь-февраль получила такие маленькие, но важные обновления:

1) Репорты. Система мониторингов собирает информацию о нагрузке, трафике, возможных ошибках. Боты следят за аномалиями и рапортуют нам в режиме реального времени о любых отклонениях от нормы.

Девопсы и инженеры реагируют на репорты в соответствии с принятым регламентом: простые и локальные задачи решают своими силами, для обсуждения сложных собираются в рабочий чат и проводят быстрое совещание.

2) Сообщения от команды саппорта. Первые, кто замечает сбои в системе, это менеджеры поддержки. О любом подозрительном поведении системы они быстро сообщают в корпоративный чат.

3) Работа с кибер-атаками. К счастью, в этом году все прошло довольно спокойно.

Как ни готовься к главному пику года, а сюрпризы обязательно будут.

В этом году мы недобрали трафика (ожидаемо), но само распределение трафика нас очень удивило. В предыдущие годы пик трафика приходился на 7 марта и утро 8 марта, затем оставалось только разбирать и выполнять заказы. В этом году 7 марта прошло довольно мягко, а вот 8 марта с утра и до 16.00 мск шел бесперебойный поток новых заказов. В нашей практике это что-то новое.

Следующий сюрприз преподнес нам сервер очередей. 14 февраля он ничем не выдал себя, а 8 марта оказался сильно перегружен, причем по тем координатам, на которые мы даже не могли подумать. Сервер прилег в самый ответственный момент — в час дня.

Буквально за час мы оперативно подняли дополнительные ноды в кластер Rabbit, перераспределили нагрузки и очистили старые очереди. Уже в 14.00 все работало в штатном режиме.

За 3 дня выполнено более 85 тысяч заказов. А это 85 тысяч маленьких пруфов, что жизнь продолжается и мы не забываем радовать и радоваться, даже сейчас.

7 марта приняли 32,5 тысячи заказов, 8 марта — 37,8 тысяч (число заказов в обычный день — 3-4 тысячи). Рост оборота на 1200% по сравнению со средним показателем за прошедшие 2 месяца.

Пик пройден с уровнем негатива 4,2% (рекордно низкий за всю историю сервиса, несмотря на изменившиеся привычки клиентов и уснувший сервер очередей). Средняя оценка заказов — 4,64.