Александр Тычинский, Лента, Как мигрировать с GCP на Yandex Cloud и Opensource и сохранить наработки и ретроспективу

Не так давно компания Утконос стала частью компании Лента. На примере компании Утконос и ее цифровых продуктов, мы расскажем о том, с какими вызовами компания сталкивалась и как на эти вызовы реагировала в начале 2022 года.

Утконос - это один из крупнейших онлайн-гипермаркетов на рынке e-grocery в Москве и Московской области для тех кто ценит широкий ассортимент, высокое качество, свежесть и высокий уровень сервиса.

В компании Утконос есть две цифровые платформы через которые создаются заказы: веб-сайт и приложение.

Ежедневная посещаемость приложения составляет порядка 25 000 уникальных пользователей и на текущий момент через приложение осуществляется чуть больше, чем половина заказов. Приложением пользуется, в основном, лояльная аудитория, либо вернувшиеся пользователи. Утконос старается максимально конвертировать аудиторию web-a в приложение, потому что в приложении конверсия обычно выше. С точки зрения обратной связи от пользователей, у приложения хорошие оценки в сторах и положительные отзывы.

Утконос использовал три ключевых продукта для полноценной аналитики приложения: Amplitude - приложение для оценки продуктовых метрик и продуктовой аналитики. Приложение предоставляет отличный self-service, прост в освоении менеджерами, которые могли с его помощью решать свои задачи самостоятельно. В итоге, почти порядка 80% задач именно так и решались. Помимо web-интерфейса, Утконос достаточно активно использовал API и собирал данные для обогащения как внутренних данных системы, так и для обогащения данных о поведении пользователей самого приложения.

Для маркетинговой аналитики использовался AppsFlyer. Это один из лучших на рынке продуктов, который помогает получать информацию об источниках привлечения, инсталлах или таргетинге. Конкурентов у данного сервиса практически нет. В качестве вспомогательного продукта использовался Firebase. Он помогал в случаях, если были сомнения в тех или иных данных. Например, если было какое-то резкое падение или резкий рост. В таких случаях лучше сравнить информацию от двух аналитических систем, чтобы точно отследить, везде ли это происходит, либо это локальная история. С точки зрения визуализации, у Firebase достаточно примитивный инструментарий, поэтому Утконос использовал нативный коннектор Firebase в Google BigQuery, в котором данные обрабатывались в сыром виде.

В марте стало понятно, что мир меняется и эти изменения могут оказать существенное влияние на продукты Утконоса. Необходимо было предусмотреть возникшие риски, связанные с тем, что в 90% случаев использовались зарубежные аналитические сервисы. В итоге, был проработан план действий и стратегия.

Для перехода на локальные системы, по сути, было необходимо полностью перенести фокус на внедрение новых систем. Вторым вариантом было найти альтернативное решение, использовать его в случае, если зарубежные сервисы перестанут работать. В течение 1-2х месяцев оставаться на нем, и затем, убедившись в том, что новая система функционирует нормально, переходить полностью.

Что касается web-части, аудитория сайта Утконос почти в 2 раза больше, чем у приложений, но при этом она является окном входа в сервис. Достаточно много новичков, неавторизованных пользователей, которых Утконос старается там познакомить с сервисом, а далее перевести в приложения. По статистике, на вебе генерируется только 16% заказов с мобильных устройств. Обычно, среди тех, у кого только web, этот показатель порядка 70%. Поэтому, с точки зрения web-аудитории, это чисто десктоп. Люди, которые на работе или дома пользуются и создают заказы.

Для аналитики использовался классический сервис - Google Analytics Universal. Был ряд ограничений, но они снимались благодаря стримингу OWOX BI, который использовался в качестве альтернативного источника данных для сверки, а также в качестве инструментария для маркетинга. Для качественной оптимизации рекламных кампаний маркетингу было важно, чтобы использовался Google Analytics и Яндекс.Метрика.

Яндекс.Метрика использовалась в меньшей степени. Там были размечены верхнеуровневые события и цели, которые преимущественно нужны были маркетингу для оценки трафика.

От Google Analytics в течение какого-то времени решили не отказываться. К тому же Google Analytics изначально решал только 30% задач, а всё остальное решалось с помощью своих данных и их визуализации в BI платформе. Единственным риском было принято считать Google BigQuery в связи с тем, что он платный. Также Утконосу требовалась альтернатива стримингового сервиса OWOX BI, которую предложили специалисты группы компаний MTRENDO-HOLOWAY. Платформа MTRENDO-HOLOWAY позволяет получать сырые данные в привычном формате сессий GA360 в ClickHouse для разных сценариев локализации: перехват хитов GA3/GA4 для GTM-трекинга, перехват Matomo в случае отказа от GTM, или Yandex Logs API. Был реализован пилотный проект, с результатами которого можно ознакомиться по ссылке.*

*Данные изменены, так как находятся под NDA

С WEB собирался хитстрим, у приложений было несколько аналитических систем, также была обширная сеть микросервисов, по которым Утконос собирал информацию, помимо этого экспортировались данные из рекламных кабинетов.

Во внешнем контуре за обработку данных отвечал OWOX BI, во внутреннем контуре - AirFlow. С помощью AirFlow во внутренний контур по API собирались данные из Amplitude, AppMetrica и AppsFlyer. В качестве хранилища данных использовался ClickHouse, в который поступали логи системы движения данных. Основные таблицы сырых данных при этом хранились в Google BigQuery. Отдельные выжимки данных поступали в Oracle, объединение и обогащение данных происходило именно там, и далее визуализировалось с помощью сервиса BI - Qlik Sense.

Продолжение следует.