Как тестировать гипотезы за 48 часов и без разработчиков

«МТС Банк» рассказывает, как в компании появилась R&D-лаборатория и почему это ценный инструмент.

В потоке идей важно выделить ту, которая реально будет полезна для клиентов. Обычно анализ гипотез занимает несколько месяцев, а иногда — больше полугода. Чтобы максимально ускорить этот процесс, в «МТС Банке» создали экспериментальную R&D лабораторию (research and development — поиск и развитие). С ней проверка гипотез стала быстрее в несколько раз и теперь занимает одну-две недели. Рассказываем, как мы этого добились.

Мы постоянно думаем, что можно улучшить, ускорить. Например, у нас time-to-market (время, за которое новый продукт выходит на рынок) составляет всего один-два месяца. Для банка это очень быстро, практически невозможно: у многих финансовых организаций процесс может занимать от полугода.

Но как насчет discovery — этапа, когда мы придумываем, какой запустить продукт и проверяем гипотезы? Иными словами — всегда ли мы делаем то, что действительно нужно нашим пользователям? До недавнего времени с этим было не супер: некоторые идеи попадали в продакшен без достаточной валидации, и часть таких проектов впоследствии пришлось закрыть.

Так у нас появилась идея создать команду экспертов, которая бы занималась только проверкой смелых гипотез: идей нового бизнеса, каких-то WOW-фич или штук, которые никто до нас не делал. Ведь в дискавери-фазе обычно 8 из 10 из них оказываются непригодными.

В новую команду для проверки гипотез должны были войти дизайнеры, продакты, маркетологи, аналитики, UX-исследователи. На поиски кандидатов высокого уровня могли уйти месяцы, работа такой команды также обходилась бы недешево.

Чтобы двигаться быстрее, решили передать задачу на аутсорс. Познакомились с несколькими студиями, и с октября по декабрь 2021 года вместе с ними проверили несколько крупных гипотез. Например, какие небанковские сервисы стоит добавить в мобильное приложение.

Итоги трех месяцев:

С проверкой стратегических бизнес-идей все понятно, а что с небольшими гипотезами? Например, увеличение конверсии с конкретной страницы сайта.Такие гипотезы удобнее и быстрее тестировать своими силами, поэтому мы собрали небольшую команду внутри. В нее вошли бизнес-аналитик, продуктовый маркетолог и Data Scientist. Сейчас завершается пилотный проект. Скоро можно будет оценить эффективность.
Уже сейчас мы пришли к выводу, что правильнее такие growth-команды (команды роста) для проверки гипотез создавать внутри каждого направления бизнеса, а не отдельно «сбоку» сразу на всю организацию. Так у этой маленькой команды будет накапливаться экспертиза в своем направлении и им не придется тратить много времени на погружение в абсолютно разные проекты.

В итоге наша R&D лаборатория состоит из двух частей:

У маркетологов и продактов всегда масса мелких вопросов. Например, где именно на странице сайта разместить информацию, чтобы клиенты сразу оценили преимущества нового продукта или услуги?

Для решения таких задач продакт-оунер и тимлид фронтенд-разработки из команды сайта, контент-менеджеры и маркетологи создали новый рабочий инструмент — Фабрику лендингов.

Идея зарождения фабрики — показательный пример работы с пользователями, хоть и внутренними. У команды маркетинга много задач, в которых часто приходится запускать новые лендинги и проверять гипотезы. Традиционно, главной болью этого процесса являлась скорость выпуска страниц: процесс занимал от одного до шести месяцев. Во-первых, самой разработкой занималась команда, к которой маркетологи вставали в очередь — у дизайнеров и верстальщиков всегда много проектов. Во-вторых, за то долгое время, пока готовился лендинг, гипотеза могла стать попросту неактуальной.

Так как наш сайт состоит из компонентов (шапки, блока меню, главного экрана и других), мы решили, что можно создать инструмент, который позволяет эти компоненты собирать как конструктор, без дополнительной разработки.

Выбор стэка провели через SWOT анализ (это такой метод стратегического маркетингового анализа) и большое количество обсуждений технических команд: в итоге остановились на стэке Django + Python. Компоненты и формы на React тянутся из нашего UI-кита — внутреннего каталога с готовыми решениями для интерфейса. Такая схема позволяет держать компоненты актуальными без дополнительных разработок: их достаточно обновить в UI-ките, а не в каждом лендинге.

Мы сразу отказались от готовых конструкторов вроде Tilda — они не подходили для решения наших задач. Отрисовывать заново все компоненты сайта в таких аутсорс решениях было бы долго и сложно, а поддерживать актуальность в автоматическом режиме вообще невозможно. Поэтому мы и решили разработать конструктор сами. Команда поддержала проект, ведь собственный инструмент мы можем свободно подстроить под свои нужды»

Раньше маркетинг ставил задачу на создание лендинга команде сайта. На её выполнение раньше уходило три недели, сейчас — всего два дня. Процесс начинается с описания будущей страницы в Notion. Затем сами маркетологи быстро собирают страницу из уже готовых блоков и публикуют. Участие разработчиков здесь не требуется.

По дизайну страница ничем не отличается от других на сайте банка. Также у нее работают все формы. Клиент может оставить реальную заявку на карту или кредит. Его данные попадут в систему, потому что всё интегрировано по API.

Как это работает?

Шаг 1. У маркетологов появилась гипотеза: «Если добавить информационный блок про моментальное одобрение и бесплатную доставку кредитной карты, то конверсия в заявку на оформление карты будет выше».

Шаг 2. С помощью фабрики лендингов маркетологи создали копию одной из существующих страниц с дополнительным блоком, опубликовали на сайте банка.

Шаг 3. Провели A/B тест: в течение 7 дней случайным образом пользователи попадали либо на обычную страницу, либо на тестовую.

Шаг 4. Сравнили результаты. Выяснили, что новая страница сработала лучше: конверсия выросла на 16%.

Шаг 5. Решили добавить блок на основную страницу.

Фабрика лендингов — бесценный инструмент для бесконечного улучшения страниц сайта и экранов мобильного приложения. Сейчас мы тестируем по 3–5 гипотез в неделю. Пока делаем А/B-тесты, но в ближайшее время сможем проводить A/B/C (то есть проверять несколько версий страницы сразу) и другие виды тестов. Уже нашли много полезных решений, которые можно и нужно быстро применять ко всем страницам на сайте и в других каналах: например, тот же информационный блок про моментальное одобрение кредитной карты. В самом А/B-тестировании в маркетинге нет ничего необычного, это стандартная практика, но не у каждого маркетолога или продакта есть возможность поставить тестирование на поток и получать значимые результаты так быстро.

Рады были поделиться опытом! Напишите в комментариях, как у вас устроена проверка гипотез, какие инструменты используете?

Также приглашаем подписаться на наш телеграм-канал. Там мы рассказываем про корпоративную жизнь банка и еженедельно публикуем дайджест вакансий.