Как тестировать гипотезы за 48 часов и без разработчиков

«МТС Банк» рассказывает, как в компании появилась R&D-лаборатория и почему это ценный инструмент.

Как тестировать гипотезы за 48 часов и без разработчиков

В потоке идей важно выделить ту, которая реально будет полезна для клиентов. Обычно анализ гипотез занимает несколько месяцев, а иногда — больше полугода. Чтобы максимально ускорить этот процесс, в «МТС Банке» создали экспериментальную R&D лабораторию (research and development — поиск и развитие). С ней проверка гипотез стала быстрее в несколько раз и теперь занимает одну-две недели. Рассказываем, как мы этого добились.

Зачем нужна лаборатория

Кирилл Гурбанов
Chief Digital Officer

Мы постоянно думаем, что можно улучшить, ускорить. Например, у нас time-to-market (время, за которое новый продукт выходит на рынок) составляет всего один-два месяца. Для банка это очень быстро, практически невозможно: у многих финансовых организаций процесс может занимать от полугода.

Но как насчет discovery — этапа, когда мы придумываем, какой запустить продукт и проверяем гипотезы? Иными словами — всегда ли мы делаем то, что действительно нужно нашим пользователям? До недавнего времени с этим было не супер: некоторые идеи попадали в продакшен без достаточной валидации, и часть таких проектов впоследствии пришлось закрыть.

Так у нас появилась идея создать команду экспертов, которая бы занималась только проверкой смелых гипотез: идей нового бизнеса, каких-то WOW-фич или штук, которые никто до нас не делал. Ведь в дискавери-фазе обычно 8 из 10 из них оказываются непригодными.

Как искали формат

В новую команду для проверки гипотез должны были войти дизайнеры, продакты, маркетологи, аналитики, UX-исследователи. На поиски кандидатов высокого уровня могли уйти месяцы, работа такой команды также обходилась бы недешево.

Чтобы двигаться быстрее, решили передать задачу на аутсорс. Познакомились с несколькими студиями, и с октября по декабрь 2021 года вместе с ними проверили несколько крупных гипотез. Например, какие небанковские сервисы стоит добавить в мобильное приложение.

Итоги трех месяцев:

  • Из восьми студий отсеяли четыре, так как нам просто не подошел предложенный ими формат взаимодействия;
  • С двумя студиями продолжили работу по итогам пилота;
  • Активно тестируем новые бизнес-идеи: на каждую уходит 2-4 недели.

С проверкой стратегических бизнес-идей все понятно, а что с небольшими гипотезами? Например, увеличение конверсии с конкретной страницы сайта.Такие гипотезы удобнее и быстрее тестировать своими силами, поэтому мы собрали небольшую команду внутри. В нее вошли бизнес-аналитик, продуктовый маркетолог и Data Scientist. Сейчас завершается пилотный проект. Скоро можно будет оценить эффективность.
Уже сейчас мы пришли к выводу, что правильнее такие growth-команды (команды роста) для проверки гипотез создавать внутри каждого направления бизнеса, а не отдельно «сбоку» сразу на всю организацию. Так у этой маленькой команды будет накапливаться экспертиза в своем направлении и им не придется тратить много времени на погружение в абсолютно разные проекты.

В итоге наша R&D лаборатория состоит из двух частей:

  • двух студий-подрядчиков, которые помогают нам проверять гипотезы побольше и посложнее
  • собственной команды из трех человек, которые проверяют небольшие гипотезы.

Фабрика лендингов — инструмент R&D лаборатории

У маркетологов и продактов всегда масса мелких вопросов. Например, где именно на странице сайта разместить информацию, чтобы клиенты сразу оценили преимущества нового продукта или услуги?

Для решения таких задач продакт-оунер и тимлид фронтенд-разработки из команды сайта, контент-менеджеры и маркетологи создали новый рабочий инструмент — Фабрику лендингов.

Идея зарождения фабрики — показательный пример работы с пользователями, хоть и внутренними. У команды маркетинга много задач, в которых часто приходится запускать новые лендинги и проверять гипотезы. Традиционно, главной болью этого процесса являлась скорость выпуска страниц: процесс занимал от одного до шести месяцев. Во-первых, самой разработкой занималась команда, к которой маркетологи вставали в очередь — у дизайнеров и верстальщиков всегда много проектов. Во-вторых, за то долгое время, пока готовился лендинг, гипотеза могла стать попросту неактуальной.

Как мы создавали фабрику?

Так как наш сайт состоит из компонентов (шапки, блока меню, главного экрана и других), мы решили, что можно создать инструмент, который позволяет эти компоненты собирать как конструктор, без дополнительной разработки.

Выбор стэка провели через SWOT анализ (это такой метод стратегического маркетингового анализа) и большое количество обсуждений технических команд: в итоге остановились на стэке Django + Python. Компоненты и формы на React тянутся из нашего UI-кита — внутреннего каталога с готовыми решениями для интерфейса. Такая схема позволяет держать компоненты актуальными без дополнительных разработок: их достаточно обновить в UI-ките, а не в каждом лендинге.

Кирилл Прокопенко
Head of Web Banking

Мы сразу отказались от готовых конструкторов вроде Tilda — они не подходили для решения наших задач. Отрисовывать заново все компоненты сайта в таких аутсорс решениях было бы долго и сложно, а поддерживать актуальность в автоматическом режиме вообще невозможно. Поэтому мы и решили разработать конструктор сами. Команда поддержала проект, ведь собственный инструмент мы можем свободно подстроить под свои нужды»

Раньше маркетинг ставил задачу на создание лендинга команде сайта. На её выполнение раньше уходило три недели, сейчас — всего два дня. Процесс начинается с описания будущей страницы в Notion. Затем сами маркетологи быстро собирают страницу из уже готовых блоков и публикуют. Участие разработчиков здесь не требуется.

По дизайну страница ничем не отличается от других на сайте банка. Также у нее работают все формы. Клиент может оставить реальную заявку на карту или кредит. Его данные попадут в систему, потому что всё интегрировано по API.

Как это работает?

Шаг 1. У маркетологов появилась гипотеза: «Если добавить информационный блок про моментальное одобрение и бесплатную доставку кредитной карты, то конверсия в заявку на оформление карты будет выше».

Шаг 2. С помощью фабрики лендингов маркетологи создали копию одной из существующих страниц с дополнительным блоком, опубликовали на сайте банка.

Страница до
Страница до
...и страница после.
...и страница после.

Шаг 3. Провели A/B тест: в течение 7 дней случайным образом пользователи попадали либо на обычную страницу, либо на тестовую.

Шаг 4. Сравнили результаты. Выяснили, что новая страница сработала лучше: конверсия выросла на 16%.

Шаг 5. Решили добавить блок на основную страницу.

Артем Шустер
Chief Marketing Officer

Фабрика лендингов — бесценный инструмент для бесконечного улучшения страниц сайта и экранов мобильного приложения. Сейчас мы тестируем по 3–5 гипотез в неделю. Пока делаем А/B-тесты, но в ближайшее время сможем проводить A/B/C (то есть проверять несколько версий страницы сразу) и другие виды тестов. Уже нашли много полезных решений, которые можно и нужно быстро применять ко всем страницам на сайте и в других каналах: например, тот же информационный блок про моментальное одобрение кредитной карты. В самом А/B-тестировании в маркетинге нет ничего необычного, это стандартная практика, но не у каждого маркетолога или продакта есть возможность поставить тестирование на поток и получать значимые результаты так быстро.

Результаты

  • Мы сформировали три направления работы R&D-лаборатории: для проверки крупных бизнес-идей обращаемся к студиям-подрядчикам, для небольших — к своей команде, для повседневных мелких задач — к собственной фабрике лендингов;
  • Команда маркетинга получила инструмент для непрерывного улучшения страниц сайта, экранов приложения и других каналов коммуникации;
  • Идея поставить на поток процесс проверки гипотез протестирована и уже принесла результаты;
  • Наши клиенты немного больше узнали о том, как мы работаем для них.

Рады были поделиться опытом! Напишите в комментариях, как у вас устроена проверка гипотез, какие инструменты используете?

Также приглашаем подписаться на наш телеграм-канал. Там мы рассказываем про корпоративную жизнь банка и еженедельно публикуем дайджест вакансий.

3030
42 комментария

Лендос + трафик + абтесты = дефолт маркетинг

Лендос + трафик + абтесты + МТС = R&D ЛАБОРАБОТИЯ

35
Ответить

Забыли добавить в пищевую цепочку студию на аутсорсе.

2
Ответить

Согласен с вышесказанным комментарием, назвать это r&d лабораторией язык не поворачивается.

+ Не ясно, зачем в такой работе датасаентист.

+ Если вы тестирует новые продукты, под которые делаете лендинги, то такой подход бессмысленный в принципе. Нужен когортный анализ, выход на конкретные продуктовые и иные метрики, а это сделать невозможно за 48 часов. Тестирование новых продуктов по лендингу - дичь.

+ Если уж и делать нормальное r&d, чтобы было как у людей, то можно было бы запросить клиентскую аналитику, чтобы повысить конверсию на сайте. Создать модели для доп.продаж, вот здесь пригодился бы датасаентист.

Но у вас, на сколько я понял, всё примитивно, и ничего этого нет.

В общем, такое себе.

7
Ответить

Какой банк, такая и лаборатория. 🤷‍♂️ Унылые процессы для унылого бизнеса.

6
Ответить

Они не писали, что тестируют новые продукты с помощью лендингов. Они написали, что используют фабрику лендингов для решения «мелких повседневных задач».

Ответить

Можете пожалуйста объяснить почему тестирование на лендингах не работает/дичь? Я новичок пытаюсь разобраться

Ответить

"R&D лаборатория" — все же как-то громко звучит. По тексту выходит, что все сколь-либо значимые гипотезы тестирует подрядчик, а команда МТС передергивает блоки и меняет тексты на лендингах.

8
Ответить