«МТС Банк» рассказывает, как в компании появилась R&D-лаборатория и почему это ценный инструмент.
В потоке идей важно выделить ту, которая реально будет полезна для клиентов. Обычно анализ гипотез занимает несколько месяцев, а иногда — больше полугода. Чтобы максимально ускорить этот процесс, в «МТС Банке» создали экспериментальную R&D лабораторию (research and development — поиск и развитие). С ней проверка гипотез стала быстрее в несколько раз и теперь занимает одну-две недели. Рассказываем, как мы этого добились.
Зачем нужна лаборатория
Мы постоянно думаем, что можно улучшить, ускорить. Например, у нас time-to-market (время, за которое новый продукт выходит на рынок) составляет всего один-два месяца. Для банка это очень быстро, практически невозможно: у многих финансовых организаций процесс может занимать от полугода.
Но как насчет discovery — этапа, когда мы придумываем, какой запустить продукт и проверяем гипотезы? Иными словами — всегда ли мы делаем то, что действительно нужно нашим пользователям? До недавнего времени с этим было не супер: некоторые идеи попадали в продакшен без достаточной валидации, и часть таких проектов впоследствии пришлось закрыть.
Так у нас появилась идея создать команду экспертов, которая бы занималась только проверкой смелых гипотез: идей нового бизнеса, каких-то WOW-фич или штук, которые никто до нас не делал. Ведь в дискавери-фазе обычно 8 из 10 из них оказываются непригодными.
Как искали формат
В новую команду для проверки гипотез должны были войти дизайнеры, продакты, маркетологи, аналитики, UX-исследователи. На поиски кандидатов высокого уровня могли уйти месяцы, работа такой команды также обходилась бы недешево.
Чтобы двигаться быстрее, решили передать задачу на аутсорс. Познакомились с несколькими студиями, и с октября по декабрь 2021 года вместе с ними проверили несколько крупных гипотез. Например, какие небанковские сервисы стоит добавить в мобильное приложение.
Итоги трех месяцев:
- Из восьми студий отсеяли четыре, так как нам просто не подошел предложенный ими формат взаимодействия;
- С двумя студиями продолжили работу по итогам пилота;
- Активно тестируем новые бизнес-идеи: на каждую уходит 2-4 недели.
С проверкой стратегических бизнес-идей все понятно, а что с небольшими гипотезами? Например, увеличение конверсии с конкретной страницы сайта.Такие гипотезы удобнее и быстрее тестировать своими силами, поэтому мы собрали небольшую команду внутри. В нее вошли бизнес-аналитик, продуктовый маркетолог и Data Scientist. Сейчас завершается пилотный проект. Скоро можно будет оценить эффективность.
Уже сейчас мы пришли к выводу, что правильнее такие growth-команды (команды роста) для проверки гипотез создавать внутри каждого направления бизнеса, а не отдельно «сбоку» сразу на всю организацию. Так у этой маленькой команды будет накапливаться экспертиза в своем направлении и им не придется тратить много времени на погружение в абсолютно разные проекты.
В итоге наша R&D лаборатория состоит из двух частей:
- двух студий-подрядчиков, которые помогают нам проверять гипотезы побольше и посложнее
- собственной команды из трех человек, которые проверяют небольшие гипотезы.
Фабрика лендингов — инструмент R&D лаборатории
У маркетологов и продактов всегда масса мелких вопросов. Например, где именно на странице сайта разместить информацию, чтобы клиенты сразу оценили преимущества нового продукта или услуги?
Для решения таких задач продакт-оунер и тимлид фронтенд-разработки из команды сайта, контент-менеджеры и маркетологи создали новый рабочий инструмент — Фабрику лендингов.
Идея зарождения фабрики — показательный пример работы с пользователями, хоть и внутренними. У команды маркетинга много задач, в которых часто приходится запускать новые лендинги и проверять гипотезы. Традиционно, главной болью этого процесса являлась скорость выпуска страниц: процесс занимал от одного до шести месяцев. Во-первых, самой разработкой занималась команда, к которой маркетологи вставали в очередь — у дизайнеров и верстальщиков всегда много проектов. Во-вторых, за то долгое время, пока готовился лендинг, гипотеза могла стать попросту неактуальной.
Как мы создавали фабрику?
Так как наш сайт состоит из компонентов (шапки, блока меню, главного экрана и других), мы решили, что можно создать инструмент, который позволяет эти компоненты собирать как конструктор, без дополнительной разработки.
Выбор стэка провели через SWOT анализ (это такой метод стратегического маркетингового анализа) и большое количество обсуждений технических команд: в итоге остановились на стэке Django + Python. Компоненты и формы на React тянутся из нашего UI-кита — внутреннего каталога с готовыми решениями для интерфейса. Такая схема позволяет держать компоненты актуальными без дополнительных разработок: их достаточно обновить в UI-ките, а не в каждом лендинге.
Мы сразу отказались от готовых конструкторов вроде Tilda — они не подходили для решения наших задач. Отрисовывать заново все компоненты сайта в таких аутсорс решениях было бы долго и сложно, а поддерживать актуальность в автоматическом режиме вообще невозможно. Поэтому мы и решили разработать конструктор сами. Команда поддержала проект, ведь собственный инструмент мы можем свободно подстроить под свои нужды»
Раньше маркетинг ставил задачу на создание лендинга команде сайта. На её выполнение раньше уходило три недели, сейчас — всего два дня. Процесс начинается с описания будущей страницы в Notion. Затем сами маркетологи быстро собирают страницу из уже готовых блоков и публикуют. Участие разработчиков здесь не требуется.
По дизайну страница ничем не отличается от других на сайте банка. Также у нее работают все формы. Клиент может оставить реальную заявку на карту или кредит. Его данные попадут в систему, потому что всё интегрировано по API.
Как это работает?
Шаг 1. У маркетологов появилась гипотеза: «Если добавить информационный блок про моментальное одобрение и бесплатную доставку кредитной карты, то конверсия в заявку на оформление карты будет выше».
Шаг 2. С помощью фабрики лендингов маркетологи создали копию одной из существующих страниц с дополнительным блоком, опубликовали на сайте банка.
Шаг 3. Провели A/B тест: в течение 7 дней случайным образом пользователи попадали либо на обычную страницу, либо на тестовую.
Шаг 4. Сравнили результаты. Выяснили, что новая страница сработала лучше: конверсия выросла на 16%.
Шаг 5. Решили добавить блок на основную страницу.
Фабрика лендингов — бесценный инструмент для бесконечного улучшения страниц сайта и экранов мобильного приложения. Сейчас мы тестируем по 3–5 гипотез в неделю. Пока делаем А/B-тесты, но в ближайшее время сможем проводить A/B/C (то есть проверять несколько версий страницы сразу) и другие виды тестов. Уже нашли много полезных решений, которые можно и нужно быстро применять ко всем страницам на сайте и в других каналах: например, тот же информационный блок про моментальное одобрение кредитной карты. В самом А/B-тестировании в маркетинге нет ничего необычного, это стандартная практика, но не у каждого маркетолога или продакта есть возможность поставить тестирование на поток и получать значимые результаты так быстро.
Результаты
- Мы сформировали три направления работы R&D-лаборатории: для проверки крупных бизнес-идей обращаемся к студиям-подрядчикам, для небольших — к своей команде, для повседневных мелких задач — к собственной фабрике лендингов;
- Команда маркетинга получила инструмент для непрерывного улучшения страниц сайта, экранов приложения и других каналов коммуникации;
- Идея поставить на поток процесс проверки гипотез протестирована и уже принесла результаты;
- Наши клиенты немного больше узнали о том, как мы работаем для них.
Рады были поделиться опытом! Напишите в комментариях, как у вас устроена проверка гипотез, какие инструменты используете?
Также приглашаем подписаться на наш телеграм-канал. Там мы рассказываем про корпоративную жизнь банка и еженедельно публикуем дайджест вакансий.
Лендос + трафик + абтесты = дефолт маркетинг
Лендос + трафик + абтесты + МТС = R&D ЛАБОРАБОТИЯ
Забыли добавить в пищевую цепочку студию на аутсорсе.
Согласен с вышесказанным комментарием, назвать это r&d лабораторией язык не поворачивается.
+ Не ясно, зачем в такой работе датасаентист.
+ Если вы тестирует новые продукты, под которые делаете лендинги, то такой подход бессмысленный в принципе. Нужен когортный анализ, выход на конкретные продуктовые и иные метрики, а это сделать невозможно за 48 часов. Тестирование новых продуктов по лендингу - дичь.
+ Если уж и делать нормальное r&d, чтобы было как у людей, то можно было бы запросить клиентскую аналитику, чтобы повысить конверсию на сайте. Создать модели для доп.продаж, вот здесь пригодился бы датасаентист.
Но у вас, на сколько я понял, всё примитивно, и ничего этого нет.
В общем, такое себе.
Какой банк, такая и лаборатория. 🤷♂️ Унылые процессы для унылого бизнеса.
Они не писали, что тестируют новые продукты с помощью лендингов. Они написали, что используют фабрику лендингов для решения «мелких повседневных задач».
И что значат ваши слова, вы можете объяснить??
Можете пожалуйста объяснить почему тестирование на лендингах не работает/дичь? Я новичок пытаюсь разобраться
Потому что у каждого тестирования есть конкретный смысл.
Например, как вы посчитаете ltv по лендингу?? Оцените конверсию воронки?? Эффективность клиентского пути??
Лендинг это НЕБОЛЬШАЯ ЧАСТЬ того с чем должен взаимодействовать клиент.
И нагон трафика на лендинг в сущности бесполезная вещь.
Ну нагнали вы трафик, и что дальше??
В статье написана бессмысленная чушь. Причём в разных смыслах бессмысленная.
Лендинг можно использовать в качестве быстрого подтверждения гипотез. На небольшой выборке посмотреть нужно ли это пользователям вообще. Это гибкий инструмент. И, если его правильно использовать, то можно много инсайдов получить. А дальше уже масштабировать и идти в AB. Тут больше вопросов к набору стат.значимости за пару дней.
Они не тестируют лендинги, они используют лендинг как один из инструментов проверки гипотез
Посмотреть что?? Вы говорите абстрактные вещи, вы можете привести конкретику?? Я привел конкретные примеры из бизнеса почему то, что сделано - дичь.
Да, локально можно посмотреть какая кнопка (красная или синяя) даёт лучшие метрики по клиентскому пути. Но если тесты такие, то это 100% не r&d лаборатория. И датасаентисты тут точно не нужны.
Конкретного примера из бизнеса у вас я не увидела, но я приведу, мне не жалко.
Допустим, после качественных исследований вы поняли, что клиенты говорят "хочу загрузить фото понравившегося интерьера и увидеть все аналогичные товары таких же цветов и похожего дизайна".
Вам нужно подтвердить гипотезу количественно.
Вариант 1. Пойти к дата сайентистам (оп, как раз может и он пригодиться) и попросить их обучить нейронку товарами и их характеристиками, потом запустить AB и не подтвердить гипотезу, что это нужно клиентам, при этом, потратить много ресурсов - денег, времени и тд.
Вариант 2. Сделать лендос с возможностью загрузить туда фото понравившегося интерьера и с общанием сделать быстро похожий из товаров (вы делаете это со своей стороны руками дизайнеров). Ну и смотрите воронку надо ли это пользователям или они балуются просто. Если гипотеза подтверждается, то можно вернуться к варианту 1.
Если вы не увидели примеров, значит не прочитали то, что я написал.
Вы в своем примере НЕ написали какую гипотезу вы тестируете.
Ну сделали вы какую-то новую функцию, и что?? Тестируете то, что. Вы написали что тестируете, но не написали что конкретно.
LTV?? Что??
По второму примеру. Воронку по лендингу вы посмотреть не можете, потому что у вас есть ТОЛЬКО верхняя часть воронки.
Вы нагнали трафик и ничего не получите. Продукта нет. Покупка совершена быть не может.
Более того, сейчас в основном ориентация на ltv, а не разовые продажи. Ltv вы посчитать не можете тем более.
Таким образом, вы пишите просто бессмысленные вещи, которые не имеют ничего общего с реальностью.
"R&D лаборатория" — все же как-то громко звучит. По тексту выходит, что все сколь-либо значимые гипотезы тестирует подрядчик, а команда МТС передергивает блоки и меняет тексты на лендингах.
Я когда хочу по большому делаю гипотезу о размерах будущего продукта, о его цвете и запахе, и что не мало важно о консистенции, рисую 3D модель, в качестве инструмента белый друг, он принимает работу как есть и всегда доволен, в прочем я тоже
Видимо так и получаются Ваши комментарии
Ыы)) душный омежка)) даже не знаю чей коммент хуже, мой или твой
«омежка» - это омега-самец по Лесли?
Подскажите, а как вы набираете стат.значимость при проведении 3-5 AB-тестов в неделю. У mtsbank.ru не такой большой трафик. И на какие метрики смотрите? Proxy наверху воронки?
Алиса, на самом деле трафик у нас не маленький. Его хватает для статистически значимых результатов.
Любой эксперимент нацелен на какой-то один конкретный шаг. Он может быть выше по воронке или ниже. Смотрим только на него, остальные элементы остаются без изменений. Также можем делать эксперименты на какой-то конкретный тип трафика. Например, некоторые срабатывают только для CPC.
А стат.значимость у вас 95? Или снизили?
Так. Вы для начала в рекламе везде не пишите, что карта бесплатная.
@dengoff , вы про карту MTS CASHBACK? У неё бесплатное обслуживание при выполнении условий. В коммуникациях мы предупреждаем клиентов об этом. Если у вас есть пример обратного, скажите где и мы поправим информацию.
Да, где-то в сноске или это выясняется по факту в подробностях тарифа.
@dengoff Спасибо за обратную связь. Подумаем, как это сделать более понятным.
Но о них мы конечно не расскажем.
Наши клиенты немного больше узнали о том, как мы работаем для них.Классная метрика, ставлю ЛОЯЛЬНОСТЬ.
Комментарий недоступен
Это вообще бесполезные «специалисты». Раздутые штаты и «умные» выражения. В Comedy Club максимально точно описали: «приклеить или прибить». Всех на улицу.
А куда убежали все разрабы из МТС банка?
А куда они убежали?
Рассказывают о внедрении &D ЛАБОРАБОТИИ, но в банке отсутствуют базовые услуги по оформлении карты онлайн...
P.S. Чтобы оформить карту онлайн(виртуальную), нужно пойти в банк или точку мтс, чтобы написать заявление на привязку номера к банку...
@Данил Зубов , виртуальная карта оформляется в приложении дистанционно. Но если при проверке выяснится, что ваши данные неактуальны, мы попросим посетить наш офис чтобы их скорректировать.
За то, если кредитку оформить, то приходить не надо. Всё мгновенно и онлайн)
Как проверить быстро гипотезу? — Давайте, е**нем лендинг *WOW-эффект*.
Комментарий недоступен
Задачи R&D выполняет? Выполняет. Полагаю, конструктор ими и был разработан. Не только же сложные штуки придумывать, бизнес не всегда про инновации, часто нужно решать конкретные задачи здесь и сейчас. Чаще всего, если точнее. И какая разница, из кого состоит команда и кто задачи реализует. Аутсорс - это не значит, что заслуги отходят реализатору, аутсорс значит, что вы можете быстро конфигурировать команды под конкретную задачу, лишаясь необходимости долго и через боль кидать сотрудников с проекта на проект.
Интересный опыт, спасибо.
+
Спасибо. Не надо.
Вы там аккуратнее с исследованиями. Слишком революционно для всех смежных ниш! Переворот рынка неизбежен.
Я с сети МТС ушёл со своим номером. Лет 20 пользовался. Очень плохая связь, особенно интернет. Вместо того чтобы тратить миллиарды и содержать толпу дармоедов просто сделайте тарифы на 50% дешевле. Без всяких лабораторий.
Жаль, что наше сотрудничество не продолжилось. Расскажите подробнее про трудности со связью, мы передадим информацию своим коллегам, которые отвечают за качество покрытия связи.
А толку? Как не было на даче интернета, так и нет. Нужно теле2 покупать, все летает.