Карьера Olga Kovalieva
1 200

Как в Qlean устроен процесс Discovery — Delivery

В формате интервью продуктовая команда Qlean рассказала об исследованиях, модели планирования на год, экспериментах и тестировании гипотез в продукте.

В закладки
Проект снят при поддержке аналитической платформы AppMetrica

Epic talks — проект Epic Growth, где мы общаемся с командами про отработанные процессы, проверку продуктовых гипотез, аналитику и другое.

На вопросы в интервью отвечали:

  • Валерия Коваленко, директор по продукту Qlean;
  • Илья Поляк, руководитель отдела дизайна;
  • Регина, менеджер продукта;
  • Никита, менеджер продукта;
  • Рома, ведущий аналитик.

Команда

Как менеджеры продуктов взаимодействуют с аналитиками, как ставят задачи и выстраивают коммуникацию?

Мы работаем по методологии Scrum. У нас несколько выделенных команд. Каждая команда полноценная. Это значит, что она может самостоятельно улететь на Марс, если захочет.

Почти в каждой команде есть аналитик. Продакт и аналитик скорее выстраивают отношения не «заказчик и исполнитель», а отношения партнёров, поэтому не совсем правильно говорить, что кто-то кому-то ставит задачи.

Как правило, они договариваются, что делать на этой неделе или в этом квартале. И каждый понимает, что ему нужно сделать для достижения общей цели.

Кто в итоге принимает финальное решение изменений в продукте?

У нас нет жёсткой иерархии. На уровне команды ребята часто договариваются. Понятно, что продакт так или иначе ответственен за деньги и за продукт. Но при этом если аналитик или дизайнер в корне не согласны, то, скорее всего, они сойдутся на каком-то качественном тесте.

Продуктовые исследования

Какие исследования вы проводите?

Мы давно не делали больших количественных исследований рынка, потому что они дорогие. Это больше маркетинговый инструмент, который ты используешь, чтобы померить рынок.

Что касается продуктовых, кто-то на прошлой неделе запустил исследование методом «однорукого бандита», кто-то делает бесконечные A/B-тесты. Мы делаем очень много качественных исследований. Все тестируем через call-центр. Хочется донести тезис: «Всё, что вы найдёте и вам покажется, что оно вам подходит, — надо пробовать».

Как устроен сам процесс исследования?

Есть воронка. Она состоит из четырёх этапов.

Первый этап — это исследование. Мы стараемся как можно больше общаться с пользователями, с экспертами, конкурентами, похожими сервисами по всему миру. Отсюда нам капает миллион тысяч гипотез, которые нужно проверить.

Второй уровень — это качественные исследования. Мы стараемся проверять гипотезы как можно дешевле: с помощью call-центра или чатиков.

Есть количественные исследования. Это разного вида A/B-тесты. Если мы понимаем, что фича дошла до этого момента, мы делаем MVP. Если MVP на продакшене показывает хорошие результаты — переходим к разработке.

Что касается Customer Development. Каждый менеджер, кому это важно и нужно сейчас, делает выборку, прозванивает клиентов, так как персональные отношения очень располагают клиентов, они проявляют больше заинтересованности. Я позвала десять клиентов на юзабилити-исследование, и оно оказалось очень эффективным. Мы нашли определённое количество багов, которые так просто бы не выловили.

Можно также привлекать и другие ресурсы для поиска аудитории, если мы хотим провести наиболее масштабные исследования. Например, мы задействовали ресурс нашего call-центра, у них хорошо налажен процесс и поставлен на поток.

Но всё сильно зависит от специфики. Не всем нужно делать A/B-тесты. Например, A/B-тесты в retention-направлении — это трата времени. Потому что пока ты ждёшь, когда к тебе вернётся когорта или когда к тебе вернутся люди, всё в мире меняется: начиная от курса рубля и заканчивая всеми процессами в твоём продукте.

Процессы

Как в Qlean устроен процесс Discovery — Delivery?

Product Discovery – это та воронка, о которой уже говорили. Нужно максимально много ресёрчить, максимально много проверять качественно, максимально мало проверять количественно, потому что это дорого, и делать как можно меньше MVP, потому что это тоже дорого. Больше всего мы используем общение с нашими пользователями и бенчмарки. Смотрим на похожие компании по всему миру. Смотрим и на непохожие компании.

Что касается Product Delivery, то это коррелирующие вещи с Product Discovery. Если ты сразу всё выкатываешь в продакшн, то ваш Delivery сильно от этого страдает. Если ты стараешься как можно меньше выдавать в продакшн, то часто слышишь от инженеров, что им не хватает продуктовых задач.

Поэтому, что касается Product Delivery, то мы стараемся выпускать только то, в чём уверены. Не всегда это, к сожалению, получается. Если у вас новый и кристально чистый продукт — это легко делать. Если у вас уже есть легаси, то часто приходится остановиться и что-то вернуть — то, что ты задолжал своим клиентам или клинерам.

Как настроен процесс работы с гипотезами?

Мы используем три инструмента, чтобы генерировать гипотезы. Это интервью с нашими пользователями, UX-тестирование и Customer Development. Мы хотим как можно больше инсайтов доставать из аналитики.

Стараемся не давать задачки аналитике: «Выгрузи это, а я потом посмотрю», а стараемся давать довольно объёмную задачу-проблему, которую аналитик разбирает и выдаёт инсайты относительно продукта. И стараемся как можно чаще общаться с рынком – это очень важный источник инсайтов.

Все инсайты мы храним в нашей условной базе данных в Notion. У меня есть табличка гипотез, и любой из инженеров может зайти, добавить или почелленджить гипотезы, которые там уже есть. Мы стараемся максимально честно их приоритезировать. И дальше идёт процесс с продуктовым Discovery, с качественными и количественными исследованиями.

Эксперименты

Эксперименты: что сработало лучше, чем вы ожидали, и наоборот?

Тариф «эконом» сработал хуже, чем ожидали. Мы думали, что придумали новацию, что мы сделали лоукостер в мире уборок, он будет круто работать.

Мы сделали юнит-экономику, которая должна была приносить достаточное количество маржи. Мы очень круто этот тариф научились продавать. Мы смогли пробить все свои рекорды по количеству привлечённых новых клиентов в месяц.

Но, к сожалению, всё, что касается бэк-офиса, а именно нашего операционного бизнеса, сработало не так хорошо, поэтому нам пришлось на время этот тариф закрыть.

Сработало лучше, чем мы думали: наш проект с окнами. Это фактически как «охватный маркетинг», который довольно дорого стоит. А мы делаем охватный маркетинг через отдельный продукт, заходя к тебе в квартиру и продавая тебе потом и наши рекуррентные уборки. Мы никогда не думали, что будем 50 тысяч окон мыть в году. Я уверена, что в следующем году мы ещё больше сделаем.

У нас есть место, где мы нанимаем клинеров, они проходят там интервью. Я не думала, что добавив туда продукт, можно настолько эффективными сделать процессы. Это помогло в этом году в три раза вырасти именно по прибыли.

Аналитика

Какая модель планирования на год?

Идея нашей модели в том, что все продуктовые изменения мы переводим сразу в деньги и переводим в общую P&L, чтобы сразу видеть, что мы ввели какую-то новую фичу, и она повлияла на определённую статью P&L.

По каждой команде мы ставим определённые цели. Например, команда Retention должна увеличить конверсию, уборку на n-процентов. Мы заходим в эту модельку, вписываем процент конверсии (допустим, увеличено на 5%). И у нас в P&L сразу пересчитывается количество уборок, retention cost, и мы сразу видим, сколько денег нам это приносит.

Много команд. Много фичей. Ребята могут в любой момент времени зайти, поставить какую-то цифру и посмотреть, что получится.

Мы хотели уровень бизнеса и уровень продукта вместе связать в этой модели, чтобы, меняя что-то в продукте, ты сразу мог увидеть, какое влияние это окажет на бизнес.

Больше интервью и инсайтов по продуктовому маркетингу — в Telegram-канале @epicgrowth.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Olga Kovalieva", "author_type": "self", "tags": [], "comments": 4, "likes": 13, "favorites": 44, "is_advertisement": false, "subsite_label": "hr", "id": 64084, "is_wide": false, "is_ugc": true, "date": "Wed, 10 Apr 2019 14:55:25 +0300" }
{ "id": 64084, "author_id": 113365, "diff_limit": 1000, "urls": {"diff":"\/comments\/64084\/get","add":"\/comments\/64084\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/64084"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199121, "last_count_and_date": null }

4 комментария 4 комм.

Популярные

По порядку

2

>> Валерия Коваленко, директор по закупкам Qlean;

товарищ редактор материала, вы уверены, что должность - такая? а не продакт директор (CPO)? ;))

Qlean и всей команде большой респект - создать себе рынок и развивать на нём продукт, это круть.
При этом, в интервью от CPO странно слышать фразы типа "кто как хочет - так и тестит гипотезы" или "как там эта фича\ прога называется, я забыла". Такая слегка пренебрежительная манера повествования создаёт ощущение, что в компании кто в лес - кто по дрова, а CPO или плохо подготовилась или весьма поверхностно в курсе, что у неё в хозяйстве происходит.

И даже если отношение СРО, атмосфера вся такая и есть - и как это это работает, даёт результат - нафига демонстрировать это в публичном видео? (вопрос к тому, кто это видео режиссировать, снимал и аппрувил).

а так, повторюсь, в сторону Qlean как продукта - самые позитивные эмоции.

Ответить
1

Девчонка знает что делает. Молодец. Но зачем это видео вообще снималось - не ясно.

Ответить

Комментарий удален

0

Регина крутая!

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления
{ "page_type": "default" }