Как отличить мидла от сеньора за один вопрос: как мы в Авито собеседуем продакт-менеджеров

Привет! Меня зовут Игорь Седачев, я руководитель продуктового направления профилей в Авито. Я провел больше ста интервью менеджеров продукта за последние полтора года, и заметил, что для меня вопрос «как выбрать правильную метрику для теста» постепенно перешёл в категорию ключевых и встал в один ряд с целеполаганием, приоритизацией и широтой взгляда на бизнес. Теперь он помогает мне определить степень зрелости кандидата: мидл или сеньор.

С его помощью можно проверить не только аналитические навыки, но и на практике увидеть, как кандидат использует продуктовый подход, а иногда даже поговорить о принципах управления и выстраивания коммуникации между командами. В статье расскажу, что я спрашиваю, как отвечают чаще всего и каких ответов я жду от менеджеров продукта высокого уровня.

Разберу кейс, который я обычно предлагаю продактам.

Вводные. Представим, что у нас есть есть сайт с объявлениями — классифайд, — который умеет только публиковать карточки товаров и показывать номера телефонов продавцов. Потенциальный покупатель должен кликнуть на кнопку «позвонить», чтобы увидеть номер.

Главная метрика компании — количество контактов, одним контактом считается одно нажатие на кнопку «позвонить». Эту метрику растят все команды, она стоит в целях у топ-менеджмента и является корнем дерева метрик.

Команда классифайда решает, что пора начать рассказывать не только о товарах, но и о людях, которые их продают. Так делают конкуренты, об этом просят пользователи, а по рынку ходят отчёты, которые показывают: публикация информации о продавцах растит ретеншн покупателей.

Менеджер продукта, которому досталась эта инициатива, методично разбирается с проблемами пользователей и проводит качественные тесты. Он решает, что оптимальное решение — вывести на карточку товара базовую информацию о продавце: имя, аватарку, активность на площадке, дату регистрации, наличие подтверждённых документов и/или телефона.

Вопрос. Теперь менеджеру продукта нужно провести A/B-тест, чтобы убедиться в качестве решения. Поставьте себя на его место и объясните, как бы вы выбрали критерии успеха: какая метрика должна измениться и каким образом?

Самый частый ответ на собеседованиях: «раз компания растит контакты, значит, новое решение тоже должно растить контакты». Ниже в статье я объясню, почему это не тот уровень рассуждений, которого я жду от мидла или сеньора, но сначала хочу показать, как в таком случае продолжаю интервью.

Если кандидат отвечает, что нужно растить контакты, я предлагаю разобрать результаты эксперимента, в котором мы обнаружили их падение. Объясняю, что исход теста правдоподобный — мы проводили такие эксперименты, и в результате контакты уменьшались.

Теперь у кандидата есть три способа продолжить разбирать кейс:

❌ Сразу отказаться от информации о продавце на карточке, признав, что её появление роняет метрику и ухудшает пользовательский опыт.

🤔 Предположить, что проблема с тем, как отображается информация о продавце и придумать другое решение, — визуальное или архитектурное. Спойлер: в таком случае я говорю кандидату, что будущие A/B-тесты дадут тот же результат — количество контактов упадёт.

👍 Подумать о том, насколько правильно выбранная метрика описывает изменения пользовательского опыта, и задать себе вопрос: «с чего мы вообще взяли, что нужно считать контакты, и почему они должны расти». Это удачный ответ и движение в правильную сторону.

Кейс сложно даётся большинству кандидатов, потому что они чаще всего работают с готовыми метриками, редко придумывают их сами или пересматривают. Люди сразу цепляются за «количество контактов», раз это главная метрика в компании, и предполагают, что она всегда должна расти. Это простой, но неудачный ответ. Мы ждем, что кандидат привык проверять на адекватность саму постановку задачи, а не слепо следовать её условиям.

Чтобы выбрать подходящую метрику для теста, нужно представить, что происходит с пользователем, когда он видит карточку товара с дополнительной информацией о продавце.

Рассуждение. Представим, что на классифайде есть 10 продавцов, которые продают 10 одинаковых айфонов по одной и той же цене. Предположим, что мы умеем показывать, кто из продавцов хороший, а кто плохой: двое объективно хороши, пять — средние, а три объективно плохи.

Оговорка: что значит «хороший продавец» и как это определить — тема для отдельной статьи, и на собеседовании мы не пытаемся решить эту задачу. Сделаем допущение, что во время подготовки к тесту менеджер продукта действительно выбрал оптимальное решение и теперь у нас есть техническая возможность показать на карточке, что продавец хороший, средний или плохой.

Мы хотим рассказать на карточке товара о качестве продавца и планируем запустить A/B-тест, чтобы проверить, стоит ли это делать. В контрольном варианте пользователи увидят 10 одинаковых карточек, в тестовом — увидят 10 новых, с качеством продавцов.

В контрольном варианте потенциальному покупателю нужно методично обзвонить 10 номеров, чтобы выяснить, что там за продавцы. Так он совершает 10 контактов.

Если совсем точно, то Х контактов, где X не больше 10: в реальности кто-то согласится на первого продавца, а кто-то, например, устанет после пятого звонка и не станет проверять дальше.

В тестовом варианте покупатель увидит на карточках, что двое продавцов хорошие, а остальным звонить смысла нет. В итоге он совершает 1–2 контакта.

Если совсем точно, то Y контактов, причём Y, скорее всего, меньше Х — например, 2 против 10.

Приносит ли решение пользу покупателю? Приносит. Уронили ли мы метрику «контакты»? Уронили:

Ответ. Выгода для пользователей выражается в падении метрики «контакты», так как мы сокращаем трудозатраты покупателей на поиск подходящего продавца.

Дальше начинается уровень со звёздочкой: «контакты» — это всё ещё главная метрика в компании, а мы тут её ронять собрались. Как придумать и построить новую метрику и реально ли это? Как убедить всех на неё перейти и нужно ли это делать? Как быть с тестом прямо сейчас, пока метрика придумывается, строится и лоббируется? Это уже вопросы к сеньору: на интервью он должен привести те же рассуждения, что мы обсудили выше, а ещё объяснить, что делать дальше.

Рассуждение. Один из главных аналитических вызовов классифайда в том, что мы не видим сделки. Успешный результат использования продукта — покупка нужного товара. Но с точки зрения данных этот исход не отличается от негативного: в обоих случаях пользователь в какой-то момент перестаёт возвращаться на сайт или возвращается уже с другим запросом.

В задачке про добавление информации на карточку товара мы стремимся помочь покупателю сделать выбор. То есть хотим сократить количество действий до сделки — события, которое невозможно залогировать, потому что оно происходит за пределами сайта.

Ответ. Для решения этой задачки можно придумать разные способы, например можно обзвонить участников теста и спросить «была ли сделка» или построить модель, пересчитывающую контакты в сделки на основании имеющихся данных. Но все эти варианты требуют долгой и дорогой реализации, а тест нужно запускать и анализировать уже сейчас. Поэтому единственный выход — переговоры с другими командами и менеджментом.

Для начала стоит понять, почему именно «контакты» стали главной метрикой компании. Надо выяснить, как они связаны с опытом пользователей и с монетизацией. Получаем ли мы деньги за контакты? Если да, то за любые или только за те, что удовлетворяют определённым параметрам? Какие это параметры? Можем ли мы в тесте отслеживать только нужные контакты? Разобравшись с этим, будет проще понять, как аргументировать необходимость теста, в котором главная метрика компании будет падать.

Как правило, в часовом интервью не удаётся детально разобрать все эти вопросы. Но чтобы показать уровень сеньора, менеджеру продукта достаточно правильно задать их и продемонстрировать, что он понимает, откуда вообще берутся метрики в бизнесе.

Я даю кейс. У нас есть классифайд, который умеет только публиковать карточки товаров и показывать телефоны продавцов. Чтобы увидеть номер, покупателю нужно кликнуть на кнопку «позвонить» — это называют контактом. Контакты — главная метрика компании, все команды должны её растить.

Менеджера продукта просят добавить на карточки информацию о продавцах — так хотят пользователи и уже делают конкуренты. Он проводит качественные тесты и подбирает оптимальное техническое решение.

Задаю вопрос: как провести A/B-тест, чтобы убедиться, что информацию стоит добавить на карточки? Какая метрика должна измениться и каким образом, чтобы считать решение успешным?

Что отвечают чаще всего. «Компания растит контакты. Значит, чтобы считаться успешным, новое решение тоже должно растить контакты». Это неудачный ответ, и я скажу кандидату, что A/B-тест показал падение контактов — в реальности так бы и случилось.

Что я жду от мидла. «Информация о продавцах сократит трудозатраты покупателей, потому что выбирать станет проще и быстрее. Покупатели будут обзванивать меньше продавцов. Так что решение можно считать успешным, если контакты упадут».

Что я жду от сеньора. Тех же рассуждений, что и от мидла, а ещё идей, что делать дальше и как вести переговоры с менеджментом. Как аргументировать необходимость теста, в котором главная метрика компании будет падать? Как придумать новую метрику и нужно ли это? Обычно за час интервью не удаётся разобрать все вопросы, но кандидату важно показать, что он знает, откуда вообще берутся метрики в бизнесе.