Разбираем вопрос про метрику для эксперимента. Во-первых, обратите внимание, что вопрос был про целевую метрику. Она действительно должна быть одна — по её текущему значению мы рассчитываем количество необходимых пользователей в группах и считаем доверительные интервалы.
Делать выводы о результатах эксперимента, конечно, нужно п…
Напомню, есть в этом канале постоянная рубрика вопросов и ответов на продуктовые темы. Сегодня вопрос будет про выбор метрики для A/B теста.
Вы менеджер продукта, который отвечает за приложение Binance — популярный инструмент для торговли криптовалютами. Вы решили проверить как новый текст push-уведомлений повлияет на поведение пользователей.…
Давайте попробуем разобраться с вопросом про OpenAI Academy — зачем им вообще понадобилось делать отдельный профиль и регистрацию.
Правильного ответа у меня нет — я же там не работаю, а если бы и работал, не смог бы писать о таком в своём канале 🙂
Пора сделать рубрику #productquestion действительно регулярной. Я даже поставил себе специальную задачу в календаре 😉
Поэтому если хотите отвечать до разбора вариантов — включайте уведомления и заглядывайте в канал почаще.
Ну что, поехали разбирать ответы. При всей очевидности вопроса здесь нет как однозначно правильных, так и однозначно неправильных вариантов. Вы все ответили правильно, если прошли в голове через цепочку рассуждений из вопросов и ответов, которые привели к выбору варианта в опросе. Вы ответили неправильно, если выбрали вариант чисто интуитивно 😉
Когда работаешь менеджером продукта, сюрпризы случаются не только на митингах с бизнесом, но и в работе с командой.
Например: ваш ведущий разработчик неделю пилил фичу, а потом приходит и говорит — «Чтобы всё заработало, нужен переезд на другой облачный сервис. Я уже всё перепробовал — нашем облаке эта штука работать не хочет».
Разбираем вопрос про гипотезу. Если пропустили, сначала прочитайте и дайте свой ответ в опросе👆🏻
100% правильного ответа в списке вариантов не было. Я сделал это специально, чтобы вы задумались и запомнили — не всё так однозначно в принятии продуктовых решений. Даже на основе A/B тестирования 😉
A/B-тест идёт неделю, а метрика не меняется. Команда смотрит на графики и пожимает плечами. Пользователи пишут что-то странное.
В этот момент продакт решает: считать ли гипотезу проваленной?