Как мы оценили скиллы продактов с помощью чемпионата Tinkoff Product Cup 2023

Мы впервые провели интерактивный чемпионат с бизнес-кейсами — рассказываем, как это было.

Мы в Тинькофф стремимся к прозрачному и объективному процессу оценки каждого сотрудника. Это позволяет видеть свой возможный карьерный трек, какой результат считается крутым, понять необходимый уровень навыков. Самой компании это помогает транслировать ожидания, а затем отмечать результаты и профессиональный рост специалиста.

Звучит логично, но мы увидели три проблемы при реализации:

Первая проблема: уровень знаний не говорит об уровне в профессии. Очевидный и распространенный способ оценки сотрудников — тестирование. Это простой и удобный инструмент. Он показывает уровень знаний через ответы на конкретные вопросы, но не дает оценки навыков решения задач с высоким уровнем неопределенности. Ведь чтобы упаковать тест, приходится упрощать формулировки в пользу алгоритмической оценки ответов.

Вторая проблема: ожидания стейкхолдеров не сформулированы явно. Необходимо сформулировать, чего стейкхолдеры ожидают и что ценят в работе продакта, желательно на примерах.

Когда создаешь метод оценки уровня продакта, важно формулировать приближенные к реальности задачи. При этом сам метод должен соответствовать ожиданиям бизнеса. Задачи должны быть максимально приближенными к реальности, а это моментально усложняет валидацию: нужны ресурсы экспертов, ведь мы хотим получить объективную оценку.

Третья проблема: сложно добиться объективности. У нас есть внутренние эксперты, часто лиды направлений, которые оценивают навыки продактов. Мы понимаем, что их прежний практический опыт после перехода в роль руководителей со временем может потерять актуальность, ведь постоянно появляются новые контексты, инструменты и знания. А еще есть критерий доверия оценке, а с ним все становится сложнее, ведь иногда сотрудники не доверяют даже своим непосредственным руководителям в результате персонального аудита.

Мы столкнулись с этими проблемами оценки скиллов продактов и решили пойти нестандартным путем — впервые организовать внутренний чемпионат среди сотрудников.

Tinkoff Product Cup — это чемпионат для продакт-менеджеров и других специалистов продуктовых команд. Участники получают два реальных бизнес-кейса, ограничения по времени и проблему выбора лучшего решения на этапе анонимной оценки друг друга. Осуществить задуманное нам помог Карьерный Цех — организатор конкурсов для продактов, дизайнеров и аналитиков.

Возникла идея проверять уровень на реальных задачах из недавнего прошлого — это открытые вопросы, у которых нет единственного правильного ответа, даже по прошествии времени. Работа над поиском решения в такой ситуации, а затем его сравнение с другими во время крауд-оценки требуют комплекса работ, таких как:

И все это параллельно основным задачам на работе — кажется, такие условия позволяют именно продактам лучше остальных специалистов проявить себя.

Так родилась концепция конкурса Tinkoff Product Cup — внутреннего соревнования для всех продактов компании, где заданиями стали:

К тому же на практике несколько менеджеров продукта редко одновременно работают над одной задачей — важное условие для оценки относительного профессионального уровня. А через конкурс мы помещаем всех участников в единый контекст и условия, чтобы сделать оценку максимально объективной.

Мы анонсировали чемпионат Tinkoff Product Cup в сообществах. Нам прислали более 600 заявок, 450 человек стали участниками. На этом этапе отвалились те, кому развитие в продакт-менеджменте интересно, но они не готовы прямо сейчас к такому формату или нет времени.

Участвовать могли не только менеджеры продукта и продуктовые технологи, но и проджект-менеджеры, аналитики, разработчики и другие желающие

Кейсы были опубликованы на платформе Карьерного Цеха. В конкурсе было два задания, направленных на проверку разных компетенций.

Например, первое задание состояло из вопросов про UX в мобильном приложении Тинькофф, которая упрощает отправку денежных переводов. А далее участники могли разработать концепцию продукта и оценить его с точки зрения пользы для бизнеса.

На выполнение кейсов было десять дней. Оба задания обязательны, и ответы не должны превышать пяти страниц презентации. По итогу 107 человек отправили свои работы, 97 из них вошли в итоговый рейтинг.

Распределение выше примечательно тем, что заявлялись на чемпионат ребята разных профессий, из которых только 56,3% можно отнести к продактам, при этом 75% из них прислали решения. Значит, чемпионат стал профессиональным состязанием и с большим успехом его проходят именно менеджеры продуктов.

Для оценки решений мы использовали методику крауд-ревью — когда участники сами оценивают работы других участников. За шесть дней каждый участник конкурса оценил десять других работ. Все кейсы были анонимными, их следовало отранжировать от сильного к слабому. Математическая модель собрала все оценки и составила итоговый рейтинг.

По сути, мы столкнули участников с функцией руководителя: надо было детально разобраться, чем одна работа отличается от другой, как и руководителю приходится детально разбираться в работе сотрудника, чтобы правильно оценивать его. В зависимости от количества голосов составлялся рейтинг работ.

Рейтинг Tinkoff Product Cup 2023 формировался по сумме баллов за два задания. Мы выбрали пять победителей и отдельно отметили еще двух призеров с сильными работами. Итоговый рейтинг — это сумма баллов за первое и второе задания, но были участники, которые так круто выполнили одно задание из двух, что мы не могли их не отметить.

Финалисты получили вознаграждение во внутренней валюте компании, а призерам и победителям также достался топовый мерч. А еще у участников была возможность получить обратную связь от экспертов компании по своим работам.

Так мы и нашли коллективный способ проверки уровня продактов, который, как оказалось, сильно экономит время и ресурсы компании. Это был интересный опыт, и мы для себя сделали следующие выводы:

Также в этом году мы участвуем в рейтинге работодателей от hh.ru! Если хочешь поддержать нас, то переходи по ссылке.