Какие метрики во внутренних IT-коммуникациях?

Хочу, чтобы по этому запросу гуглился релевантный ответ! Мы в «СберМаркете» долго ломали голову, как нам считать нашу эффективность в internal devrel, мы искали опыт коллег, гуглили кейсы зарубежных компаний… и в итоге придумали все сами. Что получилось? Рассказываем обо всем по порядку.

Дисклеймер: Мы отдаем себе отчет в том, что оказываем на метрики косвенное влияние, но оказываем же.

В СберМаркете есть команда внутренних коммуникаций, ориентированная на осведомленность сотрудников обо всем, что происходит в компании. Именно эта команда доводит до всех нас самые важные новости, работает на вовлеченность и вот это вот всё.

Internal DevRel-команда работает только с сотрудниками из tech-направления обособленно от внутренних коммуникаций. Задач общей информированности перед нами не стоит. Мы распространяем только важные технические новости/дайджесты, которые могут повлиять на работу всей tech-команды (например, рассылки от core-команд: IT-платформы или DevOps). Также мы заботимся о лояльности наших tech-ребят и проводим мероприятия, чтобы ее поддерживать.

В компании два раза в год проводится Happy Index — большое исследование лояльности сотрудников. Это большой опрос, состоящий не только из «порекомендуешь ли ты компанию друзьям», но и из вопросов о балансе работы и отдыха, работе с руководителем, кросс-функциональном взаимодействии и тд. По итогам Happy Index считаются метрики «стресс», «зарплата», «коллеги», позволяющие максимально широко оценить настроение сотрудников в моменте.

DevRel-команда ежегодно участвует в рейтинге Хабр и ЭКОПСИ, всероссийского исследования IT-брендов работодателей, и получает замеры по множеству похожих на Happy Index критериев, в том числе и от сотрудников компании.

Исторически, как и все нормальные люди, мы измеряли показатели успешности каждого конкретного проекта:

Это, конечно, прекрасный старт, но осознанного ответа на вопрос «А зачем нам все это?» у нас не было. Нууу, это как-то влияет на лояльность. Очевидно, что в этом дереве метрик, не хватало веточек.

Мы выбрали метрики, на которые мы примерно можем влиять по ЭКОПСИ и Happy Index. Например, метрика «коллеги» по Happy Index и «профессиональная среда» по ЭКОПСИ. И распределили наши проекты под эти метрики. Но получали мы эти данные раз в год и полгода соответственно… Не очень удобно для быстрого принятия решений.

Чтобы сделать «замеры» более частыми, мы создали пульс-опрос и стали измерять лояльность несколько раз в квартал, чтобы держать «руку на пульсе». И итого у нас получалось что-то супер несвязанное между собой. Объяснить и защитить эти метрики перед коллегами было очень сложно. Становилось ясно, что нужна система.

Наверное, можно было бы еще годы стыдливо прятать глаза при вопросе, а как вы измеряете свою эффективность, и еще долго гуглить в поиске серебряной пули, но серия встреч изменила судьбу нашего internal DevRel.

Долгое время у нас была встреча для синхронизации вместе со всем HR-брендом, где мы в форме презентации делились итогами месяца. Поскольку общих красивых цифр у нас не было – приходилось создавать отдельный слайд под каждый проект, писать, что там приняло участие Х человек — и ожидать вопросы типа «А Х это много или мало? И на что это влияет дальше?».

Собственно говоря, банальная лень снова стала двигателем прогресса! Как говорится: «Не, ну по любому надо в жизни че-то менять». Решили, что нужно все это как-то шаблонизировать хотя бы для презентаций. А там нас уже было не остановить.

Основную цель внутреннего devrel’a мы для себя определили, как «стать работодателем #1 для сотрудников». То есть, наши сотрудники не мечтают уйти в компанию-конкурент, а уже убеждены, что работают в лучшей компании. Ключевая понятная метрика здесь — лояльность.

Если представлять наши метрики в виде дерева, то у дерева в нашем случае должна быть земля, опора, на котором оно растет. Не имеет смысла сочинять, как влияют наши проекты на лояльность, если про проекты мало, кто знает и они вообще никому не нужны.

Поэтому нашим фундаментом, в первую очередь, стала осведомленность о devrel-проектах. Мы меряем ее как средний Open Rate наших коммуникаций. Открыли письмо — значит, были в курсе, что devrel'ы новый проект замышляют.

Вторая часть — это про ценность. Раз узнали, значит нужно понять, полезно ли это вообще. Так в нашем пульс-опросе мы добавили вопрос:

Раз в квартал для себя смотрим динамику. К опросу всегда есть открытый комментарий, так что ребята честно добавляют, чего им не хватает или что для них devrel-проекты.

Осведомленность и ценность — это наши OUTPUT метрики, к которым мы стремимся, но влиять напрямую не можем, только косвенно.

Для себя мы решили, что эта метрика складывается в том числе и из оценки наших технических дайджестов. Каждый месяц от core-команд мы отправляем основную сводку полезных новостей, которые могли бы повлиять на работу всех в tech. В конце каждого дайджеста запрашиваем обратную связь.

Еще один пункт в ценности проектов — это количество участников в программе мотивации. За участие в каждой активности мы начисляем баллы ребятам в нашей внутренней системе. Считать просто охваты путем сложения всех активностей будет нечестно для внутрикома. А данные программы мотивации дают прозрачную картинку, как сильно мы всех вовлекли.

Итого в этом блоке:

Мы выбрали для себя из HI и ЭКОПСИ критерии, на которые хотим фокусно влиять. Фокусы по этим метрикам мы составляем для себя на год и формируем по принципам:

Для себя мы составляем примерную табличку того, как критерии ЭКОПСИ коррелируют с нашими метриками по Happy Index. Например, критерии «профессиональная среда» и «хорошие отношения в коллективе» похожи на нашу интегральную метрику «коллеги» во внутреннем Happy Index.

Данных раз в полгода и год нам все еще мало. Поэтому для tech-специалистов мы включаем выбранные нами метрики в пульс-опрос раз в квартал, чтобы понимать динамику и принимать экстренные меры. Эти цифры мы стараемся не показывать во внешних отчетах, чтобы никого не путать, и используем только для себя. Итого, у нас есть до 4-х фокусных метрик в год, на которые мы ориентируемся. Они наши OUTPUT цели.

Под каждую фокусную метрику мы составляем план проектов, в которых уже как раз смотрим типичные данные, наример, количество участников и NPS проекта.

Если вам приходилось защищать бюджет, вы понимаете, о чем мы. Деньги на счастье сотрудников – это прекрасно, но влияние на метрики, то все равно косвенное. Где деньги, Зин?

Чтобы оправдывать большие бюджеты, а также реально помогать бизнесу и пытаться делать трушный деврел, мы добавили себе блок Business Value.

Здесь нет какой-то конкретной измеримой OUTPUT метрики. Иногда результат в деньгах, а иногда в количестве найденных багов. Мы договорились, что каждый квартал internal devrel проводит хотя бы один проект, который потенциально может принести Business value. Например, Хакатон. Если считать его не только в количестве команд, но и в том, сколько прибыли принесли выпущенные в прод проекты.

Также к Business Value мы относим для себя осведомленность о стратегиях ИТ, Product и Data. Эту метрику мы измеряем пульс-опросом в первом, втором и третьем квартале. И простраиваем проекты так, чтобы каждый в tech-команде точно понимал, к каким общим целям мы идем.

Итого, если у вас тоже болят внутренние метрики, итого, мои рекомендации, с чего начать:

→ Определите north-star метрику внутренних коммуникаций.

→ Посмотрите, на какие из верхнеуровневых метрик компании, твоя команда оказывает влияние. в том числе уделите внимание метрикам внешних рейтингов.

→ Из полученных верхнеуровневых метрик: рисуйте дерево, как показатели, на которые вы можете влиять (Open Rate, посещаемость и тд) влияют на OUTPUT-метрики. будьте готовы, что дерево может состоять из разных блоков (больших ветвей), которые никак не соприкасаются с иными.