На днях hh.ru выложил в open source утилиту Kanban-meter, которая используется для измерения и повышения эффективности бизнес-процессов, основанных на Kanban-методе, в т.ч. процесса массовой проверки ML- и UX-гипотез в Умном поиске hh.ru.
Автор: Александр Сидоров, Руководитель направления анализа данных hh.ru
Умный поиск hh.ru повышает эффективность публикаций вакансий, использования доступа к базе резюме и других продуктов в нашей HR-экосистеме. Для этого мы развиваем ML и UX в 2 основных поисковых и 3 основных рекомендательных системах, в результате чего повышается частота контактов между соискателями и работодателями. А значит, уменьшается время поиска работы и сотрудников, и увеличивается количество сотрудников, которых HR-менеджер может нанять за то же время.
Чтобы увеличивать частоту и качество откликов и приглашений, массово проверяем гипотезы, о чём рассказывали здесь:1,2,3, а также накапливаем опыт, развиваем команды, инструменты и инфраструктуру, которые позволяют нам делать это быстрее. А чтобы делать это быстрее, применяем Kanban-метод на основе задач и dashboard’ов в Jira.
Есть два основных способа добиться эффективности процессов:
Устроить жёсткие performance review людям, по их результатам увольнять и нанимать снова, пока не останутся те, кто умеет работать эффективно и организоваться в эффективные команды. Это не всегда хорошо для накопления знаний, мотивации и бренда работодателя, отнимает много времени у всех участников команды, в том числе на проведение и прохождение performance review, а затем на найм сотрудников взамен увольняемых;
- Устроить жёсткие performance review процессам, устранять узкие места, помогать людям работать эффективнее.
hh.ru выбрал именно путь performance review для процессов. Поисковые технологии, ML и UX – это довольно сложно и дорого. Чтобы они приносили прибыль, процесс их разработки и развития должен быть очень эффективным.
Чтобы понять, насколько эффективен наш Kanban и где его узкие места, мы измеряем:
производительность: количество проектов, завершённых за год;
рациональность процесса: эффективность потока;
эффективность процесса: lead time и трудозатраты на единицу повышения продуктовых метрик;
- стабильность и предсказуемость процесса: 85-я процентиль leadtime.
В результате постоянного процесса постоянного измерения, анализа и улучшения всего перечисленного, мы довольно далеко продвинулись, избегая раздувания штата разработчиков и менеджеров, а также заливания проблем с качеством кода массовыми закупками серверов.
* - оценка по результатам A/B- и TDI-тестов в экспериментах с ML и UX в поиске и рекомендациях
К сожалению, Jira не позволяет из коробки удобно измерять и визуализировать все перечисленные метрики, а если с какой-то из них видны проблемы – эффективно погружаться в детали и искать узкие места в отдельных этапах процесса. Поэтому мы в hh.ru написали для неё свою утилиту, Kanban-meter. Надеюсь, она будет полезна и вам. Пользуйтесь и развивайте на здоровье!
Картинки красивые, но не запускается, почему-то разработчики не проверили работоспособность контейнера перед релизом в open-source и перед публикацией статьи.