Тимлид Авито про типы и документирование аналитических исследований
Привет! Я Люда Кучина, руковожу командой аналитиков в Авито. Меня увлекает тема аналитических исследований, поэтому я написала статью для всех, кто хочет разобраться в этой теме. Расскажу, какие типы исследований бывают, зачем их документировать и дам чек-лист для упрощения этого процесса.
А если не хотите читать вводную часть — переходите сразу к чек-листу ↓
База: что такое исследование и зачем оно нужно
Формально говоря, исследование — это процесс, направленный на приобретение новых знаний, выявление закономерностей или проверку гипотез.
Оно состоит из сбора, анализа и интерпретации данных, а также документирования. И, к сожалению, про последний шаг часто забывают.
Аналитическое исследование — основной драйвер получения новых знаний. Ресёрчи нужны компании, чтобы:
- Создавать метрики.
- Искать возможности для роста.
- Оптимизировать параметры.
- Разрабатывать и интерпретировать сложные эксперименты.
- Строить модели бизнес-процессов и придумывать аналитические методы.
В Авито считается, что аналитики должны уделять бóльшую часть времени исследованиям, которые приносят доказанную бизнес-ценность. Поэтому мы:
⭐ Разрабатываем инструменты и подходы, которые упрощают работу над исследованиями и последующий релиз.
⭐ Добавляем исследования в личные цели сотрудников: у каждого руководителя аналитики есть задача растить долю времени, которое в команде уходит на любые исследования, а также увеличивать их разнообразие.
⭐ Собираем рабочие группы, в которых неравнодушные аналитики и тимлиды решают организационные задачи. Например, упрощают процесс документирования исследований или придумывают, как сократить время, которое аналитики тратят на отчёты и нерегулярные запросы.
Аналитик у нас — это не интерфейс для выгрузки данных по запросу, а партнёр бизнеса и продукта.
Типы исследований: research, impactful, senior
Классификации могут быть разные, мы в Авито выделяем три основных типа исследований: «простые», с заметным влиянием на бизнес и сложные.
Чтобы понять, с каким типом исследования мы имеем дело, нужно ответить на несколько вопросов. Это делает либо автор исследования, либо его руководитель или независимые члены жюри.
Research — любое «простое» исследование. Чтобы убедиться, что перед вами такое исследование, автору нужно утвердительно ответить на все вопросы ниже.
❓ Список вопросов, которые помогут понять, что перед вами «простое» исследование:
Есть ли гипотеза, которая требует исследования или проверки?
Вы собрали и проанализировали данные?
Оглядываясь на цель исследования, можно ли утверждать, что вы узнали что-то новое, выявили закономерности или подтвердили гипотезу?
Вы задокументировали и показали результаты исследования заказчикам или другим заинтересованным людям?
Важно отметить, что мы называем исследование «простым» — по классификации, а не по количеству часов, которое сотрудник потратил на него.
❌ Не относится к типу research:
- Выгрузка данных.
- Дашборд, который не анализировали, а просто отправили заказчику.
- Брейншторм продуктовой команды.
К impactful research (IR) относим исследования, результатом которых мы «нанесли пользу» продукту, бизнесу или разработке. Мы стремимся, чтобы результаты любого исследования приносили пользу, но это не всегда возможно по объективным причинам. Помните об этом и не будьте слишком строги к себе.
Чтобы оценить масштаб влияния (impact), важно развёрнуто ответить хотя бы на один вопрос. В этом случае отвечать могут автор ресёрча и его руководитель.
❓ Список вопросов, которые помогут понять, что перед вами IR:
Какие изменения внесли по результатам проведённого исследования в стратегию, планы продукта или бизнеса?
На какие метрики повлияли результаты исследования и как?
Какие действия предприняли на основе результатов исследования?
Какие решения приняли или что изменили после проведения исследования?
❌ Не являются impactful research:
- Обзор ситуации без запланированных действий по её изменению.
- Исследование, которое заканчивается формулировкой: «Я подумаю над этим завтра, в следующем квартале или когда-нибудь позже».
Senior research (SR) — это подтип impactful research, которое может представлять собой одно-единственное технически сложное исследование или состоять из нескольких обычных и impactful исследований.
Чтобы перейти на следующий грейд или подтвердить, что автор исследования — старший аналитик, в Авито нужно защитить исследование этого типа перед жюри из нескольких случайно выбранных руководителей продуктовой аналитики, которые не связаны с создателем исследования.
❗ Список критериев, которые помогут понять, что перед вами SR:
Открытость: нет чёткого понимания, как выполнить задачу на входе. Ожидаемый результат либо открытый, либо выражается в бизнес-терминах.
Масштаб: решение задачи от формализации до согласованного результата происходит в рамках квартала и является целью OKR команды.
Аналитическая сложность: аналитик строит аналитическую систему или применяет методы, которые требуют сложной адаптации.
❌ Не являются senior research:
- Повторное использование подходов, которые составляли суть предыдущих senior research.
- Бессистемный перебор продуктовых гипотез.
- Набор задач, последовательность которых генерирует продакт-менеджер или тимлид.
- Сложный технический проект, но без аналитической составляющей.
В зависимости от опыта аналитика в его целях будет разное количество ресёрчей каждого типа. Например, для специалиста уровня мидл достаточно сделать одно исследование с заметным влиянием на бизнес за полгода, а для сеньоров — уже два.
✍ Статья на VC: «Как понять, что мидл стал сеньором: процесс performance review аналитиков в Авито»
✍ О том, как мы используем OKR в работе, рассказывали в статье на Хабре: «Objectives and Key Results: инструкция по применению»
Почему нужно писать документацию к каждому исследованию
В Авито важным критерием исследования является факт его документирования. Вот несколько причин, почему это нужно компании и самим сотрудникам:
Хотя все понимают ценность сохранения данных об исследовании, многим сотрудникам сложно писать документацию. Мы подтвердили эту гипотезу на данных, когда провели опрос продуктовых аналитиков на тему их опыта написания документации к исследованиям. Оказалось, что задача: «Перенести свои мысли на страничку в Confluence и структурировать их» может занимать до 40% от всего времени, которое человек потратил на исследование.
Менять привычные процессы непросто. Поэтому мы в компании даём аналитикам инструменты, которые упрощают работу над исследованиями, и стараемся менять предубеждения насчёт документирования.
Один из таких инструментов — чек-лист ↓
Чек-лист, который поможет упростить процесс документирования
👉 До начала исследования:
Шаг 1. Определите цель
- Чётко сформулируйте, чего хотите достичь с помощью исследования.
- Определите ключевые вопросы, на которые хотите найти ответы.
- Сформулируйте образ результата. Например: «Хочу разработать или прокачать такую-то метрику или инструмент».
Шаг 2. Поищите исследования на эту тему
- Посмотрите похожие исследования по ключевым словам в вашей корпоративной базе знаний.
- Дойдите до команд, которые гипотетически могут быть погружены в тему.
- Попросите тимлида узнать, не делал ли кто-то подобное исследование.
✍ Для поиска идей, как решить задачку, почитайте статьи на эту или связанные темы на Habr или Medium.
Или посмотрите выступления аналитиков на конференциях или митапах, например, на канале Авито: Youtube-канал Avito Tech
Шаг 3. Подготовьте план действий
- Разработайте план работы, благодаря которому пройдёте весь путь от пункта А: «У меня есть вопрос» → до пункта В: «Я знаю ответ и понимаю, что с этим делать дальше».
- Определите последовательность этапов, примерное время, необходимое на каждый из них. Пропишите, кого потребуется вовлечь, например, тимлида, команду разработки или дизайна.
- Создайте страницу исследования, используя шаблоны, принятые в вашей компании. Также можно попросить помощи у коллег-аналитиков — мой опрос показал, что у каждого опытного аналитика есть свой шаблон.
👉 В процессе исследования:
Шаг 4. Начните двигаться по плану и смело меняйте его по пути, если нужно
На каждом шаге задавайте себе вопросы:
- Зачем мне собирать эти данные?
- Какие выводы я могу сделать благодаря этому?
- Какие варианты следующих действий у меня есть?
- Не закопался ли я в сборе данных ради сбора?
- Насколько логично и понятно то, что я написал(а)?
- Нужно ли посмотреть что-то ещё, чтобы оценка получилась комплексной?
Несколько советов
💡 Добавьте в документацию код, задачки, дашборды — всё это поможет будущим поколениям аналитиков и вам самим.
💡 Старайтесь документировать каждый значимый шаг — это проще, чем пытаться вспомнить через 2 месяца, что и почему вы исследовали.
Шаг 5. Интерпретируйте результаты
- Сделайте выводы на основе анализа данных.
- Опишите результаты в связи с вашей исходной гипотезой или целями исследования.
- Убедитесь, что своей работой «нанесли благо», а не просто нарисовали красивый график или яркую табличку. Отношение вроде: «Заказчик сам посмотрит и сделает выводы» — это не про исследование.
- Пересмотрите свои выводы и удостоверьтесь, что они соответствуют полученным данным и анализу.
Шаг 6. Запланируйте дальнейшие действия
- Предложите практические рекомендации и оценки потенциального влияния на основе ваших выводов.
- Определите, что нужно сделать дальше, основываясь на результатах вашего исследования.
- Разработайте план действий для воплощения в жизнь предложенных рекомендаций и укажите команды, которые планируете вовлечь.
- Проконтролируйте реализацию рекомендаций, где это возможно.
👉 По окончании исследования:
Шаг 7. Проверьте результаты
- Перечитайте исследование и ответьте себе честно: «А вообще понятно, что здесь написано?».
- Попросите коллег, экспертов или руководителя прочитать ваше исследование.
💡 Если всё-таки захочется поработать над формулировками в тексте документа — поищите в сети советы от копирайтеров и редакторов о том, как писать просто и понятно.
Шаг 8. Определите тип исследования
Для этого отмотайте статью наверх и посмотрите, что у вас получилось: research, impactful или senior research.
Шаг 9. Поставьте статус «Готово»
Что в итоге
Первое время вы, скорее всего, будете испытывать сопротивление. Могут появиться мысли в духе:
- «Заказчики всё равно не будут читать исследование».
- «Если напишу отчёт — кто-нибудь обязательно найдёт к чему придраться».
- «Лучше потрачу время на рабочие задачи».
Но в глубине души мы знаем, что писать документацию полезно как для вас самих, так и для компании. И даже если этот чек-лист не убережёт вас от всех сложностей на пути создания лучшего исследования в вашей команде, он поможет посмотреть на задачу под другим углом, подойти к ней более системно и тратить меньше времени на доработки и восстановления логики проделанной работы.
А вашим коллегам это поможет быстрее оценить исследование, которое вы провели, и не тратить время на попытки разобраться в данных.