Как сделать мощную аналитику рынка на инсайтах и открытых данных

Привет! Меня зовут Миша Козюлин, я основатель консалтинговой компании Hints. Раньше я занимался исследованиями и стратегией в Skyeng, а сейчас развиваю свой бизнес и помогаю разным компаниям принимать решения на основе данных.

Один из наших любимых клиентов — Яндекс.Практикум. В августе 2021 года мы провели для них небольшое, но красивое исследование. Хочу рассказать о нём.

В чем задача

Практикум — большой и известный образовательный сервис, который активно растет. Но расти лучше в направлениях, в которых больше всего денег (учитывая направление работы, конечно). Какие курсы запускать в первую очередь, чтобы окупить их и быстрее нарастить выручку? Полезно посмотреть на то, какие курсы приносят больше денег конкурентам.

Практикум обратился к нам, чтобы мы сделали анализ рынка. Важно было понять объем выручки в разрезе каждой отдельной профессии, для начала сфокусировавшись на больших онлайн игроках. Понятно, что таких цифр в открытом доступе нет — но есть гипотеза, что мы можем добыть и проверить их.

Подготовка

Сперва мы детально посмотрели всех конкурентов и специфику онлайн-образования.

У Практикума, Скиллбокса, Нетологии и других игроков обычно есть курсы, а есть — профессии. Курсы стоят недорого и предназначены для прокачки конкретных навыков (например, курс сервисной редактуры для копирайтеров). А профессии — сложные, дорогие и долгие, помогают «под ключ» получить профессию с нуля, часто пересекаются с курсами и состоят из них (например, «Станьте дата-сайентистом за 1,5 года»). Это разные продукты с разным масштабом выручки.

Поговорив с представителями рынка, мы поняли, что основной доход компаниям приносят профессии. Поэтому мы решили сосредоточиться именно на них.

Далее мы спарсили все курсы с сайтов компаний. Чтобы сопоставить профессии разных игроков друг с другом, мы даже составили единый словарик. Потому что одни и те же профессии могут по-разному называться в разных сервисах. Из примерно 500 наименований мы пришли к 94, которые пересекаются у топ-10 игроков, которых мы и хотим проанализировать.

Первая итерация — Атрибуция

Наша задача — понять, сколько денег суммарно генерирует каждая профессия для всех крупных игроков рынка. Грубо говоря, сколько рынок зарабатывает на обучении Python-специалистов, а сколько — на дата-сайентистах.

Но чтобы понять это, нужно понять выручку по каждой профессии в каждой компании. Общая выручка игроков в основном есть в общем доступе (а где её нет, мы выясняли своими способами). Чтобы правильно атрибуцировать ее к профессиям, мы написали модель на Python.

На входе модель получает полезные факторы, на выходе пытается предсказать выручку по направлениям. Среди факторов, которые мы рассматривали, были:

  • Поисковые запросы на Wordstat. Чем больше спрос на обучение интернет-маркетингу у потенциальных учеников, тем, очевидно, больше запросов в сети.
  • Количество курсов. Если компания запускает несколько курсов с похожими названиями, то мы учитывали это с помощью поправочного коэффициента.
  • Цена курсов.

И другие параметры тоже. В результате наша матмодель вычленила доли, которые занимают отдельные профессии в выручке компании. Но мы не понимали пока, насколько точно она это делает, и решили проверить результаты с помощью инсайдов.

Вторая итерация — инсайды

Лучший способ понять, сколько зарабатывают конкуренты — спросить конкурентов. И конкурентов конкурентов. Это довольно простой и эффективный способ, в котором, однако, есть свои тонкости.

Мы любим собирать инсайды и неплохо делаем это. Важно заниматься сбором информации честно, открыто, взаимовыгодно. Вот так — не надо:

— Привет. Лёш, мы тут готовим одно исследование. Подскажи, какая у вас выручка по профессии «Дата-сайентист»?
— Миша, ты чё, заболел? Не пиши мне больше.

Лучше сперва сходить к Вите:

— Витя, привет. Как ты думаешь, какой LTV у Лёши по по профессии «Дата-сайентист»?
— Не знаю, предполагаю что в районе 100-120 тыс ₽.

А после можно сходить к Лёше:

— Лёш, слушай, а правильно я понимаю, что LTV по профессии «Дата-сайенс» в районе 100 тыс ₽? Это правда?
— Не могу сказать.
— Ну, у вас того же порядка, или сильно больше?
— Да, похоже.
— Больше или меньше?
— Ну чего ты пристал? Побольше, немного побольше. Хотелось бы еще больше, но и так ок.

Всё это, конечно, утрированные примеры, но они показывают общий подход (на самом деле мы общаемся, конечно, не так навязчиво и аккуратнее задаем вопросы).

Скрупулезно общаясь с людьми, можно собрать много полезных данных прямо в цифрах: выручку компании, выручку по различным направлениям, в нашем случае — по отдельным курсам и профессиями. Это не рокет сайенс, заниматься таким может любой человек, достаточно просто уметь разговаривать и быть вежливыми.

Мы умеем делать это неплохо, потому что знаем людей на рынке и в целом набили руку: умеем быть настойчивыми и аккуратными.

Но тут появилась проблема. Результаты нашей модели не бились с инсайдами. Совсем. Дело в том, что модель опиралась скорее на внешние показатели спроса, и ей не хватало «внутрянки», бизнесовых показателей. Исторически разные компании фокусировались на разных направлениях (например, Geekbrains — на программировании, Skillbox — на дизайне и маркетинге, и так далее). Модель видит все профессии на сайте и не понимает, какие являются флагманами.

Мы могли вручную исправить точечные значения по полученным инсайдам, и даже переобучить модель на них — но это было бы костыльное одноразовое решение, а мы хотели получить инструмент для регулярного апдейта.

Поэтому мы сели думать, какие же общедоступные показатели взять, чтобы учесть внутренний фокус компании на тех или иных профессиях.

Третья итерация — Реклама

Побрейнштормили и поняли, где взять точные данные — интернет-реклама. Залезли в Рекламный кабинет Facebook и поняли, что рекламный трафик напрямую может быть связан с «деньгами» в курсах: рекламируют то, что приносит больше всего выручки. Начали копать в этом направлении.

Однако в Facebook нет численных показателей, поэтому в итоге взяли поисковый трафик из гугла и яндекса.

Распарсили страницы курсов и связали их с трафиком. Для модели мы использовали и рекламный трафик, и поисковый органический, и цену курса.

Нам повезло, что обычно каждый курс живет на своей отдельной странице, и значит мы можем смёржить трафик по конкретному ключевому слову с урлом страницы из парсинга сайтов. Чем мы и занялись — переобучив модель на новых данных.

Модель дала новые данные, которые отлично соотносились как с данными Практикума, так и с инсайдами других игроков. Бинго!

Агрегированные результаты аналитики: выручка профессий по направлениям, ранрейт на август 2021 Hints

Дополнительная итерация — Обогащение

Решили улучшить модель, обогатив ее данными с hh.ru. Мы распарсили навыки, которые указываются в описании профессий. В результате не только показали, в каких направлениях работать, но и какие конкретные навыки важно качать в каждом курсе. Это важная зацепка для методологов Практикума.

Пример обогащения данными с НН: какие скиллы с какой частотой встречаются в вакансиях по профессии product manager

Работали мы над этим всего чуть больше месяца. Итерационно двигались вперед, а после собрали всё в большой отчёт и обновляемые таблицы. Финальный скоринг сделали с учетом рынка, потенциала, сложности запуска и соответствия бренду.

Коллеги из Практикума были очень довольны — наши результаты здорово повлияют на их экспансию в 2022 году. Ну а мы продолжаем работать сразу по несколькими новым направлениями, в России и за рубежом.

Вместо итогов

Подобную задачу может делать каждый уважающий себя директор по маркетингу (сам или с нашей помощью). Дам пару советов:

  • Развивайте нетворк, знакомьтесь с конкурентами: в соцсетях, на конференциях, лично.
  • Обменивайтесь информацией. Не обязательно выносить что-то из-под NDA, вам и им ничего не мешает комментировать новости и ваши данные, делиться новостями. Мы не только конкуренты, но и коллеги по рынку. Мы двигаем весь рынок вперед, и для этого важно делиться информацией.
  • Всегда проверяйте несколько гипотез. Делайте 3 подхода к станку, отбраковывайте данные, которые дают слишком большое отклонение.
  • Развивайте в команде навыки маркетинговых исследований. Нанимайте исследователей в штат и привлекайте внешних консультантов.
  • Принимайте больше решений на данных. Ребята, которые известны на рынке, живут на данных — этому полезно научиться.
0
38 комментариев
Написать комментарий...
Голос Николай

Классное исследование, спасибо, что поделился!

Кстати, есть вопрос: когда вы делаете исследование, например, для практикума, вы пробуете его продать аналогичным сервисам, например тому же скайпро или это эксклюзивно для клиента?

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

Это исследование мы никому не продавали)

Вообще вопрос не простой, тк запросы и правда бывают схожие, при этом шерить результаты другим этически неправильно.

Общался с партнерами из маккинзи/BCG, пока рассказывают такое
- у консультантов сами данные не являются суперценностью, поэтому например инфу по портфелю банков они могут использовать в агрегированном обезличенном виде при работе с банками-конкурентами
- но ценны именно стратегии, рекомендации, и это шерить нельзя
- и даже больше, у них есть подход chinese wall: проекты для двух конкурирующих компаний будут вести полностью разные команды, прям с уровня партнера до уровня аналитиков, чтобы никакие важные идеи не были переиспользованы

Мы пока только подходим к стадии, когда потенциально можем работать с конкурентами, и в этом случае хотим использовать лучшие практики, привлекая разные команды.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Leonid Palskov

При чем тут вилка по ЗП? Тут считали выручку от продажи курсов...

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

да, я про ЗП тоже не совсем понял. Мы же считали именно выручку от онлайн курсов. Общение с рекрутерами в принципе норм как вариант получить инфу, но его не автоматизировать - а мы хотели инструмент для регулярного апдейта, поэтому парсили HH. Но отмечу, что в данном кейсе вопрос зарплат по разным профессиям не стоял

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Роман

А можно подробнее узнать, как вы распределяли выручку профессий по направлениям?

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

У себя в канале ТГ чуть расписал это, можно найти Hints_research

Если кратко:
- сперва брали данные: цены курсов, запросы вордстат, количество курсов одной тематики
- дополнили поисковым трафиком
- сделали модель и тестили разные веса, чтобы совпало с данными клиента и инсайдами других игроков

В итоге сильный вес получил именно поисковый трафик - если профессия приносит много денег компании, на нее много заходят (органика/контекст).

Ответить
Развернуть ветку
Аполлон Степанов

Хочу высказать несколько замечаний-вопросов.

Решение собирать инсайдерскую информацию конечно чушь в разным смыслах этого слова, но анализировать трафик решение интересное.

Однако есть важные вещи, на которые стоит обратить внимание.

Суть ЛЮБОГО исследования - это достижение цели.

Причём, цель это не конкурентный анализ как таковой. Целью может быть повышение эффективности ... чего то там ... например, путём коррекции стратегии компании ... на основании данных конкурентного анализа.

Тащить данные, обучать модели, заставлять этим заниматься людей может быть дорого и бесполезно.

Что на выходе?? Ну знаете вы, что у конкурентов спросом пользуются курс продукт менеджера. И что??

Если курсы онлайн, то ваш вывод вообще не даст ничего. Одни и те же люди на одних и тех же мощностях будут работать как с десятком, так и с сотней человек.

Дальше, есть вопросы репутации и качества продукта. Вы можете хоть усраться, но не получить ничего. Можете сделать такой же продукт, но дело не только в маркетинге и наличии продукта.

Теперь о маркетинге. Всё ведь неизбежно упирается и так в него. Вы можете сделать продукт, но люди могут тупо к вам не придти.

Мне видится, что проще сделать десяток лендингов под разные курсы и протестировать трафик. И это же ляжет в дальнейшем в развитие продукта.

В ЗАКЛЮЧЕНИЕ и обобщение вышесказанного я не увидел в статье самого важного. Целесообразности и связи с бизнесом.

Если говорить адекватно, то говорить нужно о цели и о различных способах ее достижения. Приведенный способ это один из. Причём один из шагов для достижения результата. И не обязательно вообще делать подобный шаг, и можно идти множеством путей.

PS А вообще, я не уважаю воров, которые воруют инсайдерскую информацию. Я могу понять, когда развитие достигается РЫНОЧНЫМИ и ЧЕСТНЫМИ методами. Но я ненавижу крыс, которые в угоду своей шкуры разваливают рынки и бизнесы.

То, что вы привели в статье по сути карт бланш и на другие незаконные вещи. Что дальше?? Вот каким-то образом вы получили инсайдерскую информацию, и дальше что?? Допустим у вас не получилось?? Будете срать под дверь конкунентам?? Мне видится, что всех, кто двигает людей и бизнес в незаконное поле, нужно показательно наказывать.

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

Привет!
Да, почти со всем согласен. Про решение бизнес задачи а не исследования - 100% респект!
Конкретно в этом кейсе мы выступали именно как аналитическое агентство и давали аналитику, а консалтинговая составляющая "что делать" была небольшая. Но далее мы продолжили работать с клиентом и делали уже больше проектов с вопросом "что и как надо делать", просто это я не расписывал.

Несколько моментов
1. Инсайды это 100% не чушь, это мастхев для рынка. В принципе любой С-левел сотрудник должен общаться с коллегами по цеху в другой компании, чтобы расширять картину мира и избавиться от туннельного мышления.
А в данном случае мы инсайды прям в модель не закладывали, скорее это было кроссчека - как наши результаты бьются с реальностью. Сперва не бились - изменили методологию, теперь бьются.
2. Про то, что проще сделать ленды и протестировать траф - тут опять же вопрос стоимости. Сделать исследование чаще дешевле. У нас были клиенты уровня банков, которые решили полить траф без исследования, так что да, такой вариант конечно есть.
С Практикум у нас есть проект "мета продакт", когда мы играем роль продакта нового направления, предварительно исследуем рынок, конкурентов, боли пользователя и доходим до стадии MVP теста лендинга. Когда гипотеза проверена, клиент уже с уверенностью может выделять/нанимать продакта на это направление.
Короче говоря, для тестов трафиком надо понимать, что все равно требуется много ресурсов (продакт/разраб/маркетолог), а сейчас зарплаты разогреты и найм сложный, поэтому часто выгоднее предварительно исследовать целесообразность направления.

В остальном по бренду, качеству и тп согласен, и кажется у Практикум с этим проблем нет, ребята не фигачать сотню курсов, а делать немного но качественно)

если вдруг не на все вопросы ответил, скажи плиз)

Ответить
Развернуть ветку
Аполлон Степанов

"Короче говоря, для тестов трафиком надо понимать, что все равно требуется много ресурсов (продакт/разраб/маркетолог), а сейчас зарплаты разогреты и найм сложный, поэтому часто выгоднее предварительно исследовать целесообразность направления."

Я в том числе и это имел ввиду. И это же отвечает на ваш вопрос целесообразности литья трафика на лэндинг. Я глубоко убежден, что подобные исследованиято миллионы рублей, которые могут себе позволить только крупные компании. То есть, при определенных обстоятельствах лэндинг может быть значительно целесообразнее. Тем не менее, я с вами согласен. Когда есть широкая линейка продуктов, то ваши исследования они могут сэкономить затраты компании.

Но на мой взгляд, именно об этом тогда и нужно говорить. Но в статье у вас об этом ни слова. Это бизнес ценность, сокращение затрат на конкурентный анализ. И это может являться в какой-то степени и целью. Но здесь есть важный момент. Нужно обязательно говорить о применимости и условиях использования.
Потому что из вашей статьи не только не ясна бизнес ценность в виде сокращения издержек при определенных условиях, но и сами условия не ясны. Вас люди лайкают, видят красивые слова в виде datascience обучение моделей и пр. Но они не понимают применимости, затртаности и сложности, а также многих других вещей.

Касательно инсайда я наверное неверно выразился. Разумеется корпоративный шпионаж во всём его многообразии эффективен.

Есть два момента.
Первое - приведенный пример не совсем удачный, который не раскрывает грани достижения результата исследования. То есть, я написал конкретно про ваш пример, что он чушь.

Второе - это этика. Да, корпоративный шпионаж процветает, но на мой взгляд, с этим нужно бороться и с ними борятся.

Ваш кейс про образование для меня личный. И у меня один товарищ держал оффлайн образовательную контору. И он был лидером в регионе. И конкуренты чтобы отъесть рынок приходили и воровали всё до чего могли дотянуться.

Я могу понять, когда конкуренты анализируют и улучшают публичные вещи, но я не могу понять воровство в любом виде.

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

Воровства тут точно нет, мы всем делаем интро о том, для чего общаемся)
А про стоимость - чувствую по вашему комменту что нам пора повышать цены))

Ответить
Развернуть ветку
Норм агентство

Сильно! И где вы были, когда я запускал новые курсы!)

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

😂😂

Ответить
Развернуть ветку
Александр Власюк

Понравилось, что обучили ML модель. Не знал, что консалтинг тоже до этого дошёл.

Ответить
Развернуть ветку
Gavriel Gusinov

В платном тарифе smwb есть такой раздел "топ страницы" там можно посмотреть примерно сколько траффика на каждой странице.
думаю помогло бы

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

Ну в общем неплохая идея. Мы взяли контекстный траф тк доступы дешевые, симвеб дорогой все же. Знаем способы получать отчеты симвеб недорого по отдельным компаниям, но решили что пока это не нужно. Хотя интересно конечно на кейсе отдельной компании проверить, как траф контекста и симвеба отличается. Спасибо за идею!

Ответить
Развернуть ветку
Николай Черных

Херня какая-то... стремление сделать все средствами ML просто убивает аналитиков.

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

Не, тут ML не было, обычная модель формульная. Да и сама модель тут не сильно важна, вопрос именно в логике, методологии. Можно было и тупо в экселе модель формулами сделать, просто на питоне быстрее и проще

Ответить
Развернуть ветку
Николай Черных

Дык, в чем логика? Тут же проще некуда( ну правда

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

а в чем вопрос про логику?

Ответить
Развернуть ветку
Николай Черных

Михаил, да с логикой все ок. Но это же простейшая задача. Может я как-то неправильно статью прочитал? Не понял подводных камней...

Ответить
Развернуть ветку
Артем Пикуш

Интересное исследование! Спасибо за статью.
Помимо классных идей с направлением мысли, очень понравилась четко сформулированная истина: "Всегда проверяйте несколько гипотез. Делайте 3 подхода к станку..." о которой так часто забывают.
А потом стартуют на данных, которые заводят команды в лес, болото и депрессию)))))))
Жду новых исследований и инсайтов!

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

❤❤❤

Ответить
Развернуть ветку
Мигель Эрнандес

"Раньше я занимался исследованиями и стратегией в Skyeng."
Учитывая, что Skyeng в стратегической жопе (с преподами перессорились, государству они не нужны, а их платформу никто более не покупает), дальше можно было не читать.
Практикум от Яндекса такая же судьба ждёт, т.к. сам Яндекс ни разу не верит в качество своих "курсов".
Обучай, не обучай модель, пока ты не Просвещение и без фамилии на букву Р, она тебе не поможет.

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

Про Скай не соглашусь, там все хорошо) Но видимо время нас рассудит

Ответить
Развернуть ветку
Рустам Гайнуллин

Ну видимо поэтому не выплачивали зарплаты при увольнении ?)

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

не оч понял, про что речь. Мне в Скаенг все выплатили, и даже неотгуленные отпускные. Думаю глупо считать, что компании такого масштаба могут что-то недоплатить

Другое дело международные стартапы, где в принципе оч высокий риск закрытия бизнеса. Но попадая в такие компании, сотрудники берут на себя эти риски, в обмен получая быстрый карьерный рост вместе с ростом компании

Ответить
Развернуть ветку
Рустам Гайнуллин

Михаил, лично мне не выплачивали деньги, не надо говорить глупо, если ты не знаешь истории, не думал об этом? Пришлось создать кучу итерации, чтобы получить отпускные, и это было довольно неприятно

Ответить
Развернуть ветку
Рустам Гайнуллин

Интересно как ты делаешь исследования, если не проверив информацию сразу говоришь, что это глупо. С точки зрения основной твоей деятельности - это крайне непрофессионально

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

отлично делаю, лучше всех) спасибо что поинтересовался!

Ответить
Развернуть ветку
Рустам Гайнуллин

Ну если не умеешь в критику, то нечего делать в бизнесе и не хами, это не скаенг, следи за словами.

Ответить
Развернуть ветку
Lexx Sky

Как знакомо. Занимался тем же, как слепой котенок, ничего не зная. Тоже пришёл к сочетанию открытая инфа+инсайды

Ответить
Развернуть ветку
Дмитрий Николаев

Можно пример направления, в котором больше всего денег (учитывая направление работы, конечно) и которое не является очевидным?
Под очевидными я подразумеваю - веб-разработчик, java/phyton/react-разработчик, аналитик, маркетолог, продакт, тестировщик.

Ответить
Развернуть ветку
Mikhail Kozyulin
Автор

На самом деле в данном случае очевидное и является правильным) Базовые профессии в каждом направлении, которые являются входом в профессию.
Ну еще QA является отличным входом в профессию. Как ни странно, дизайнер интерьеров тоже много зарабатывает

Ответить
Развернуть ветку
Дмитрий Николаев

Не совсем понимаю какую информацию извлек яндекс из этого анализа рынка) Было бы интересно рассмотреть потенциальные курсы в разрезе количества вакансий джуниор специалистов, потому что как я понимаю яндекс "обещает" трудоустройство выпускников

Ответить
Развернуть ветку
Marzhan Mynzhasarova

Отличное исследование и очень полезные советы в итогах. Спасибо!

Ответить
Развернуть ветку
Sevan Avalyan

Ребята, это охуенная работа. Спасибо, что рассказали про свои скиллы и поделились опытом. Оч круто

Ответить
Развернуть ветку
35 комментариев
Раскрывать всегда