Вырваться в лидеры: миф о конкуренции на этапе тестов конкурса «Лидеры России»

Речь пойдет о ставшем уже легендарным кадровом конкурсе «Лидеры России». Знаете, почему из больше 200 тысяч заявок в 2018 году, в полуфинал попало только 3300? Нет, дело далеко не в сложных тестах и даже не в нашумевшем тесте на эрудицию. А в чем же тогда? Именно это мы сегодня и выясним.

Экспертное мнение выскажут кофаундеры платформы по подготовке к тестам TestOnJob.ru Борис Сысоев, Алексей Мусий и Андрей Семенков.

Особенность «Лидеров России» в том, что для отбора участников организаторы используют те же дистанционные тесты, что и российские или иностранные работодатели. А у нас, в свою очередь, за последние два конкурса накопилось много интересной статистики, как по самим «Лидерам», так и по подготовке к ним.

Уже второй год подряд мы видим сотни отзывов о сложности тестов и сотни историй о том, как люди выбывают из конкурса в самом его начале. Возможно, было бы не так обидно, если бы проблема заключалась в действительно сложных заданиях или трудновыполнимых требованиях. Но, как показывает практика, зачастую дело в самих участниках - в их недостаточной информированности и излишней самоуверенности.

Именно поэтому мы решили провести небольшое исследование, которое позволит наглядно донести до участников будущих конкурсов (а "Лидеры России" 2019-2020 объявят со дня на день) две простых мысли:

1. Без подготовки на «Лидерах России» делать нечего. Если вы никогда раньше не сталкивались с тестами способностей, ваш шанс пройти отбор стремится к нулю.

2. Конкуренция на конкурсе вовсе не такая уж и высокая. Борьба за право попасть в полуфинал ведется, в основном, между теми, кто готовился к тестам. А таких не так уж и много.

С результатами, выводами и рекомендациями вы можете ознакомиться в конце статьи.

Там же вас ожидают результаты нашего эксперимента, цель которого - показать, насколько даже быстрая подготовка к тестам способностей влияет на результат.

Итак, поехали...

Чтобы было понятно, о чем речь, приведем официальную статистику организаторов конкурса 2018-2019 года:

1 этап завершили 91,445 человек. Этот этап был скорее формальным: отсеялись те, кто решил зарегистрироваться «просто так», кто не читал правил, кто неправильно заполнил анкету, а также те, кто не соответствовал требованиям конкурса, но решил поучаствовать, понадеявшись на авось.

Со своей стороны, мы тоже собрали статистику за два прошедших года, провели опросы среди наших клиентов, а также опросили тех, кто участвовал в прошлогодних конкурсах, но не готовился к дистанционному этапу.

И вот, что мы получили:

Для начала, давайте проанализируем статистику по ключевым запросам через Yandex Wordstat.

Сведем воедино наиболее релевантные запросы и статистику нашего портала с октября по ноябрь 2018 года:

Поскольку в августе - сентябре увеличения количества запросов не наблюдается, очевидно, что люди начинают активно готовиться к тестам только с открытием регистрации на конкурс, не раньше. Это подтверждается и статистикой нашего сервиса.

Проанализируем полученную статистику запросов за 2018 год и подсчитаем примерное количество готовящихся к конкурсу людей.

Естественно, это не означает, что 250,000 запросов = 250,000 уникальных пользователей. Хотя реальное количество пользователей рассчитать не получится, мы можем подсчитать максимальное количество людей, которые готовились к «Лидерам России», а потом сопоставить получившиеся цифры со статистикой нашего портала за указанные периоды.

Для этого, предположим, что 250 тысяч запросов по указанным ключам – это 250 тысяч уникальных пользователей.

Чтобы понять, сколько людей заходит дальше простого поиска и оформляет платные подписки, определим показатели конверсии в продажи.

Для этого, используем максимальный показатель по рынку услуг онлайн подготовки к тестам: 4,8%. Такой высокий показатель конверсии обеспечивается ажиотажем вокруг конкурса - среднегодовые его значения в разы меньше.

Теперь мы можем посчитать максимальное количество людей, готовящихся к дистанционному этапу.

Очевидно, что любой, кто покупает пакет для подготовки к тестам, не будет готовиться только к числовым или вербальным упражнениям, пропуская все остальное. Если человек покупает доступ к онлайн тренажерам, он использует для этого все доступные источники – руководства к тест-кейсам, информационные статьи и т.д.

Отдельно стоит сказать про тесты на эрудицию и про то, почему мы не используем их в своих расчетах:

А поскольку получить возможность пройти тест на эрудицию можно лишь успешно закончив тесты способностей, наша статистика строится именно на вербальных, числовых и логических тестах. Тем более, что в тестах на управленческий потенциал использовались все те же три базовых теста.

То есть сравнение абсолютного количества участников, прошедших в полуфинал, с количеством людей, готовящимся к числовым, вербальным и логическим тестам достоверно.

Вновь обратимся к официальной статистике конкурса:

Теперь мы можем сравнить общую статистику запросов и количество зарегистрированных участников. На 227,193 реальных человека приходилось 250 тысяч поисковых запросов. Это логично, поскольку один человек не обязательно ищет лишь по одному ключу.

Сравним количество прошедших в полуфинал с конверсией поисковых запросов в оформление доступа к тренировочным тестам.

Для подтверждения полученного результата, возьмем:

1. Статистику новых пользователей портала testonjob за обозначенный период;

2. Долю testonjob на рынке подготовки к онлайн тестам;

3. Общий объем рынка.

Сравним полученные данные:

Получается, основная борьба велась между теми, кто проходил полноценную подготовку. И конкуренция в полуфинале, даже по самым смелым расчетам, составляла всего около 3-4 человек на место.

Еще раз заметим: если человек оформил подписку на доступ к тренировочным заданиям, вероятнее всего он не ограничился подготовкой только к одному типу тестов. Мы используем этот показатель, как индикатор мотивированности и осмысленного подхода к участию в «Лидерах».

Чтобы понять мотивацию тех, кто отказался от подготовки, мы провели небольшой опрос среди тех, кто не вышел в полуфинал. Оказалось, большинство наших респондентов не знали, что к дистанционным тестам можно (и нужно) было готовиться. Причем некоторые даже не пытались искать соответствующую информацию в интернете.

Если с конкурсом 2017 года такая ситуация вполне объяснима, то почему люди не вынесли уроков в 2018 году, остается загадкой.

С конкуренцией вроде разобрались, перейдем к практической части:

Мы предложили людям, которые впервые обратились в нашу компанию для подготовки к числовым, вербальным и логическим тестам поучаствовать в небольшом эксперименте.

Для этого мы выбрали 30 человек, которые раньше никогда не сталкивались с тестами способностей.

Для начала мы определили исходные показатели. Для этого мы предложили пройти стандартный числовой тест. На 20 задач выделили 20 минут.

Примерно столько же времени дается и в реальных условиях.

Следующим этапом мы предложили участникам эксперимента пройти экспресс подготовку, для которой выдали 4 стандартных тренировочных теста (по 20 вопросов в каждом тесте).

Как только человек отвечал на все вопросы, он видел статистику правильных и неправильных ответов, свои ошибки и советы по правильному решению.

На тренировку отвели 4 часа.

И вновь мы предложили нашим участникам тест из 20 вопросов, как в самом начале эксперимента. Цифры в заданиях, естественно, были другими, но формат и сложность остались без изменений.

Сложность тестов способностей не в самих вопросах, а в умении быстро ориентироваться в задании за отведенный промежуток времени. Если бы время не было ограничено, любой образованный человек смог бы показать высокий результат.

Такое большое количество участников, выбывших на дистанционном этапе, говорит о том, что люди слишком уверены в собственных силах. Они забывают, что у них ограничено время, а также то, что с подобными вопросами они сталкиваются впервые.

Кроме того, даже математические операции в таких тестах представляют определенную сложность:

1. Во-первых, из-за стресса: некоторые участники жаловались, что не могли сконцентрироваться, потому что отвлекались на таймер.

2. Во-вторых, люди привыкли полагаться на технику, забывая, как быстро, в одну операцию, считать проценты, пропорции и т.д.

Чтобы понять, о чем мы говорим, попробуйте ради эксперимента пройти с таймером небольшой числовой тест на нашем портале.

Не забудьте написать в комментариях ваш результат (только честно!)

1. Сами способности к анализу той или иной информации, у людей не изменились, поскольку этот параметр очень слабо поддается тренировке, закладываясь в период обучения (источник: вебинар ЭКОПСИ консалтинг). Улучшение результатов происходит за счет того, что человек учиться решать тесты (источник: вебинар ЭКОПСИ консалтинг) такого типа.

2. По нашим наблюдениям, первый тренировочный подход всегда дает наибольший прирост. Естественно, результаты не могут улучшаться бесконечно, и через какое-то время скорость и степень их роста тормозится. Эта тенденция подтверждается выборкой из базы наших клиентов.

3. Поскольку можно натренировать лишь способность решать тесты, чтобы получить на «Лидерах России» высокий результат, нужно тренироваться на максимально похожих заданиях. В противном случае, результат будет уже не так сильно выражен.

4. Результаты улучшаются за счет того, что человек учится быстрее ориентироваться в условии, быстрее производить расчеты в уме, быстрее выбирать правильную методику решения.

5. При достаточной тренировке, пройти эти тесты может каждый образованный человек, вне зависимости от его навыков анализа информации.

Несмотря на серьезность конкурса и его потенциальную пользу, людям просто не хватает информации о том, что их будет ждать и как к этому готовиться. Проанализировав результаты 2017 и 2018 года, мы можем однозначно утверждать, что без вдумчивой подготовки к дистанционному этапу, на «Лидерах России» делать просто нечего.

Возможно, кому-то покажется, что мы говорим очевидные вещи, однако статистика говорит об обратном. Абсолютное большинство участников уже второй год подряд игнорирует полноценную подготовку.

И тем обиднее нам каждый год на youtube видеть гневные ролики участников, не прошедших в полуфинал, обвиняющих организаторов в предвзятости и чрезмерно сложных тестах. Хотя дело-то не в тестах, а в самих участниках и в их отношении к конкурсу.

Тем более, как мы выяснили, конкуренция на конкурсе не такая уж и высокая: 3 - 4 человека на место в полуфинале. Для всероссийского конкурса такого масштаба - это просто подарок.