Речь пойдет о ставшем уже легендарным кадровом конкурсе «Лидеры России». Знаете, почему из больше 200 тысяч заявок в 2018 году, в полуфинал попало только 3300? Нет, дело далеко не в сложных тестах и даже не в нашумевшем тесте на эрудицию. А в чем же тогда? Именно это мы сегодня и выясним.
Экспертное мнение выскажут кофаундеры платформы по подготовке к тестам TestOnJob.ru Борис Сысоев, Алексей Мусий и Андрей Семенков.
Для тех, кому интересен взгляд со стороны участника: как проходит конкурс, на что жалуются конкурсанты, что получают победители - рекомендуем ознакомиться со статьей-обзором одного из клиентов нашего сервиса на блог-платформе medium.
Особенность «Лидеров России» в том, что для отбора участников организаторы используют те же дистанционные тесты, что и российские или иностранные работодатели. А у нас, в свою очередь, за последние два конкурса накопилось много интересной статистики, как по самим «Лидерам», так и по подготовке к ним.
Уже второй год подряд мы видим сотни отзывов о сложности тестов и сотни историй о том, как люди выбывают из конкурса в самом его начале. Возможно, было бы не так обидно, если бы проблема заключалась в действительно сложных заданиях или трудновыполнимых требованиях. Но, как показывает практика, зачастую дело в самих участниках - в их недостаточной информированности и излишней самоуверенности.
Именно поэтому мы решили провести небольшое исследование, которое позволит наглядно донести до участников будущих конкурсов (а "Лидеры России" 2019-2020 объявят со дня на день) две простых мысли:
1. Без подготовки на «Лидерах России» делать нечего. Если вы никогда раньше не сталкивались с тестами способностей, ваш шанс пройти отбор стремится к нулю.
2. Конкуренция на конкурсе вовсе не такая уж и высокая. Борьба за право попасть в полуфинал ведется, в основном, между теми, кто готовился к тестам. А таких не так уж и много.
С результатами, выводами и рекомендациями вы можете ознакомиться в конце статьи.
Там же вас ожидают результаты нашего эксперимента, цель которого - показать, насколько даже быстрая подготовка к тестам способностей влияет на результат.
Итак, поехали...
Цифры...
Чтобы было понятно, о чем речь, приведем официальную статистику организаторов конкурса 2018-2019 года:
1 этап завершили 91,445 человек. Этот этап был скорее формальным: отсеялись те, кто решил зарегистрироваться «просто так», кто не читал правил, кто неправильно заполнил анкету, а также те, кто не соответствовал требованиям конкурса, но решил поучаствовать, понадеявшись на авось.
Со своей стороны, мы тоже собрали статистику за два прошедших года, провели опросы среди наших клиентов, а также опросили тех, кто участвовал в прошлогодних конкурсах, но не готовился к дистанционному этапу.
И вот, что мы получили:
Статистика запросов в поиске Яндекс и Гугл
Для начала, давайте проанализируем статистику по ключевым запросам через Yandex Wordstat.
Сведем воедино наиболее релевантные запросы и статистику нашего портала с октября по ноябрь 2018 года:
По некоторым запросам (например, «логический тест») статистика запросов недостоверна, поскольку сюда входят психологические, детские и развлекательные тесты, которых полно в интернете. Все это учитывается в наших расчетах.
Поскольку в августе - сентябре увеличения количества запросов не наблюдается, очевидно, что люди начинают активно готовиться к тестам только с открытием регистрации на конкурс, не раньше. Это подтверждается и статистикой нашего сервиса.
Как известно, привычка весь год отдыхать, начиная подготовку перед самыми экзаменами, для россиян довольно типична. Аналогичная тенденция сохраняется и для «Лидеров России».
Проанализируем полученную статистику запросов за 2018 год и подсчитаем примерное количество готовящихся к конкурсу людей.
Подсчеты
Естественно, это не означает, что 250,000 запросов = 250,000 уникальных пользователей. Хотя реальное количество пользователей рассчитать не получится, мы можем подсчитать максимальное количество людей, которые готовились к «Лидерам России», а потом сопоставить получившиеся цифры со статистикой нашего портала за указанные периоды.
Для этого, предположим, что 250 тысяч запросов по указанным ключам – это 250 тысяч уникальных пользователей.
Альтернативы онлайн подготовке для лидеров России нет. Бесплатной подготовки также не существует. Единственный доступный способ готовиться – онлайн тренажеры.
Чтобы понять, сколько людей заходит дальше простого поиска и оформляет платные подписки, определим показатели конверсии в продажи.
Для этого, используем максимальный показатель по рынку услуг онлайн подготовки к тестам: 4,8%. Такой высокий показатель конверсии обеспечивается ажиотажем вокруг конкурса - среднегодовые его значения в разы меньше.
Теперь мы можем посчитать максимальное количество людей, готовящихся к дистанционному этапу.
Достоверность вычислений
Очевидно, что любой, кто покупает пакет для подготовки к тестам, не будет готовиться только к числовым или вербальным упражнениям, пропуская все остальное. Если человек покупает доступ к онлайн тренажерам, он использует для этого все доступные источники – руководства к тест-кейсам, информационные статьи и т.д.
Отдельно стоит сказать про тесты на эрудицию и про то, почему мы не используем их в своих расчетах:
«Я встречал какие-то вопросы, зачем знатоки географии на управленческом конкурсе. На самом деле можно было далеко не идеально ответить на тест общих знаний. Но если были очень высокие показатели по тесту способностей, то такой человек переходил на следующий этап. Если и там, и там неважно, то этого перехода не происходило. Почему вообще мы решили включить этот тест знаний? Мы в финале хотим видеть не только грамотных управленцев, но и просто эрудированных людей. А во-вторых, при том количестве заявок, которые мы получили, другой возможности произвести поступенчатый отсев практически не было. Финальным тестом был тест управленческого потенциала. Его валидность и надежность не позволяла пропустить больше 12500 человек.»
А поскольку получить возможность пройти тест на эрудицию можно лишь успешно закончив тесты способностей, наша статистика строится именно на вербальных, числовых и логических тестах. Тем более, что в тестах на управленческий потенциал использовались все те же три базовых теста.
То есть сравнение абсолютного количества участников, прошедших в полуфинал, с количеством людей, готовящимся к числовым, вербальным и логическим тестам достоверно.
Вновь обратимся к официальной статистике конкурса:
Теперь мы можем сравнить общую статистику запросов и количество зарегистрированных участников. На 227,193 реальных человека приходилось 250 тысяч поисковых запросов. Это логично, поскольку один человек не обязательно ищет лишь по одному ключу.
Пик роста запросов в поисковиках начался уже после завершения первого этапа.
Сравним количество прошедших в полуфинал с конверсией поисковых запросов в оформление доступа к тренировочным тестам.
Для подтверждения полученного результата, возьмем:
1. Статистику новых пользователей портала testonjob за обозначенный период;
2. Долю testonjob на рынке подготовки к онлайн тестам;
3. Общий объем рынка.
Сравним полученные данные:
~10 000 человек
Вывод
Получается, основная борьба велась между теми, кто проходил полноценную подготовку. И конкуренция в полуфинале, даже по самым смелым расчетам, составляла всего около 3-4 человек на место.
Еще раз заметим: если человек оформил подписку на доступ к тренировочным заданиям, вероятнее всего он не ограничился подготовкой только к одному типу тестов. Мы используем этот показатель, как индикатор мотивированности и осмысленного подхода к участию в «Лидерах».
Еще был небольшой процент людей (в основном, топ-менеджеры, структурные руководители в крупных компаниях), которые прошли этот этап без подготовки, поскольку уже не раз встречались с подобными тестами по долгу службы. Как вы помните, аналогичные тесты используют при трудоустройстве и на ассессменте.
Чтобы понять мотивацию тех, кто отказался от подготовки, мы провели небольшой опрос среди тех, кто не вышел в полуфинал. Оказалось, большинство наших респондентов не знали, что к дистанционным тестам можно (и нужно) было готовиться. Причем некоторые даже не пытались искать соответствующую информацию в интернете.
По нашим данным, для полуфинала «Лидеров России» 2018-2019 годов была установлена квота в 5000 мест. То, что эту квоту не добрали в 1,5 раза, говорит о малом количестве достойных кандидатов и, соответственно, о невысокой конкуренции.
Если с конкурсом 2017 года такая ситуация вполне объяснима, то почему люди не вынесли уроков в 2018 году, остается загадкой.
С конкуренцией вроде разобрались, перейдем к практической части:
Эксперимент: влияние экспресс-подготовки на результат тестов способностей
Мы предложили людям, которые впервые обратились в нашу компанию для подготовки к числовым, вербальным и логическим тестам поучаствовать в небольшом эксперименте.
Для этого мы выбрали 30 человек, которые раньше никогда не сталкивались с тестами способностей.
Первичный срез способностей решать тесты
Для начала мы определили исходные показатели. Для этого мы предложили пройти стандартный числовой тест. На 20 задач выделили 20 минут.
Примерно столько же времени дается и в реальных условиях.
Тренировка
Следующим этапом мы предложили участникам эксперимента пройти экспресс подготовку, для которой выдали 4 стандартных тренировочных теста (по 20 вопросов в каждом тесте).
Как только человек отвечал на все вопросы, он видел статистику правильных и неправильных ответов, свои ошибки и советы по правильному решению.
На тренировку отвели 4 часа.
Срез способностей после тренировки
И вновь мы предложили нашим участникам тест из 20 вопросов, как в самом начале эксперимента. Цифры в заданиях, естественно, были другими, но формат и сложность остались без изменений.
Результаты эксперимента
Откуда такой рост?
Сложность тестов способностей не в самих вопросах, а в умении быстро ориентироваться в задании за отведенный промежуток времени. Если бы время не было ограничено, любой образованный человек смог бы показать высокий результат.
Такое большое количество участников, выбывших на дистанционном этапе, говорит о том, что люди слишком уверены в собственных силах. Они забывают, что у них ограничено время, а также то, что с подобными вопросами они сталкиваются впервые.
В тех же числовых тестах условие всегда перегружено информацией (много лишних графиков, данных, таблиц). И за 50-70 секунд нужно успеть сориентироваться в вопросе, понять, что от тебя хотят, найти нужные данные и выбрать правильную тактику решения.
Кроме того, даже математические операции в таких тестах представляют определенную сложность:
1. Во-первых, из-за стресса: некоторые участники жаловались, что не могли сконцентрироваться, потому что отвлекались на таймер.
2. Во-вторых, люди привыкли полагаться на технику, забывая, как быстро, в одну операцию, считать проценты, пропорции и т.д.
Чтобы понять, о чем мы говорим, попробуйте ради эксперимента пройти с таймером небольшой числовой тест на нашем портале.
Не забудьте написать в комментариях ваш результат (только честно!)
Выводы из эксперимента:
1. Сами способности к анализу той или иной информации, у людей не изменились, поскольку этот параметр очень слабо поддается тренировке, закладываясь в период обучения (источник: вебинар ЭКОПСИ консалтинг). Улучшение результатов происходит за счет того, что человек учиться решать тесты (источник: вебинар ЭКОПСИ консалтинг) такого типа.
2. По нашим наблюдениям, первый тренировочный подход всегда дает наибольший прирост. Естественно, результаты не могут улучшаться бесконечно, и через какое-то время скорость и степень их роста тормозится. Эта тенденция подтверждается выборкой из базы наших клиентов.
3. Поскольку можно натренировать лишь способность решать тесты, чтобы получить на «Лидерах России» высокий результат, нужно тренироваться на максимально похожих заданиях. В противном случае, результат будет уже не так сильно выражен.
4. Результаты улучшаются за счет того, что человек учится быстрее ориентироваться в условии, быстрее производить расчеты в уме, быстрее выбирать правильную методику решения.
5. При достаточной тренировке, пройти эти тесты может каждый образованный человек, вне зависимости от его навыков анализа информации.
Заключение
Несмотря на серьезность конкурса и его потенциальную пользу, людям просто не хватает информации о том, что их будет ждать и как к этому готовиться. Проанализировав результаты 2017 и 2018 года, мы можем однозначно утверждать, что без вдумчивой подготовки к дистанционному этапу, на «Лидерах России» делать просто нечего.
Возможно, кому-то покажется, что мы говорим очевидные вещи, однако статистика говорит об обратном. Абсолютное большинство участников уже второй год подряд игнорирует полноценную подготовку.
И тем обиднее нам каждый год на youtube видеть гневные ролики участников, не прошедших в полуфинал, обвиняющих организаторов в предвзятости и чрезмерно сложных тестах. Хотя дело-то не в тестах, а в самих участниках и в их отношении к конкурсу.
Тем более, как мы выяснили, конкуренция на конкурсе не такая уж и высокая: 3 - 4 человека на место в полуфинале. Для всероссийского конкурса такого масштаба - это просто подарок.
Я пробовал участвовать в этой дичи.
Расположите озера по расположению с востока на запад. И ладно было бы там 2-3 известных и больших озёр, но нет, предполагалось, что эрудированный человек знает около 10 озер России. А также численность большинства городов страны. Что-то подобное и с историей.
Вы правда считаете, что именно это и есть эрудиция?
Не прошел на какой-то из следующих этапов просто потому, что не увидел, что он был на следующий день после тех тестов.(а сами тесты подглючивали)
Алексей, мы не даем оценку самому конкурсу или его организаторам - хорошие тесты они подобрали или плохие. В данном случае, мы лишь говорим о том, что подавляющее большинство (подчеркиваю, большинство) к дистанционному этапу не готовится.
Более того, в статье приведена цитата ректора РАНХиГС (оператор конкурса!), который как раз высказывается про вопросы о географии и роль этого теста в отборе участников.
К тому же, если мы говорим про конкурс 2018 года, к тем же вопросам на эрудицию можно было готовиться по опыту 2017 года. Еще в 2017 году в тестах были те же реки, города, история, культура и т.д.
У РФ лидер один, поэтому и тесты такие! Вакансия пока не открыта. А так, нужно не много: врать, хорошо говорить, носить костюм и иметь пресс-секретаря.
Георгий, вопрос не во власти и не в нашей стране, а в том, можете ли лично вы улучшить свое положение, карьеру или сделать что-то полезное. Мы, в свою очередь уверены, что пока (2ой год подряд) "Лидеры России" действительно работают. То есть обладая достаточными навыками и опытом вы действительно можете получить все преимущества от участия. И статистику мы приводим как раз для того, чтобы наглядно показать, что основная проблема - в подходе к участию.
Тесты на эрудицию (или общие знания о России) не простые. В них проверяются чисто энциклопедические знания.
Тесты способностей (числовые, вербальные, логические) измеряют вполне понятные параметры. Их используют уже давно в крупных зарубежных компаниях для отбора менеджеров средних и высоких позиций.
Участвовал в 17-18 гг. Получил высший балл по числовым и вербальным способностям, а вот с географией оказалось все плохо (да, здесь меня подвела как раз та самая самоуверенность и отсутствие доп. подготовки о чем написано в этой статье - я думал что я достаточно хорошо знаю географию России - оказалось что совсем нет.) Единственное для меня до сих пор не понятно, там был один вопрос расставить регионы по-порядку с востока на запад: и в том числе были указаны Республика Алтай и Кемеровская область - я так до сих пор и не понял, какой из этих регионов восточнее.....
Может вы мне здесь поясните, а то меня до сих пор мучает этот вопрос.
Кемеровская восточнее, если следовать показаниям википедии (по долготе).
Это вопрос на ранжирование, главную долю очков при подсчете баллов за эти задания участник получает, если он правильно разместит на экране самый высокий объект и самый низкий объект (по заданному критерию) Незначительные ошибки в середине ранговой (упорядоченной) последовательности не приводят к тому, что участник получает ноль очков за такие задания. Учитывая этот момент вы не теряетесь и игнорируете внутренне возмущение при прохождении теста) А это важно.
По моим ощущениям Алтай ближе к Сибири
Хм, если говорить о системе тестов, то она грамотна. Мне 40 лет и многие знания были отсеяны за время. И на подготовку ушло всего пару дней = о конкурсе поздно узнал. Экспресс подготовка помогла, просто легче ориентироваться в задаче получалось. Изначально знал, что числовые провалю и провалил, чувствую это. О чем это я? Конкурс интересен в плане перспектив и того какие минимальные требования ставит современная действительность.
Сам конкурс логичен. Да вы пройдёте тесты, но на этапе задач по руководству вы провалитесь. Руководитель это не набор знаний во всём, это умение строить системы и команды.
Цель конкурса как понимаю найти людей умеющих создавать команды и вести их, но при этом иметь минимальный набор качеств и знаний для таких должностей.
"Лидеры России" - конкурс красоты среди орков
Нет)) в школе и институте насдавался экзаменов! Я думал это действительно конкурс с интервьюированием специалистов и обсуждений по теме) а это егэ для взрослых дядек)))😂 столько талантов, а ракеты летают и возвращаются обратно там! Авто тесла там! Возобновляемая энергетика там!! У нас только банкиры и чиновники)))
Участвую второй год, могу сказать следующее. Вопросы действительно не сложные. Но на вопросы с числовыми данными даётся неадекватное соотношение объёма вопроса и времени на его решение. Пока прочитаешь, пока поймёшь что от тебя хотели - уже время закончилось. Эти вопросы никак не отражают способность работы с числовыми данными. У меня, к примеру, с математикой всегда всё в порядке было, но то, что в тестах, 60 сек на вопрос, это идиотизм.
И, да, согласен с авторами, без подготовки там делать нечего.
И, моё личное мнение, вопросы эти не позволяют отобрать действительно лучших для следующих этапов.
Соглашусь, что очень много участников, которые считают себя всезнайками... используя в жизни гуглояндексопоиски. Очень люблю с такими пересекаться на конференциях/семинарах, где нет возможности пользоваться компами, а время на реакцию (например, на слова ведущего) отводится минимум. А вот в таких конкурсах - их умения искать информацию в интернете нужны только на стадии подготовки. Однако ведь и надо знать, что искать! Если я читал в детстве и "Слово...", и "Князь Серебряный", и "Петр 1", и "Войну и мир" - я легко ориентируюсь в большинстве эпох нашего государства. Соответственно, тест ТОЗ больше на понимание того, учился ли кандидат в школе или в игрушки играл.
Зачем знание географии? Да чтобы "блатной" руководитель не тупил, упорно доказывая, что не может быть разница в цене товара из Ставрополя в городе Канске Красноярского края намного выше, чем в станице Краснодарского края, в упор не видя разницы между регионами (реальная история про чиновника из правительства Москвы).
Что мне не нравится в конкурсе - отсутствие теста на знание иностранных языков, хотя бы на четверочку школьной программы. Куда сейчас без знаний английского или хотя бы немецкого?
Отсутствие фильтра по физической подготовкe - на полуфинале видел десятки людей, кому явно нужно ложиться в больницу как минимум раза два в год, а им лет по 30-35 - запустили себя явно. Не хотел бы я видеть во главе разного уровня структур больных людей, которым часто придется отвлекаться от работы на лечение.
Ещё бы я на первое место поставил тесты управленческие, затем ТОЗ и только потом тесты способностей. Иначе получается, что отбирают лидеров среди всезнаек, в не всезнаек среди лидеров/управленцев. К сожалению руководство конкурса не понимает разницу )))
Площадка, упомянутая авторами - мне не подошла, слишком грубым показался подход по навяливанию платных услуг и малая предлагаемая база вопросов. Тем более, что есть куча бесплатных тестов, если умеешь искать в этих ваших инетиках ;).
P.S. Из выводов авторов статьи, похоже, выпадаю. О тесте узнал за неделю до закрытия регистрации, до полуфинала 2019 дошел спокойно с большим запасом - прошел бы в любой ФО. Сдавал дистанционные тесты из Китая, где живу и работаю - теряя по 5-10 секунд на загрузку страниц из-за "большой китайской стены" ))
В финал не прошел. 51 год.
P.P.S. К конкурсу отношусь положительно, направление действий неплохое - видел лично, что в финал большей частью прошли адекватные участники, хотя четверть - всё-таки молодые "горлопаны", сумевшие объединиться заранее и явно подыгрывавшие друг-другу на кейсах. Потом ради любопытства посмотрел финал - они были в рядах самых последних.
Бредовый конкурс какой-то, особенно на вербалику, пока читаешь текст, таймер истекает, даже до вопроса не успеваешь добраться.
Арифметика тоже идиотская, в некоторых вопросах надо ввести тучу данных в калькулятор, 2 раза сохранить промежуточный результат на бумаге, чтобы в конце, после того, как всё вычислил, тупо не успеть ввести правильный ответ. В других же, просто делаешь пару действий и получаешь ответ, кучу времени остаётся, которое не переносится на следующий вопрос.
Про пространственное мышление промолчу - есть несколько вариантов решения некоторых задач, какой приняли за верный составители теста - загадка.
Конечно, руководитель должен уметь быстро вычленять и обрабатывать необходимую информацию в условиях стресса, однако, тут скорее тест на то, как человек обучается выполнять однообразную рутинную работу (натаскивается на конкретные тесты).
Почему нельзя было сделать тесты сложнее, дав больше времени - для меня загадка.
Дорогие друзья!
Как один из кофаундеров testonjob, оставляю этот комментарий для ваших вопросов, как по самой статье, так и по "Лидерам России". Кроме того, если у вас есть предложения по будущим статьям или интересующим вас темам, будем рады поделиться накопившимся опытом:)
Лол. Кофаундер. Эт тип собачья порода?
Кажется, вся статья - просто реклама конторки по подготовки в Лидерам :) Ну прямо ЕГЭ "надо готовиться! только у нас! сам никто не сдаст!" :)
Если бы все было так, как вы говорите, мы бы не тратили столько времени на аналитику и сбор данных. И не писали бы такую огромную статью. И уж точно использовали бы больше ключевых слов:) Если вы заметили, мы с самого начала не скрываем, кто мы и чем занимаемся. При этом мы нигде не призываем и не принуждаем никого к каким либо действиям.
Мы часто встречали людей, которые боялись участвовать в "Лидерах России", потому что, как они считали, у них "нет шансов", "слишком высокая конкуренция" и т.д. И основная цель этой статьи - показать, что это не так и что каждому под силам попасть в полуфинал.
А мне было интересно в прошлом году участвовать. Я не готовилась, сразу скажу. Просто не подумала, что надо готовиться. Думала, что надо рассчитывать на те знания, которые имеешь, чтобы всё было честно. Я прошла все тесты без подготовки, даже географию и математику, хотя это мои очень слабые стороны. Даже кейсы успешно прошла. А вот на чем срезалась, так это на последнем психологическом тесте 2 этапа, где надо выбирать из нескольких утверждений. То есть это даже не на знания вопрос, а на личностные качества. Мне написали, что я не обладаю необходимыми качествами для лидера. Обидно! Тем более, что я уверена, что как раз обладаю. Так что, дело вовсе не в эрудиции, как я поняла. И, к слову сказать, вопросы на эрудицию - пустяковые. Кто в школе хорошо учился, у того проблем возникнуть не должно. Взять тест по истории, например. Я вот историк по образованию и я вам скажу, что вопрос "Что было раньше: Ледовое побоище или ВОВ?" - это вопрос ну... совсем для дурачков. И если кто-то на него не может ответить, то... Ну зачем нам такой лидер? Кстати, и вербальный тест не сложный. Да, времени на него дают мало, но тут же смысл в том, чтобы работать в цейтноте, быстро понимать, быстро принимать решение. Короче, я размяла мозги, схватила адреналинчику и была очень довольна. Участвую и в этом году. Первый этап прошла, хотя опять и не готовилась ))) Кстати, тест на знания пошла с первой попытки. Вопросы-то элементарные. Даже по географии - стоит только включить голову, и сразу приходит правильный ответ.
Участвовал в прошлом году (2018-2019) впервые в конкурсе, не готовился совсем и не знал, что меня ждёт на дистанционном этапе. Дошёл до очного полуфинала. Поэтому пройти тесты не готовясь к ним абсолютно возможно.
Комментарий удален модератором
Мы с женой НИКАК не готовились к тестам НИ на каком этапе.
Оба прошли в полуфинал.