Главная тайна IT-курсов для новичков

- это ответ на очень простой вопрос "А сколько именно студентов после вашего курса получает IT-работу?".

Для успеха любого IT-проекта важна его прозрачность. Чем более понятны и объективны метрики происходящих процессов, тем заказчику проще предсказать дальнейшее развитие событий и при необходимости повлиять на результат, приняв в нужный момент правильные решения.

В EdTech, готовящем кадры для IT, пока есть определенные проблемы с прозрачностью. Возможно, из-за того, что IT-образование пока все еще лихорадит. В середине 19 века возникла калифорнийская “золотая лихорадка”, когда многие устремились на прииски в надежде отыскать золото и разбогатеть. Спустя 160 лет там же началась лихорадка EdTech, когда в Калифорнии были основаны такие известные компании как Coursera, Udacity и Khan Academy.

Последние годы внимание к IT-образованию не ослабевает. Многие хотят реализоваться в IT и получить высокооплачиваемую работу.Да, вероятность выучиться и найти IT-работу сильно выше, чем обнаружить золотую жилу на прииске. Есть много хороших программ, курсов и предостаточно квалифицированных специалистов, которые готовы делиться своим опытом.

Но это не значит, что улучшать нечего. Без простых и объективных критериев эффективности образования у студента есть ненулевая вероятность не получить ожидаемый результат.

Какие могут быть показатели эффективности образовательного процесса? Зависит от вида обучения.

Бывает обучение, где главный индикатор эффективности - это уровень комфорта и удовольствия студента от обучения. Таковы, например, курсы про выстраивание жизненного баланса, рисование или повседневное использование нейросетей. Они должны расслаблять и развлекать, а результатом будет являться тот самый комфорт, новые впечатления и умения.

Есть обучение, результатом которого должно быть изменение жизни студента и ее радикальное улучшение. Поэтому качество такого курса должно определяться главным параметром - получилось у студента изменить свою жизнь, карьеру или нет.

В разрезе IT-образования "с нуля" результатом будет как раз ответ на вопрос "Хватило ли полученных знаний и навыков для того, чтобы начать карьеру?".Если хватило - то значит всё отлично. Если нет - значит деньги студента потрачены впустую, а курсу надо что-то менять.

К сожалению, некоторые мои коллеги по EdTech категорически несогласны с тем, что трудоустройство - это главный индикатор, показывающий результативность IT-курса для новичков.

Конечно, данные параметры тоже важны. Сложно достичь результата, если обучаться не нравится, преподаватель объясняет непонятно, а занятия скорее демотивируют, чем зажигают.

Но эти параметры оценивают только процесс обучения, но не его результат. А еще они имеют смысл для EdTech компании, но не для студентов. Что, например, означает для обучающегося COR 45% или NPS 60%? Как это ему поможет выбрать подходящее обучение?

Есть три основные причины, почему многие IT-курсы занимают позицию “трудоустройство после обучения - это не KPI”:

Если поставить в качестве основного ориентира число начавшихся карьер, то придется отказываться от постулата “каждый может в IT”. Как не каждый может стать врачом, так не каждый может разработчиком или тестировщиком. Чтобы студент мог впитать необходимый набор знаний и навыков, у него изначально должны быть некоторые способности и склонности.

Из этого логично вытекает то, что не нужно пытаться учить по принципу “раз смог заплатить, значит сможет работать в IT”. И нужно вводить вступительное тестирование способностей. Увы, для курса это приводит к ощутимому падению числа студентов, а значит и денег.

Здесь от коллег по EdTech обычно звучит контраргумент “кто придумал такой KPI” и ”вступительное тестирование - это попытка курса облегчить себе работу”.

Но число трудоустроенных студентов и успех выпускников в данной области - это одни из главных KPI любого приличного западного вуза. И сложно представить себе качественное учебное заведение без вступительных экзаменов.

Не менее частая причина отсутствия результата - это обучающая программа, оторванная от реального рынка. Более того - при получении мощной обратной связи от работодателей "знания джуна не в нашем стеке, мы как раз перешли на ***" обновлять учебную программу придется гораздо чаще, чем раз в два года.

С контраргументом “в тестировании тест-дизайн за последние 10 лет не менялся” я частично согласна. Тест-дизайн в понимании тестирования распространенных N-звенных приложений последние годы действительно тот же, что описан у Lee Copeland’a или даже у Mayers’a.

Когда 20 лет назад я устраивалась на свою первую полноценную работу тестером, достаточно было тест-дизайна и хотя бы общего понимания принципов работы ПО. Также до 2020 года было сложно представить, что у джуна первой работой может быть проект с микросервисами. А до 2023 года - что может потребоваться начать карьеру на проекте с AI и векторной БД.

Процент начинающих IT-карьеру студентов для разных курсов отличается на порядок (!). Понятно, что далеко не все курсы заинтересованы в том, чтобы к числу трудоустройств привлекалось внимание.

Большинству студентов не нужна учеба ради учебы. Как старатели вряд ли пересекали океан, чтобы приехать в Калифорнию просто ради удовольствия покопаться в земле, так и главная жалоба, которую высказывают студенты многих курсов, это "из нашей группы почти никто не трудоустроился".

Студенты хотят начать карьеру в новой для себя индустрии.А так как клиент всегда прав, IT-школы вынуждены публиковать статистику, хотя бы приблизительно отражающую объективные результаты их работы.

Далее поделюсь некоторым инсайдерским взглядом на IT-образование. Про то, какие у каждого курса есть варианты рассказать про воображаемые или реальные результаты работы. А у студента - отличить мнимое раскрытие тайны от реального.

Сначала - про важный психологический момент.

По мнению обычного абитуриента, работу в IT должны получить 85-95% поступивших студентов, не меньше.

На самом деле теоретический максимум - это 81% трудоустроенных.

Почему именно 81%?

а) Даже на идеальном курсе 10% студентам помешает дойти до конца обучения:

(это всё реальные примеры из практики за последние 12 месяцев.)

б) Из дошедших до выпуска 10% студентов не сможет пройти финальную дистанцию “поиск вакансий, отклики, тестовые задания, собеседования” опять же по тем причинам, что указаны выше.

90%+90% = 81%

А на практике после разных курсов получают работу от 5% до 80% поступивших.

Это расхождение между ожидаемым и реальным, увы, вынуждает некоторые курсы пытаться завуалировать реальные цифры так, чтобы они были похожи на то, что ожидает увидеть абитуриент.

Наиболее типичные приемы подать статистику трудоустройств запутанно:

Сколько было тех, кто выполнил домашки на 90%?50 студентов из 100?или 5 студентов из 100?

Вторая часть "[% трудоустроившихся студентов среди тех, кто] получил оффер во время обучения" вызывает еще больше вопросов.

"Гуманитарий" прочитает это как "84% студентов нашли работу".

Человек с техническим складом как "из числа тех студентов, кто нашел работу, 84% сделали это с помощью Центра карьеры".

Для сравнения - весьма неплохой курс, Яндекс Практикум, открыто сообщает, что у них лишь 60% студентов доходит до конца обучения. Поэтому 80% (!) трудоустроившихся, да и еще до конца курса (!) - это фантастический результат.

Но, возможно, подобно предыдущей картинке, это следует читать как “80% из числа всех нашедших работу находит ее до конца обучения”.

Основной вопрос к указываемым на лендингах числам трудоустройств - в 99% случаев не раскрываются исходные данные. Проверить, что именно такой процент студентов на самом деле трудоустроился, невозможно.

Итак, способ №1 “данные на лендинге курса”
Плюсы: можно верить на слово, не вдаваясь в детали
Минусы: нужно верить на слово, не вдаваясь в детали

Второй способ:

Общее недоверие к статистике трудоустройств, которую курсы “считают сами о себе”, родило предложение в виде внешних аудитов трудоустройств.

Самые известные аудиты на русскоязычном рынке делает Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ).

Можно найти аудиты:

Это аудиты, которые содержат много интересной информации и дают много пищи для размышлений.

В отчете аудита можно увидеть, как отличается обучение на разных программах и с какими полученными специальностями студенты находят работу легче, а с какими сложнее. Также дается информация о том, каким способом чаще и как быстро студенты находят работу.

Единственный, но существенный минус аудитов НИУ ВШЭ - в них есть информация о выпускниках, но нет никакой информации о том, сколько студентов становится выпускниками. Мы можем посмотреть, сколько выпускников трудоустроилось, но не сколько из изначально поступивших дошло до конца обучения и получило работу в IT.50 выпустилось, 25 трудоустроилось = 50%выглядит намного лучше, чем100 поступило, 25 трудоустроилось = 25%

Возможно, это ограничения методики или желание не делать статистику слишком сложной. Но то, что в данной статистике учитываются только “выжившие старатели”, всей полноты информации все-таки не дает. Это подобно анализу эффективности больницы только по выжившим пациентам.

Итак, способ №2 “внешний аудит”
Плюсы: проверяет внешняя компания, данным можно верить
Минусы: есть только часть статистики

Третий способ:

Когда мы тоже прошли аудит, я задумалась.

Например, в виде открытых списков. Вот такие-то студенты начали обучаться. А потом из их числа такие-то в результате начали IT-карьеру.

Но раньше я никогда не видела, чтобы курсы когда-нибудь открывали подобную информацию. Очевидно, что есть какие-то подводные камни, например, персональные данные. Не каждый студент согласится, чтобы информация о нем была размещена в сети.

На практике всё оказалось не так сложно:

Первым делом необходимо найти баланс по персональным данным. С одной стороны, частично деперсонализировать данные студентов, чтобы не создавать им проблем или просто дискомфорт. С другой - оставить возможность желающим убедиться, что это всё реальные, а не нагенерированные личности.

Затем - проверить, что действующие оферта и политика персональных данных позволяют размещать нужную информацию.

Главное - заручиться поддержкой студентов нескольких первых учебных групп. Как показал опыт, желание помочь другим ("я помню, как сам выбирал обучение, пытаясь отличить качественное обучение от плохого" и благодарность к школе (если, конечно, большинство студентов нашло работу после обучения) - это то, что позволяет эту поддержку получить.

Списки всех поступивших студентов и всех получивших работу в тестировании.

Первый столбец - имя и первая буква фамилии каждого студента. Ссылка из этого столбца ведет на телеграм студента.

Второй и третий столбец - это результат обучения в виде трудоустройства в конкретную компанию (или его отсутствия).

Четвертый столбец - это ссылка на LinkedIn* студента.

Заблокированный в РФ LinkedIn*, а не другая соцсеть или Habr, используется по двум причинам:

Проверка трудоустройства. В LinkedIn* проще убедиться, что трудоустройство в конкретную компанию реальное, а не виртуальное. В отличие, например, от Хабра, LinkedIn* показывает полностью весь список "заявившихся" сотрудников компании, а не его часть. И если ты указываешь, что работаешь в CompanyName, то начинаешь публично отображаться в списке сотрудников.

Демонстрация, что студент закончил не EdTech-фабрику фейковых резюме. Есть мнение, что не нужно ориентироваться на число трудоустроившихся после курса студентов, потому что появилось слишком много курсов-фабрик фейковых резюме. Которые готовы трудоустроить кого угодно.Такая проблема действительно есть - отдельные курсы дают некоторые базовые IT-знания, но значительный упор делают на, как они называют, “составление легенды в резюме”, помощь в выполнении тестовых и обучение списыванию на собеседованиях. Вплоть до активной помощи с прохождением самого собеседования.Как проверить, что выпускник конкретного курса не плод такого “образования”?Проще всего оценить реалистичность опыта по резюме. LinkedIn* - публичная соцсеть, поэтому по открытым спискам выпускников со ссылкой на их профили легко убедиться в том, какая модель трудоустройства использовалась. Достаточно сверить месяц окончания курса с указанным опытом по специальности.

*В РФ LinkedIn заблокирован, но, как показал опыт, 90% российских студентов с регистрацией проблем не испытывают.

Вышеуказанное позволяет не раскрывать то, что раскрывать не нужно. Для тех студентов, кто не начал карьеру в IT, персональных данных практически нет - только ссылка на телеграм-профиль. Ник редко совпадает с фамилией, а номер телефона у большинства закрыт для просмотра.Для тех студентов, которые не только учились, но и нашли работу в IT, персональных данных больше - есть ссылка на публичный профиль в LinkedIn* + название компании.

Пользуясь открытыми данными, можно выйти на контакт с любым обучавшимся. Чтобы проверить, что списки поступивших реальные ("А Игорь С. учился в вашей группе?"), а выпускники действительно трудоустроились в конкретные компании именно по специальности.И, в конечном итоге, убедиться, что % трудоустроившихся студентов взят курсом не из головы.

Итак, способ №3 “поименные списки”
Плюсы: самый прозрачный способ
Минусы: нужно отслеживать судьбу каждого студента

Если бы вы на последние деньги приехали на золотой прииск и услышали, что "многие из работавших здесь в результате стали миллионерами" логично было попросить список всех когда-либо работавших на этом прииске. С явным указанием тех, кто в результате стал миллионером.

Аналогичное имеет смысл сделать и при выборе IT-обучения - попросить у представителя курса ссылку на открытые исходные данные по трудоустройству.

Это самый простой способ узнать, а как обстоят дела на самом деле. Ведь как показывает опыт, у IT-курсов есть возможность максимально прозрачно продемонстрировать результаты обучения.

Про нюансы профессионального подхода к IT-образованию еженедельно говорим в телеграм-канале “Становимся тестировщиком”. Там же появляются анонсы следующих статей.