Как Норникель повысил честность тестирования сотрудников

Расходы явно сократились, как и риск списывания
Илья Шабельников, Корпоративный университет Норникель.

Рассказываем, как работали с жёсткими требованиями службы безопасности Норникеля, помогли оптимизировать расходы на тестирование сотрудников и проводить их в 100 раз быстрее.

Как Норникель повысил честность тестирования сотрудников

ПАО «ГМК «Норильский никель» – крупнейшая в мире горно-металлургическая компания по производству никеля и палладия, один из ведущих производителей платины и меди. Помимо этого, Норникель производит побочные металлы – кобальт, родий, серебро, золото, иридий, рутений, а также селен, теллур и серу.

Компания развивается только в том случае, если развиваются сотрудники. Поэтому в Норникеле созданы все условия для поддержки и развития персонала: проводятся обучающие мероприятия, активно внедряется система управления профессиональными компетенциями работников.

В компании существует собственный Корпоративный университет. Он нужен, чтобы:

повысить уровень знаний сотрудников;
проводить первичные тестирования кандидатов при приёме на работу;
организовывать плановые аттестации сотрудников, чтобы определить, насколько их знания соответствуют целевым для той или иной профессии;
продвигать культуру непрерывного образования сотрудников.

Корпоративный университет контролирует знания сотрудников, чтобы:

определить, соответствуют ли сотрудники своим должностям;
выбрать, кого отправить на обучение;
включить сотрудника в кадровый резерв;
получить данные для создания новых программ;
определить наставников для передачи опыта.

По результатам тестирования они получают документы, подтверждающие их уровень квалификации. Поэтому точность и прозрачность тестирования очень важна для заказчика.

Раньше сотрудники выполняли тестирование в классах Корпоративного университета. Дорога до него занимала 2 часа рабочего времени.

Вместо участия в производственном процессе и выполнения рабочего плана,они тратили половину рабочего дня на тесты.

Чтобы отпустить сотрудников с рабочих мест, приходилось проходить сложную бюрократическую процедуру:

готовить распорядительные документы на отвлечение работников в течение рабочего дня;
выделять и готовить учебные классы;
организовывать работу администраторов тестирования: отвлекать от работы приходилось не только тестируемых, но и сотрудников Корпоративного университета, которые следили, чтобы сотрудники сдавали экзамены честно.

Организовывать выезд сотрудников в Корпоративный университет было трудозатратно. Онлайн-система контроля за тестированием нужна была, чтобы не отрывать сотрудников от рабочих мест
Анна Рыкова, проректор по цифровому обучению Корп. университета Норникель

быстрого роста охваченных функций и предприятий;
количества инструментов оценки: 200 тыс. вопросов;
количества сотрудников, которых нужно тестировать: около 20 тыс. руководителей и специалистов компании в год.

Так Норникель и вышел на системы прокторинга. Прокторинг — это контроль за честностью экзамена. Система в онлайн-режиме помогает фиксировать попытки сдающего списать или схитрить на экзамене.

Масла в огонь добавила пандемия: мы сидели по домам, но жизнь шла, и оценки проводить надо было. Поэтому искали решение, как организовать тестирование не посещая корпоративный университет. Экзамус, на наш взгляд, оказался одним из самых зрелых решений
Илья Шабельников, начальник Упр-я орг. эффективности и оценки должностей

Сотрудничество с Экзамус — это не просто подключение системы, это полноценный экспертный консалтинг по организации онлайн-прокторинга.

Поэтому в начале работы мы рассказывали клиенту:

какие есть варианты продукта (синхронный и асинхронный режимы);
какой режим для какого случая будет оптимален, их плюсы и минусы;
как люди пытаются списывать, и как предотвратить эти попытки технически и организационно.

Кроме того, мы познакомили команду Норникеля со своими клиентами. Общение с ними помогло заказчику лучше написать техническое задание для своего проекта. Особенно полезной для заказчика стала встреча с представителями Сбербанка, которому мы оказываем схожие услуги.

Сомнения были, да. Система может не справиться, не все ошибки найдет и так далее. Но у нас были референсы ВУЗов, других компаний. Точно помню, что встречались со Сбербанком, они рассказывали, как используют систему
Илья Шабельников, начальник Упр-я орг. эффективности и оценки должностей

снизить расходы компании на проведение тестирования;
повысить качество тестирования;
увеличить количество тестируемых в одно время с 10 человек до 1000;
повысить уровень доверия к результатам тестирования как со стороны руководителей, так и со стороны работников;
создать возможность использования системы при рекрутменте.

Мы проводили тестирование в классах на платформе подрядчика. Это было дороже, чем прокторинг: нужны были администраторы, которые находились в классе в момент оценки сотрудников. Ручной труд — недешевое «удовольствие», особенно учитывая наши объемы. Это дополнительный фонд оплаты труда, аренда помещений. Мы хотели максимально автоматизировать и упростить этот процесс
Илья Шабельников, начальник Упр-я орг. эффективности и оценки должностей

Развернули систему Экзамус на базе Норникеля. В результате получилась автоматизированная система, которой дали имя “Монитор”.

Подключение делали совместно с командой внедрения — Спутником.

Мы подключили Норникель к асинхронному формату прокторинга. Это режим пост-просмотра видео. Он позволяет отфильтровать подозрительные сессии, которые можно посмотреть вручную в архиве, и подтвердить, что тестирование было пройдено честно.

В начале работы Норникель пользовался услугами прокторов Экзамус, затем компания наняла проверяющих в штат.

Выбрали асинхронный вариант, т.к. нет такого количества прокторов, чтобы вживую смотреть за каждым тестируемым. Кроме того, тестируемый и проктор могут быть в разных часовых поясах. Однако если нужно будет провести прокторинг в режиме реального времени, это тоже возможно
Анна Рыкова, проректор по цифровому обучению Корп. университета Норникель

Подготовка проекта: согласовали календарный план и провели встречу по началу проекта.
Концептуальное проектирование: подготовили техническую документацию на разрабатываемое решение.
Реализация: разработали и согласовали сценарии тестирования и методику испытаний, провели внутренние тестирования.
Развертывание: Разместили решение в инфраструктуре Норникеля, настроили роли пользователям, провели нагрузочные тесты.
Опытная эксплуатация и подготовка к промышленной эксплуатации: провели приемосдаточные испытания, опытную эксплуатацию на небольшой группе пользователей и передали систему Заказчику.

После этого перешли к формату технической поддержки.

Проект осложняется тем, что все данные для тестирования должны находиться на серверах Норникеля. Это было ключевым требованием заказчика.

Нужно было развернуть всю инфраструктуру прокторинга на серверах Норникеля. Это требовало времени: проект мы начали реализовывать в мае 2021 года и планировали завершить пятый этап к марту 2022.

В процессе работы неожиданно несколько ключевых моментов поменялись, технологическая сложность повысилась. На этапе продажи мы рассказывали обо всех фичах нашего продукта. Но часть этого функционала доступна только на наших серверах.
Заказчик захотел включить эти функции, но с условием, что все происходит в их внутренней системе. В итоге находили компромиссы: от части фич пришлось отказаться, часть переносили заказчику
Наркис Мирсаитов, директор Examus и руководитель проекта

Автоматическая идентификация. Когда мы заранее загружаем фотографию пользователя и перед тестированием мы сравниваем человека на видео с ней.

У нас был такой функционал, но на этапе подготовки мы не знали, что заказчик хочет его использовать

В итоге нам удалось внедрить автоматическую идентификацию. Если же эталонного фото нет, то человек перед тестом фотографируется с паспортом в руках, и живой проктор проверяет соответствие

Сдача тестов с помощью виртуальных столов.

Для безопасности, любой доступ во внутреннюю систему Корпоративного университета возможен только через виртуальный рабочий стол. Это добавило сложности. Требование не было отражено в ТЗ изначально, т.к. заказчик посчитал его неважным, а it-служба Норникеля не принимала участия в предварительных обсуждениях.

Вот как комментируют это представители Спутника (команды внедрения):

Тем, кто планирует проходить аналогичный процесс, мы бы рекомендовали проводить обсуждения на встречах между сотрудниками службы безопасности и вендором, чтобы выявить все основные моменты, которые повлияют в дальнейшем на проект. Готовить техническую базу проекта заранее

Команда Экзамус отработала все требования службы безопасности. Фактически дописывали этот модуль в ходе внедрения. Мы внедрили:

ролевую модель,
журнал безопасности,
парольную политику,
защиту информации.

Работа с Норникелем многому нас научила. Раньше мы работали в основном с ВУЗами. После этого проекта расширили свой опыт взаимодействия с компаниями. И прокачали свой продукт, чтобы соответствовать интересам корпоративных заказчиков
Наркис Мирсаитов, директор Экзамус и руководитель проекта

возможность создавать требования к паролям;
появилась роль администратора защиты;
журнал безопасности;
интеграция с Active Directory;
информация о технических сбоях тестируемых теперь сохраняется в архиве.

Ещё при внедрении сделали вывод, что стоит более подробно обсуждать техническое задание с техническими специалистами, активно вовлекать в предварительные обсуждения it-службу и службу безопасности клиента.

Заказчик согласился с нами:

Работать с прокторингом Экзамус очень просто. Есть инструкции, со сдачей теста сложностей не возникнет ни у кого из тестируемых.
Если бы мы сейчас делали весь проект заново, выделили бы отдельного сотрудника, который занимался только архитектурой проекта. В таком случае удалось бы избежать сдвига проекта по времени, который возник из-за необходимости дополнительно согласовывать некоторые моменты со службой безопасности.
А еще мы бы привлекли ряд сотрудников службы безопасности к разработке, это помогло бы избежать последующих правок по ходу реализации
Сергей Мокшанин, — главный менеджер упр-я орг. эффективности и оценки должностей

Сократились расходы на организацию тестирований (сотрудники больше не отвлекаются с рабочих мест);
Время на проведение тестирования снизилось с 4 часов до 1 (исключили время на трансфер);
По результатам нагрузочных тестов единовременно можно тестировать 1000 человек (было 10);
возросло доверие к результатам тестирований, благодаря прозрачной системе контроля;
появилась техническая возможность использовать прокторинг при найме сотрудников, на данный момент прорабатывается реализация.

Сейчас сотрудники могут проходить тестирования в нерабочее время дома, либо в рабочее время из офиса. Система прокторинга выступает в роли объективного «арбитра» при тестировании.
При помощи прокторинга мы можем выявлять зоны развития и совершенствовать учебные программы.
Сделали вывод, что лучше один раз вложиться в систему и экономить в будущем
Анна Рыкова, проректор по цифровому обучению корп. университета Норникель

По результатам первых 700 тестирований Норникель выявил, что люди пытались списывать и получать подсказки от третьих лиц. Мы успешно выявили эти случаи и отправили людей на пересдачу. В результате качество тестирования повысилось.

Кто-то, да пытался списать. Часто люди пишут апелляции, т.к. думают что могут оспорить решение проктора. Даже был случай, когда человек написал подробную апелляцию, что он, мол, сдавал экзамены вживую на все 5, а на электронном тестировании мы его «засудили». Начали разбирать видео и проктор прямо по минутам показал, когда и как человек пытался списать: обращался за советом к коллегам, переводил взгляд на колени, где была, видимо, шпаргалка, и т.д.
Все же система прокторинга гораздо более жесткая и беспристрастная, чем традиционная, когда проверяет живой человек
Сергей Мокшанин, главный менеджер упр-я орг.эффективности и оценки должностей

Наш договор с Норникелем продолжает действовать. Сейчас мы: