Как мы в 120 раз увеличили скорость разработки тестовых заданий и снизили стоимость оценки персонала в 10 раз?
Если вы отвечаете за процесс оценки в компании, а если это еще и крупная производственная или промышленная компания, то ваша головная боль - это не только автоматизировать сам процесс оценки, но еще и разработать контент, тестовые задания, по которым оцениваются работники. А это может быть 1000 профессиональных областей, которые регулируются не только федеральными документами, но и внутренними регламентами. И они еще и меняются в среднем на 30% в год. Фактически нужно создать целую фабрику разработки тестовых заданий и их постоянной актуализации.
Всем доброго дня! Мы - Univertus - IT-компания, автоматизируем HR-процессы, строим системный подход к управлению персоналом, повышая эффективность работы компании в среднем на 5-10%.
В этой статье мы расскажем, как мы избавили себя и наших клиентов от ручной разработки тестовых заданий для оценки профессиональных знаний, увеличив скорость разработки в 120 раз и снизив стоимость в 10 раз. Процесс оценки персонала стал в несколько раз эффективнее.
Содержание
На разработку пакета тестовых заданий для 100 профессий требуется в среднем 20 месяцев и 25 млн рублей
Мы занимаемся разработкой методологии оценки персонала и разрабатываем тестовые задания для оценки знаний уже более 10 лет для крупнейший промышленных компаний России и СНГ. На практике знаем, как много времени, денег и человеческих ресурсов требуется для этой задачи. Некоторые компании даже уже нанимают целый отдел методологов, которые разрабатывают тестовые задания. Поверьте, это не самая интересная задача для тех, кто стремится к развитию. Она требует терпения, въедливости и еще раз терпения.
Процесс обычно строится так:
Компания определяет область знаний, по которой необходимо провести оценку персонала.
Собираются нормативные документы, которые регулируют эту область знаний, так называемые источники. Это могут быть технические регламенты, обучающие материалы, учебники, федеральные законы и .т.д. - все то, что дает возможность оценивать различные категории персонала, как рабочих так и руководителей.
Затем все эти пачки документов изучаются и вручную разрабатываются тестовые задания, а именно: Вопрос - Варианты ответов (правильные и неправильные).
После проверки тестовые задания нужно переложить в шаблон Excel и загрузить в автоматизированную систему оценки. Здорово, если эта система сможет сформировать отчеты результатам оценки.
Весь этот процесс трудоемкий и дорогостоящий. И самое важное - часто бывают ситуации, когда оценку персонала необходимо провести срочно, чтобы подтвердить квалификацию работников, например, в тендерах.
Для верификации тестовых заданий компании часто привлекают своих производственных специалистов, отвлекая их от задач производства
Следующая часть затрат в текущем процессе - частая необходимость привлекать производственных специалистов, которые верифицируют тестовые задания, фактически ставят печать “принято”. Вот, например, вам нужно оценить слесарей-ремонтников. Методологический отдел компании или консалтинговое агентство разработало комплекты тестовых заданий, но их должен принять эксперт. Компания отвлекает руководителя отдела Технического обслуживания и ремонта от производственных задач, планы по ремонтам сдвигаются, производственный процесс страдает. Проверка 20 тестовых заданий в среднем занимает 1 час. Если в комплекте по одной профессии 200 тестовых заданий, то это уже 10 часов работы. Это утечки часов высококвалифицированных специалистов, которые в расходах не отображаются, но косвенно влияют на эффективность компании.
Документы, на основе которых разрабатываются тестовые задания, меняются на 30% в год
И вот примерно через 20 месяцев комплекты тестовых заданий для 100 профессий разработаны, верифицированы и даже используются уже для оценки. Но тут возникает еще одна проблема - в документы вносятся изменения, не важно, федеральные это документы или внутренние регламенты компании. Все эти изменения нужно учитывать при оценке знаний работников. Сейчас это опять ручной труд методологов и экспертов. Обновлять тестовые задания необходимо также из-за утечек данных - люди обмениваются заданиями и правильными ответами, поэтому обновления и вариативность необходимы.
Мы разработали продукт на основе искусственного интеллекта, который автоматически генерирует тестовые задания по текстам документов, а при изменении документов тестовые задания обновляются.
На себе испытав всю трудоемкость процесса разработки тестовых заданий и связанных с ним затрат, мы решили его автоматизировать, дабы алгоритмы искусственного интеллекта сейчас развиты достаточно, чтобы справиться с этой задачей.
В 2022 году мы получили грант от Фонда содействия инновациям. Техническая команда работала на алгоритмом в тесной связке с командой методологов, так как изначально задача сформировать Вопросы и варианты Ответов не кажется сложной, но когда погружаешься в детали, то важно учесть все:
Строить вопросы так, чтобы на него можно было четко ответить;
- Расшифровывать аббревиатуры;
- Раскрывать контекст фразы;
- Формировать неправильные ответы так, чтобы по смыслу и по длине ответа они были идентичны правильному ответу;
- Избегать деепричастных оборотов;
- Учитывать полноту покрытия документа тестовыми заданиями.
И мы обучаем алгоритм каждый день обратной связью от методологов, профессиональных экспертов и оцениваемых работников.
Теперь процесс выглядит так:
- Выбираем области знаний для оценки.
- Загружаем в систему документы-источники знаний.
- Система генерирует тестовые задания.
- Их верифицирует эксперт.
- Настраиваем профили оценки в системе.
- Работник проходит оценку.
- После оценки видит неправильно отвеченные вопросы, правильные ответы на них и цитату из документа. Эта функция используется для обучения персонала.
- Система формирует детальные отчеты по результатам оценки.
- Все тестовые задания обновляются по факту внесения изменений в документы.
Весь процесс оценки, включая разработку и актуализацию комплектов тестовых заданий, теперь занимает от недели до месяца.
Разработка тестовых заданий - это задача, с которой алгоритм справляется быстрее, дешевле и качественнее, так как процесс стандартизируется - все тестовые задания создаются согласно четких правил методологии; обеспечивается четкая связка между тестовым заданием, нормативным документом и областью знаний. Обратная связь от работников, которые проходят оценку, дает возможность оперативно корректировать тестовые задания и устранять неточности. Система может работать как облаке, так и во внутреннем контуре клиента, так как мы понимаем требования безопасности.
При обновлении документов-источников система актуализирует тестовые задания и сообщает об этом клиенту. Теперь даже думать не нужно о том, что работники проходят оценку по неактуальным документам. Например, изменения в Закон о Рекламе вносятся практически каждые полгода.
Итог: процесс настройки оценки и профилей работников, включая разработку тестовых заданий, занимает от 2х до 4х недель вместо нескольких месяцев, а затраты составляют около 30 тыс. рублей за оценку 100 работников.
Если вы хотите ускорить и упростить процесс разработки тестовых заданий для оценки персонала, проведите с нами бесплатный пилот.
Как проходит пилот:
- вы предоставляете нам свой документ
- мы генерируем тестовые задания и показываем вам результат.