Как мы заменили одного эксперта на ИИ при проведении встречи по защите квалификации автоматизаторов

Я работаю в компании по тестированию программного обеспечения на позиции руководителя QA-проектов. У нас в компании есть внутренняя матрица квалификаций, отражающая навыки инженеров

За время своей работы на данной позиции я хорошо изучил все сложности и узкие места процесса повышения квалификации автоматизаторов и в какой-то момент мы в компании решили его модернизировать с помощью искусственного интеллекта.

В этой статье я расскажу о том, как мы пришли к этой идее и что это дало компании.

Сложилось устойчивое мнение, что приемочная комиссия — это когда эксперт придумывает вопросы, а инженер пытается на них ответить. Это не совсем верно.

В идеале это должна быть проверка знаний, где эксперт тоже вовлечен в процесс, а не механически задает заученные вопросы. Хотелось сделать так, чтобы и формулировка задач, и их решение были полезны и интересны обеим сторонам.

Главная проблема для эксперта в традиционном формате — необходимость одновременно выполнять несколько действий: задавать вопросы, быстро и точно записывать ответы кандидата, сразу их оценивать и формулировать обратную связь.

Когда экспертов двое (а именно так раньше был выстроен наш процесс приемочной комиссии), добавляется еще и необходимость согласовывать мнение. Мы решили упростить эту схему, заменив одного из экспертов ботом-ассистентом.

Общая схема выглядела просто: загрузить в языковую модель материалы из базы знаний, получить от нее вопросы, задать их кандидату, а затем передать ответы модели для оценки. Все это под наблюдением одного эксперта со стороны компании.

При ее разработке мы столкнулись с двумя основными трудностями.

Первая трудность — контекст. Большие языковые модели могут теряться, если дать им слишком объемную и сложную инструкцию. Наша программа для инженеров-автоматизаторов первой квалификации включает шесть больших тем: работа с Git, шаблоны проектирования, языковые конструкции, модульное тестирование, инструменты автоматизации и общая техническая грамотность.

Решение было в дроблении. Мы не загружаем все данные разом. Вместо этого для каждой темы создается отдельный запрос к модели. Это позволяет ей работать с четким контекстом и не путать информацию из разных областей.

Вторая трудность — качество вопросов. Нейросеть может сгенерировать неудачный или неточный вопрос. Кроме того, была вероятность, что разным кандидатам она будет задавать одно и то же.

Наше решение — создание пула вопросов. Мы просим модель сгенерировать не два-три вопроса, а целый набор по каждой теме — например, десять или пятнадцать. Затем живой эксперт просматривает этот пул и отбирает наиболее релевантные и корректные формулировки. Это решает сразу несколько задач: обеспечивает разнообразие, снижает вероятность повторения и экономит время эксперта на подготовку.

Эксперт заранее получает приглашение на приемку. Он заходит в бот, указывает необходимую тему — например, Git для Grade 1. Бот формирует пул вопросов. Эксперт быстро просматривает и отбирает из них финальный список для кандидата. Это занимает несколько минут вместо часов подготовки.

В назначенное время эксперт и кандидат созваниваются. Кандидат включает демонстрацию экрана и письменно отвечает на вопросы в интерфейсе бота. Эксперт наблюдает за процессом.

После того как кандидат заканчивает и отключается, бот почти мгновенно присылает эксперту подробный отчет. В отчете содержатся ответы кандидата, предварительная оценка по каждому пункту и комментарии модели — например, указание на то, что в ответе не хватило раскрытия какой-то конкретной темы.

Эксперт проверяет этот отчет, вносит при необходимости свои коррективы и принимает окончательное решение. Последнее слово всегда остается за человеком.

После внедрения и тестирования решения мы можем подвести первые итоги.

Стоимость одной приемки сократилась примерно в два с половиной раза, потому что вместо двух экспертов требуется один.

Время на подготовку эксперта уменьшилось значительно. Мы свели к минимуму повторение одних и тех же вопросов у разных кандидатов.

При этом общая длительность собеседования и процент успешного прохождения кандидатами остались на прежнем уровне — мы не сделали процесс ни проще, ни сложнее, мы сделали его эффективнее.

Качество обратной связи для кандидатов возросло, так как отчет стал более структурированным и детальным.

Кроме того, мы фактически увеличили количество доступных экспертов: один специалист теперь может проводить приемки чаще, а два эксперта могут работать параллельно, каждый со своим бот-ассистентом.

У этого подхода есть потенциал для масштабирования. Во-первых, бота можно использовать в тренировочном режиме для самостоятельной подготовки кандидатов перед реальной приемкой. Во-вторых, схему можно адаптировать для проведения первичных технических собеседований при приеме на внутреннее обучение в нашу академию. В-третьих, мы рассматриваем возможность использования подобной системы для оценки технической грамотности функциональных тестировщиков — проверки знаний основ баз данных, теории тестирования или протоколов.

Главный вывод нашего эксперимента в следующем: внедрение ИИ в процессы оценки — это не история про замену людей. Это история про создание мощного инструмента, который берет на себя рутинную часть работы, освобождая эксперту время для анализа, принятия взвешенных решений и, в конечном счете, для более качественной оценки другого человека.