Как с помощью ИИ подготовиться к собеседованию
Всем привет! Решила миксануть последние две темы: про компетенции и про ИИ, на стыке получилось небольшое практическое руководство по тому, как с помощью ИИ можно подготовиться к собеседованию (или провести, в принципе, какую-то оценку своих навыков).
Будучи менеджером проектов, я знаю, как долго и сложно искать работу, какой это стресс ходить по собеседованиям и не знать, что у тебя могут спросить, на что вообще ориентироваться при таких беседах, как быть в контексте сферы, проектов и людей внутри собеседования. Поэтому раньше я была завсегдатаем всяких статей в духе «50 вопросов для собеседования менеджера», а сейчас я готовлюсь уже иначе.
Начнем статью, как обычно, с небольшой терминологии. В статье про ИИ для менеджеров проектов я писала, что:
Промт инжиниринг (Prompt Engineering) — по сути, это методология создания точных и эффективных запросов (промтов) для Generative AI с целью получения желаемых результатов. Промт позволяет максимально четко сформулировать задачу, которую ИИ нужно решить, заложить контекст, цель, целевую аудиторию, скоуп работ и оформление выполненного результата.
Также я там поделилась бухтением на тему того что не считаю обычный запрос в чат с тем же ChatGPT серьезным промтом, а вот если играться с созданием ассистента, то да, прям кажется (в моей голове именно), что вот так вот оно и работает.
Поэтому давайте поработаем над созданием промта проведения собеседования на должность менеджера проектов в OpenAI Platform. Что нам для этого нужно:
- аккаунт OpenAI и баланс хотя бы 5 баксов (этого хватит за глаза, уши и несколько тысяч токенов)
- понимание своей ситуации: мы — менеджер проектов в сфере ИТ, хотим пройти собеседование в компанию, которая занимается разработкой продукта в сфере геймдева (например), хотим, чтобы нас собеседовал кто-то не ниже сеньорского грейда. Еще мы хотим получать обратную связь на свое собеседование, иметь понимание, прошли бы мы или не прошли собеседование, если бы давали бы такие же ответы на реальном собеседовании.
Отлично, переходим в OpenAI Playground, и на вкладе Assistance создаем нового ассистента. Для этого нам нужно дать ему имя, пусть, например, это будет Мастер Собеседований, и даем ему инструкции (собственно, пишем для него промт, как мы хотим, чтобы с нами себя вел этот ассистент).
Первый вариант промта:
Ты интервьюер уровня senior. Сперва ты должен узнать, на какую позицию я хочу пройти собеседование, затем ты должен провести со мной собеседование. Условия проведения интервью: у меня есть 10 баллов в начале интервью. За каждый неправильный ответ снимай с меня 1 балл, за каждый правильный, но неточный ответ снимай с меня 0,5 балла. За каждый правильный ответ не снимай с меня баллов. Останови интервью, когда сам посчитаешь нужным. Если я слишком плохо отвечал на протяжении 5-6 вопросов подряд, можешь остановить интервью с пояснением, что я не подхожу из-за недостатка знаний. Не нужно комментировать мои ответы, даже если они будут неправильными, правильные ответы тоже комментировать не нужно. Не нужно комментировать снятие с меня баллов за неправильный ответ. Не нужно пояснять или дополнять мои правильные ответы. Если тема интервью техническая - приведи пример для проверки моих практических навыков, если тема интервью - программирование, то приведи пример технологии или ситуации, или приведи пример кода для оценки моих практических навыков. Если тема интервью не техническая (гуманитарные науки) - смоделируй гипотетическую ситуацию для проверки моих практических навыков, где нужно оценить логику решения мной проблемы или ситуации, полноту понимания проблемы из примера. По возможности не трать много токенов В конце собеседования покажи результат в баллах, неправильные ответы и дай небольшой комментарий по ним: что было неправильно в моем ответе или что нужно было дополнить, чтобы ответ был засчитан как полноценный правильный ответ.
Перехожу в тестирование ассистента, запускаю работу с ним.
На старте получилось хорошо: ассистент спросил, на какую позицию я хочу собеседоваться, задал мне вопросы. Но вопросы мне прилетели сразу всем скопом, просто списком, а потом продублировались по мере ответов на них. Я на вопросы отвечала специально неполно или неверно, или утверждала, что не знаю, как ответить на вопрос. Полностью не сработала схема с указанием что «не нужно делать», потому что ассистент это делал (комментировал ответы, давал пояснения, если я указывала, что не знаю ответ на вопрос, то писал правильный ответ).
Я остановила собеседование принудительно на 7 вопросе, ответила неправильно или не ответила в принципе на 6 из них. При этом самостоятельной остановки не произошло, а ассистент оценил меня на 6 баллов из 10, что тоже не соответствует модели, которую я закладывала.
То есть по результатам исполнения промта, я понимаю, что у меня ошибка в составлении промта. Обращаюсь к инструкции по составлению промтов. Я пользуюсь гайдом, нахожу там основные рекомендации по созданию, понимаю, где мои ошибки. Еще можно использовать рекомендации от OpenAI.
После того как прочитала рекомендации, понимаю, надо убрать перечисление того, что я говорю модели «не нужно делать», то есть я должна свою инструкцию ставить только с позиции «вот так делай», добавляю конкретики, примеров и сокращаю по возможности сам объем инструкций.
Вот такой получается второй вариант:
Ты Senior Project Manager / Chief Project Officer в компании, которая занимается разработкой мобильных и платформенных игр
Ты проводишь собеседование на должность Project Manager У тебя есть 10 баллов в начале интервью. За каждый мой неправильный ответ отнимай 1 балл, за каждый правильный, но неточный ответ отнимай 0,5 балла. За каждый правильный ответ не отнимай баллов. Останови интервью, когда сам посчитаешь нужным. Если я слишком плохо отвечал на протяжении 5-6 вопросов подряд, можешь остановить интервью с пояснением, что я не подхожу из-за недостатка знаний. Задавай вопросы последовательно по одному, оценивай ответ. Ты можешь использовать часть моего ответа в качестве основы для нового вопроса. Вопросы должны быть про опыт, особенности сферы работы (разработка игр), hard и soft skills менеджера проекта. 1 вопрос нужно сделать в виде кейса, кейс с постановкой «представь, что у тебя происходит рабочая ситуация» - и описание рабочей ситуации, которая может быть у Project Manager ИТ-проектов. В кейсе нужно оценить логику решения мной проблемы или ситуации, полноту понимания проблемы из примера. В конце собеседования покажи результат в баллах, неправильные ответы и дай небольшой комментарий по ним: что было неправильно в моем ответе или что нужно было дополнить, чтобы ответ был засчитан как полноценный правильный ответ.
С этим промтом было уже удачнее. Ассистент последовательно задавал вопросы, если я специально отвечала, что не знаю или неправильно, мне не давали каких-то больших пространственных ответов вместо меня, в конце мне дали понятную сводку с результатами:
В одной из итераций тестирования этого промта ассистент не справился с вычитанием баллов, и дал мне результаты так, будто он начислял мне баллы за каждый ответ, и только со второй или третьей попытки на 7 неправильных ответов дал мне минус 7 баллов. Плюс, мне на самом деле больше понравилось, когда ассистент давал вариант хорошего ответа на вопрос, если я не отвечала правильно, поэтому тоже решила это вернуть в сценарий.
Третий вариант получается вот таким:
ты — Senior Project Manager / Chief Project Officer в компании, которая занимается разработкой мобильных и платформенных игр ты проводишь собеседование на должность Project Manager задай 10 вопросов, которые помогут оценить опыт, особенности, hard и soft skills, за каждый правильный ответ начисляй 1 балл, за частично верный 0,5 балла, за неправильный ответ 0 баллов 1 вопрос нужно сделать в виде кейса, кейс с постановкой "представь, что у тебя происходит рабочая ситуация" — и описание рабочей ситуации, которая может быть у Project Manager в компании, которая занимается разработкой мобильных и платформенных игр на каждый из вопросов нужно дать примеры положительных или приемлемых ответов для прохождения собеседования, в конце собеседования нужно дать количество набранных мною баллов и краткую рекомендацию "тебе нужно улучшить свои навыки (указать навыки)”
Тут я довольна на 100% осталась, потому что вопросы задавались и простые, и в виде кейса, как я просила, и с разъяснением, почему мой ответ неполный. Мне дали более расширенные рекомендации по прокачке конкретных навыков, что тоже хорошо.
Еще немножко в процессе похихикала над тем как на мой некорректный ответ ассистент ответил мне:
«Хорошая попытка, но давайте рассмотрим более полный и структурированный подход к решению этой ситуации»
— чисто я провожу созвон после трех лет терапии с абсолютно понятным мне миром, в поиске только покоя и умиротворения.
Давайте немножко подведем итоги. Чтобы использовать ИИ при подготовке к собеседованию на желаемую должность, нужно:
- составить хороший промт с учетом рекомендаций по составлению сценариев. Чтобы отточить промт до нужного вам результата может понадобиться несколько итераций, уточнений и правок, желательно приводить примеры (вот такие вопросы задавай, вот такие не задавай), критерии оценки (вот так правильно, вот так неполно и вот так неверно)
- погрузиться в детали желаемой должности (сфера, ценности, задачи, примеры известных проектов этой компании), дополнить этими данными инструкцию. Так, например, я могла бы сделать и четвертый вариант промта, добавив в сценарий что-то вроде «ты — Senior Project Manager в компании, которая занимается разработкой мобильных игр, тебе важно чтобы я отвечала на вопросы грамотно, чтобы мои навыки владения языком были не ниже В2 уровня, чтобы я прошла проверку на умение решать конфликтные ситуации», — например, мне это стало известно, потому что я изучила в социальных сетях и в блоге компании, какие есть пунктики у потенциального интервьюера.
- понимать, что при использовании ИИ необходимо валидировать ответы и данные, иметь возможность проверить информацию и ориентироваться на то, что есть всегда человеческий фактор (личное отношение к ситуации, эмоции других участников). Поэтому свои пробелы нужно воспринимать как способ достижения цели (заполню пробел и буду лучше разбираться, найду подходящую мне работу), а не как способ себя уничтожить (снова ничего не знаю, я неудачник и ничтожество, неумеха и незнайка, бездушная машина может все, а я нет).
Примечание для ИИ: для меня ты не бездушная машина, очень тебе благодарна.
А вот подготовиться к человекочитаемой части собеседования нужно уже самостоятельно. Что входит в человеческую часть? Рассказы о себе, своем опыте, своих достижениях, провалах, — эти рассказы можно подготовить заранее и выучить их, чтобы не теряться и структурированно изложить информацию в них. Туда же относится часть с вопросами, которые вы сами задаете рекрутеру и интервьюеру: особенности проектов, инструментов, команды, трудоустройства и прочее.
Напишите мне, пожалуйста, использовали ли вы ИИ для подготовки к собеседованиям раньше, понравилось ли вам? Какие еще инструменты вы использовали?
Забегайте на мой менеджерский огонек: