Кто теряет с ИИ квалификацию, а кто работает эффективнее
Команда Anthropic выяснила: в зависимости от того, как люди используют ИИ, они не только с разной скоростью решают задачи, но и лучше или хуже осваивают новые навыки. Когда ИИ убивает квалификацию, а когда помогает ее развить — в блоге.
Дизайн рандомизированного контролируемого исследования. Пригласили 52 инженера-программиста (в основном начинающих), каждый из которых использовал Python более года, минимум раз в неделю. Участники были немного знакомы с ИИ-помощниками для программирования и не разбирались в библиотеке языка Python, с помощью которой выполняли основное задание. После разминочного и основного задания был тест. Все имитировало часть обучающего курса. Основная группа выполняла задание с помощью ИИ, контрольная — нет.
Неопытные специалисты хуже усваивают материал, если используют ИИ в работе
Первое, что Anthropic подтвердили — те, кто писали код с сильной опорой на ИИ, делали это лишь на 2 минуты быстрее, но с гораздо большим непониманием. Так, с тестом они справлялись на 50% и хуже, в то время как писавшие код вручную справлялись на 67%. Это сравнимо с оценками 5 из 10 и 7 из 10 соответственно.
После общих подсчётов аналитики Anthropic изучили записи экранов и выявили шесть форматов работы с ИИ.
В низкоэффективные форматы попали:
- Делегирование полномочий ИИ,
- Постепенная зависимость от ИИ,
- Итеративная отладка.
В высокоэффективные:
- Генерация — затем понимание,
- Гибрид кода и пояснения,
- Концептуальный запрос.
Мы вывели из этих форматов инструкции (и вредные советы), чтобы показать, как эффективнее (и как не надо) использовать ИИ в работе
Когнитивная разгрузка и минимум самостоятельности: как НЕ использовать ИИ, если хочется сохранить квалификацию
Сильная опора на ИИ помогает решать задачи быстрее, но не превращать пройденные испытания в опыт. Эти форматы использования Anthropic назвала низкоэффективными:
Делегировать ИИ всё. Те, кто делегировал всю работу ИИ, то есть занимались вайб-кодингом, оказались самыми быстрыми: тратили на основное задание меньше 20 минут из 35. Благодаря ИИ они столкнулись с минимумом ошибок или не столкнулись с ними вовсе. Эта группа сравнительно неплохо справилась и с тестами, но всё же показатель составил 39%.
Сдаваться ИИ постепенно. Разработчики, которые сначала задавали один-два вопроса, но в итоге отдавали написание всего кода ИИ-помощнику, справились с тестом плохо, на 35% — в основном из-за того, что не освоили концепции второго задания.
Доверять ИИ поиск ошибок и отладку. Те участники исследования, которые с помощью ИИ только верифицировали код и исправляли ошибки, оказались самыми медленными: выполняли задания чуть больше получаса. Они же хуже всех справились с тестом, на 24%. Причина в том, что они задавали больше вопросов, но полагались на ИИ в решении проблем, а не в уточнении собственного понимания.
ИИ как личный джун и наставник одновременно: как использовать ИИ, чтобы преуспеть
Участники исследования, которые с помощью ИИ писали и разбирали код, справились с финальным тестом гораздо лучше. Это позволяет говорить о том, что ИИ не препятствует и даже помогает обучению, если вытягивать из него объяснения, а не только готовые решения. Такие модели использования Anthropic назвала высокоэффективными:
Сначала генерировать, потом разбирать. Некоторые участники исследования сначала создавали с помощью ИИ код, а затем вручную переносили его в свою работу. После генерации кода они задавали ИИ-помощнику уточняющие вопросы, чтобы лучше уяснить, что у них получилось, насколько точно они поняли, как решить предложенную задачу. В итоге по времени решения они были на третьем месте (24 минуты), зато финальный тест выполняли лучше всех: на 86%.
Просить код сразу с объяснениями. Те участники, которые просили ИИ сгенерировать код и сразу же дать к нему пояснения, справлялись с задачей за то же время, что и те, кто задавал уточняющие вопросы отдельно. Но результат в финальном тесте был хуже: 68% против 86% у тех, кто разбирал код после его генерации. Так себе показатель, но лучше, чем у тех, кто использовал низкоэффективные форматы взаимодействия.
Делать самим и только уточнять у ИИ свое понимание. Некоторые участники задавали ИИ-помощнику только концептуальные вопросы, чтобы разобраться, как самостоятельно выполнить задания. У этой группы было много ошибок, но их исправляли самостоятельно. В итоге по времени и решения группа показала второй результат (22 минуты), но с тестом они справились на 65% — хуже, чем при других высокоэффективных сценариях использования (39% максимум).
* * *
Эксперимент показал: формат взаимодействия с ИИ влияет на то, насколько хорошо люди учатся новому. Но это, как мы видим, не единственный фактор. На сам выбор формата влияет исходный уровень навыков работы с ИИ и тех, которые надо прокачать. Хотя испытуемые были с похожей квалификацией, у них отличался общий кругозор, опыт использования ИИ, уровень уверенности в себе и т.д.
В условиях, когда дедлайн (последний срок) был вчера, и от сотрудников ждут рабочий результат в кратчайшие сроки, они могут полагаться на ИИ, чтобы ускориться в работе. Однако при таких условиях им придется жертвовать развитием навыков. Высокая производительность сегодня может обернуться низкой квалификацией завтра, если только скорость, а не качество и безопасность, будет главным критерием работы.