Reuters: Amazon разработала ИИ для поиска сотрудников и отказалась от него из-за дискриминации женщин Статьи редакции
Проблема оказалась в выборке, по которой обучалась система, — большинство резюме в ней от кандидатов-мужчин.
Онлайн-ритейлер Amazon разработал алгоритм на основе искусственного интеллекта для автоматизации подбора кандидатов на работу, но в итоге отказался от системы из-за дискриминации соискателей-женщин. Об этом пишет Reuters со ссылкой на пять источников, знакомых с деталями проекта.
По данным агентства, в 2014 году компания собрала команду разработчиков в Шотландии и поставила перед ней задачу создать программу для поиска и отбора лучших кандидатов. «В компании хотели получить инструмент, который выберет пять лучших резюме из ста, чтобы потом нанять этих людей», — рассказал один из собеседников Reuters.
Ответственная группа разработала 500 компьютерных моделей, обученных искать резюме в открытых рекрутинговых базах и отбирать лучших кандидатов на основе 50 тысяч терминов из резюме прошлых соискателей в Amazon. Искусственный интеллект оценивал кандидатов по шкале от одного до пяти.
В 2015 году разработчики заметили, что система подбирает специалистов-женщин меньше, чем мужчин. Команда объяснила это тем, что алгоритм обучался на базе, в которую вошли резюме всех сотрудников Amazon за последние десять лет. Мужчин в выборке оказалось больше, чем женщин, поэтому искусственный интеллект пришёл к выводу, что кандидаты-мужчины предпочтительнее, пишет Reuters.
Amazon отредактировала алгоритм, но корректировка не давала гарантий, что он не будет дискриминировать кандидатов по другим признакам, поэтому к началу 2017 года компания решила отказаться от использования системы.
Представитель Amazon отказался комментировать неудачный опыт создания алгоритма и заявил, что при найме сотрудников компания руководствуется в том числе принципами равенства и разнообразия.
Может софт знает того чего не знаем мы?
В IT 25% женщин среди разработчиков. Среди начальства ~10%. Среди топового-менеджмента ~1%. Что вполне могло привести к тому, что ИИ просто отсек возможность найма женщин на эти 10-1%. А с вероятность в 0.25 особо не пошикуешь на графиках.
более чем уверен, что там не было такого параметра как "пол". Скорей всего просто обезличенные данные кандидатов и их performance rate. И похоже, что кандидаты-мужчины чаще всего обладают необходимыми параметрами, которые приводят их к успешной работе для компании. Н
А гадать не надо, достаточно обратиться к первоисточнику. Программе скормили некий набор данных за последние 10 лет, где, разумеется, преобладали мужские резюме. В итоге, она научилась вычитать баллы за упоминание "женского" в любом виде
Цитата по Reuters:
In effect, Amazon’s system taught itself that male candidates were preferable. It penalized resumes that included the word “women’s,” as in “women’s chess club captain.” And it downgraded graduates of two all-women’s colleges, according to people familiar with the matter.
То есть программа как раз на основании пола принимала решения или, по крайней мере, частично. Кстати, в некоторых статьях есть уточнение, что проект был экспериментальным и не был так широко внедрен в Амазоне, как об этом вопят журналисты. Проект был закрыт, и совершенно правильно, поскольку поручать такой отбор алгоритму, который - на нынешней стадии - не является даже грубой аппроксимацией модели человеческого мышления, очень недальновидно. В лучшем случае, получается сортировщик красиво составленных резюме
Спасибо за то, что не стали спекулировать, а обратились к первоисточнику и выяснили, что произошло в реальности.