Reuters: Amazon разработала ИИ для поиска сотрудников и отказалась от него из-за дискриминации женщин Статьи редакции
Проблема оказалась в выборке, по которой обучалась система, — большинство резюме в ней от кандидатов-мужчин.
Онлайн-ритейлер Amazon разработал алгоритм на основе искусственного интеллекта для автоматизации подбора кандидатов на работу, но в итоге отказался от системы из-за дискриминации соискателей-женщин. Об этом пишет Reuters со ссылкой на пять источников, знакомых с деталями проекта.
По данным агентства, в 2014 году компания собрала команду разработчиков в Шотландии и поставила перед ней задачу создать программу для поиска и отбора лучших кандидатов. «В компании хотели получить инструмент, который выберет пять лучших резюме из ста, чтобы потом нанять этих людей», — рассказал один из собеседников Reuters.
Ответственная группа разработала 500 компьютерных моделей, обученных искать резюме в открытых рекрутинговых базах и отбирать лучших кандидатов на основе 50 тысяч терминов из резюме прошлых соискателей в Amazon. Искусственный интеллект оценивал кандидатов по шкале от одного до пяти.
В 2015 году разработчики заметили, что система подбирает специалистов-женщин меньше, чем мужчин. Команда объяснила это тем, что алгоритм обучался на базе, в которую вошли резюме всех сотрудников Amazon за последние десять лет. Мужчин в выборке оказалось больше, чем женщин, поэтому искусственный интеллект пришёл к выводу, что кандидаты-мужчины предпочтительнее, пишет Reuters.
Amazon отредактировала алгоритм, но корректировка не давала гарантий, что он не будет дискриминировать кандидатов по другим признакам, поэтому к началу 2017 года компания решила отказаться от использования системы.
Представитель Amazon отказался комментировать неудачный опыт создания алгоритма и заявил, что при найме сотрудников компания руководствуется в том числе принципами равенства и разнообразия.
Может софт знает того чего не знаем мы?
В IT 25% женщин среди разработчиков. Среди начальства ~10%. Среди топового-менеджмента ~1%. Что вполне могло привести к тому, что ИИ просто отсек возможность найма женщин на эти 10-1%. А с вероятность в 0.25 особо не пошикуешь на графиках.
более чем уверен, что там не было такого параметра как "пол". Скорей всего просто обезличенные данные кандидатов и их performance rate. И похоже, что кандидаты-мужчины чаще всего обладают необходимыми параметрами, которые приводят их к успешной работе для компании. Н
А гадать не надо, достаточно обратиться к первоисточнику. Программе скормили некий набор данных за последние 10 лет, где, разумеется, преобладали мужские резюме. В итоге, она научилась вычитать баллы за упоминание "женского" в любом виде
Цитата по Reuters:
In effect, Amazon’s system taught itself that male candidates were preferable. It penalized resumes that included the word “women’s,” as in “women’s chess club captain.” And it downgraded graduates of two all-women’s colleges, according to people familiar with the matter.
То есть программа как раз на основании пола принимала решения или, по крайней мере, частично. Кстати, в некоторых статьях есть уточнение, что проект был экспериментальным и не был так широко внедрен в Амазоне, как об этом вопят журналисты. Проект был закрыт, и совершенно правильно, поскольку поручать такой отбор алгоритму, который - на нынешней стадии - не является даже грубой аппроксимацией модели человеческого мышления, очень недальновидно. В лучшем случае, получается сортировщик красиво составленных резюме
вы путаете домыслы журнализдов, которым нужно было написать статью в нужном ключе, с реальными фактами. Однако, я полагаю, что программистам изначально было поставленно условие не принимать во внимание пол и оценивать именно факты изложенные в резюме (о чём есть фраза "на основе 50 тысяч терминов из резюме прошлых соискателей"). И по ним выходило, что мужчины больше подходят, так в их резюме выше количество маркеров соответствия, чем в женских.
"Реальные факты" - это что? Презумпция непогрешимости программистов и лживости журналистов, основанная на ваших догадках? Очень сомневаюсь, что журналисты из уважаемых tech изданий вроде The Verge не имеют своих источников в Амазоне и не перепроверили факты в статье Reuters. Кроме того, отбор резюме производился программой автоматически в рамках supervised learning. И да, в процессе обучения программа вывела закономерность, что "женские" слова - хороший предиктор фейла, то есть косвенно пол учитывался в отборе. Исправили дефект уже после обнаружения
When the company realized the software was not producing gender-neutral results it was tweaked to remove this bias. However, those involved could not be sure other biases had not crept in to the program, and as a result it was scrapped entirely last year.