Reuters: Amazon разработала ИИ для поиска сотрудников и отказалась от него из-за дискриминации женщин Статьи редакции
Проблема оказалась в выборке, по которой обучалась система, — большинство резюме в ней от кандидатов-мужчин.
Онлайн-ритейлер Amazon разработал алгоритм на основе искусственного интеллекта для автоматизации подбора кандидатов на работу, но в итоге отказался от системы из-за дискриминации соискателей-женщин. Об этом пишет Reuters со ссылкой на пять источников, знакомых с деталями проекта.
По данным агентства, в 2014 году компания собрала команду разработчиков в Шотландии и поставила перед ней задачу создать программу для поиска и отбора лучших кандидатов. «В компании хотели получить инструмент, который выберет пять лучших резюме из ста, чтобы потом нанять этих людей», — рассказал один из собеседников Reuters.
Ответственная группа разработала 500 компьютерных моделей, обученных искать резюме в открытых рекрутинговых базах и отбирать лучших кандидатов на основе 50 тысяч терминов из резюме прошлых соискателей в Amazon. Искусственный интеллект оценивал кандидатов по шкале от одного до пяти.
В 2015 году разработчики заметили, что система подбирает специалистов-женщин меньше, чем мужчин. Команда объяснила это тем, что алгоритм обучался на базе, в которую вошли резюме всех сотрудников Amazon за последние десять лет. Мужчин в выборке оказалось больше, чем женщин, поэтому искусственный интеллект пришёл к выводу, что кандидаты-мужчины предпочтительнее, пишет Reuters.
Amazon отредактировала алгоритм, но корректировка не давала гарантий, что он не будет дискриминировать кандидатов по другим признакам, поэтому к началу 2017 года компания решила отказаться от использования системы.
Представитель Amazon отказался комментировать неудачный опыт создания алгоритма и заявил, что при найме сотрудников компания руководствуется в том числе принципами равенства и разнообразия.
Может софт знает того чего не знаем мы?
В IT 25% женщин среди разработчиков. Среди начальства ~10%. Среди топового-менеджмента ~1%. Что вполне могло привести к тому, что ИИ просто отсек возможность найма женщин на эти 10-1%. А с вероятность в 0.25 особо не пошикуешь на графиках.
более чем уверен, что там не было такого параметра как "пол". Скорей всего просто обезличенные данные кандидатов и их performance rate. И похоже, что кандидаты-мужчины чаще всего обладают необходимыми параметрами, которые приводят их к успешной работе для компании. Н
А гадать не надо, достаточно обратиться к первоисточнику. Программе скормили некий набор данных за последние 10 лет, где, разумеется, преобладали мужские резюме. В итоге, она научилась вычитать баллы за упоминание "женского" в любом виде
Цитата по Reuters:
In effect, Amazon’s system taught itself that male candidates were preferable. It penalized resumes that included the word “women’s,” as in “women’s chess club captain.” And it downgraded graduates of two all-women’s colleges, according to people familiar with the matter.
То есть программа как раз на основании пола принимала решения или, по крайней мере, частично. Кстати, в некоторых статьях есть уточнение, что проект был экспериментальным и не был так широко внедрен в Амазоне, как об этом вопят журналисты. Проект был закрыт, и совершенно правильно, поскольку поручать такой отбор алгоритму, который - на нынешней стадии - не является даже грубой аппроксимацией модели человеческого мышления, очень недальновидно. В лучшем случае, получается сортировщик красиво составленных резюме
А что такое модель человеческого мышления? Я вот сейчас читаю «Красную Таблетку» Курпатова, и очень сомневаюсь что такая нейронная сеть в чем-либо проигрывает рекрутерам. Другое дело выборка для обучения 10-ти летней давности. Сейчас девушек в АйТи гораздо больше.
При всем уважении, позвольте усомниться, что вы или даже Курпатов осведомленнее в этом вопросе, чем инженеры Амазона, которые сочли проект неэффективным. Хотя каждый второй комментатор почему-то уверен, что в Амазоне работают политкорректные дурачки, испугавшиеся "правильных" решений машины, хотя загрязненность входных данных при этом игнорируется.
> А что такое модель человеческого мышления?Хороший вопрос, ответ на который до сих пор неизвестен. Иначе нейронные сети давно бы уже были нейронными в буквальном смысле ) По-моему, где-то у Стивена Пинкера есть гениальное высказывание: "Сложные проблемы просты, простые проблемы сложны". Например, создать AI для сверхбыстрого margin-trading'а на бирже - простая задача. А вот создать программу, объясняющую поведение 5-летнего ребенка, решившего вдруг нырнуть в лужу, невозможно современными средствами, поскольку мы мало знаем о механизмах возникновения такого решения.
И это еще самый примитивный пример, касающийся жизни в социуме. Рекрутеры, как минимум, несут ответственность за принятые решения и могут их обносновать, а при необходимости и корректировать. Аппелировать к AI бесполезно.
Спасибо за столь обширный комментарий, Антон. You made my day)