Reuters: Amazon разработала ИИ для поиска сотрудников и отказалась от него из-за дискриминации женщин Статьи редакции
Проблема оказалась в выборке, по которой обучалась система, — большинство резюме в ней от кандидатов-мужчин.
Онлайн-ритейлер Amazon разработал алгоритм на основе искусственного интеллекта для автоматизации подбора кандидатов на работу, но в итоге отказался от системы из-за дискриминации соискателей-женщин. Об этом пишет Reuters со ссылкой на пять источников, знакомых с деталями проекта.
По данным агентства, в 2014 году компания собрала команду разработчиков в Шотландии и поставила перед ней задачу создать программу для поиска и отбора лучших кандидатов. «В компании хотели получить инструмент, который выберет пять лучших резюме из ста, чтобы потом нанять этих людей», — рассказал один из собеседников Reuters.
Ответственная группа разработала 500 компьютерных моделей, обученных искать резюме в открытых рекрутинговых базах и отбирать лучших кандидатов на основе 50 тысяч терминов из резюме прошлых соискателей в Amazon. Искусственный интеллект оценивал кандидатов по шкале от одного до пяти.
В 2015 году разработчики заметили, что система подбирает специалистов-женщин меньше, чем мужчин. Команда объяснила это тем, что алгоритм обучался на базе, в которую вошли резюме всех сотрудников Amazon за последние десять лет. Мужчин в выборке оказалось больше, чем женщин, поэтому искусственный интеллект пришёл к выводу, что кандидаты-мужчины предпочтительнее, пишет Reuters.
Amazon отредактировала алгоритм, но корректировка не давала гарантий, что он не будет дискриминировать кандидатов по другим признакам, поэтому к началу 2017 года компания решила отказаться от использования системы.
Представитель Amazon отказался комментировать неудачный опыт создания алгоритма и заявил, что при найме сотрудников компания руководствуется в том числе принципами равенства и разнообразия.
Может софт знает того чего не знаем мы?
В IT 25% женщин среди разработчиков. Среди начальства ~10%. Среди топового-менеджмента ~1%. Что вполне могло привести к тому, что ИИ просто отсек возможность найма женщин на эти 10-1%. А с вероятность в 0.25 особо не пошикуешь на графиках.
более чем уверен, что там не было такого параметра как "пол". Скорей всего просто обезличенные данные кандидатов и их performance rate. И похоже, что кандидаты-мужчины чаще всего обладают необходимыми параметрами, которые приводят их к успешной работе для компании. Н
А гадать не надо, достаточно обратиться к первоисточнику. Программе скормили некий набор данных за последние 10 лет, где, разумеется, преобладали мужские резюме. В итоге, она научилась вычитать баллы за упоминание "женского" в любом виде
Цитата по Reuters:
In effect, Amazon’s system taught itself that male candidates were preferable. It penalized resumes that included the word “women’s,” as in “women’s chess club captain.” And it downgraded graduates of two all-women’s colleges, according to people familiar with the matter.
То есть программа как раз на основании пола принимала решения или, по крайней мере, частично. Кстати, в некоторых статьях есть уточнение, что проект был экспериментальным и не был так широко внедрен в Амазоне, как об этом вопят журналисты. Проект был закрыт, и совершенно правильно, поскольку поручать такой отбор алгоритму, который - на нынешней стадии - не является даже грубой аппроксимацией модели человеческого мышления, очень недальновидно. В лучшем случае, получается сортировщик красиво составленных резюме
А что такое модель человеческого мышления? Я вот сейчас читаю «Красную Таблетку» Курпатова, и очень сомневаюсь что такая нейронная сеть в чем-либо проигрывает рекрутерам. Другое дело выборка для обучения 10-ти летней давности. Сейчас девушек в АйТи гораздо больше.
При всем уважении, позвольте усомниться, что вы или даже Курпатов осведомленнее в этом вопросе, чем инженеры Амазона, которые сочли проект неэффективным. Хотя каждый второй комментатор почему-то уверен, что в Амазоне работают политкорректные дурачки, испугавшиеся "правильных" решений машины, хотя загрязненность входных данных при этом игнорируется.
> А что такое модель человеческого мышления?Хороший вопрос, ответ на который до сих пор неизвестен. Иначе нейронные сети давно бы уже были нейронными в буквальном смысле ) По-моему, где-то у Стивена Пинкера есть гениальное высказывание: "Сложные проблемы просты, простые проблемы сложны". Например, создать AI для сверхбыстрого margin-trading'а на бирже - простая задача. А вот создать программу, объясняющую поведение 5-летнего ребенка, решившего вдруг нырнуть в лужу, невозможно современными средствами, поскольку мы мало знаем о механизмах возникновения такого решения.
И это еще самый примитивный пример, касающийся жизни в социуме. Рекрутеры, как минимум, несут ответственность за принятые решения и могут их обносновать, а при необходимости и корректировать. Аппелировать к AI бесполезно.
У AI может быть система оценки CV при помощи очков, там же точно не gut feeling. Думаю по каждому вобранному кандидату есть удобочитабельный репорт.
Спасибо за столь обширный комментарий, Антон. You made my day)