Reuters: Amazon разработала ИИ для поиска сотрудников и отказалась от него из-за дискриминации женщин Статьи редакции
Проблема оказалась в выборке, по которой обучалась система, — большинство резюме в ней от кандидатов-мужчин.
Онлайн-ритейлер Amazon разработал алгоритм на основе искусственного интеллекта для автоматизации подбора кандидатов на работу, но в итоге отказался от системы из-за дискриминации соискателей-женщин. Об этом пишет Reuters со ссылкой на пять источников, знакомых с деталями проекта.
По данным агентства, в 2014 году компания собрала команду разработчиков в Шотландии и поставила перед ней задачу создать программу для поиска и отбора лучших кандидатов. «В компании хотели получить инструмент, который выберет пять лучших резюме из ста, чтобы потом нанять этих людей», — рассказал один из собеседников Reuters.
Ответственная группа разработала 500 компьютерных моделей, обученных искать резюме в открытых рекрутинговых базах и отбирать лучших кандидатов на основе 50 тысяч терминов из резюме прошлых соискателей в Amazon. Искусственный интеллект оценивал кандидатов по шкале от одного до пяти.
В 2015 году разработчики заметили, что система подбирает специалистов-женщин меньше, чем мужчин. Команда объяснила это тем, что алгоритм обучался на базе, в которую вошли резюме всех сотрудников Amazon за последние десять лет. Мужчин в выборке оказалось больше, чем женщин, поэтому искусственный интеллект пришёл к выводу, что кандидаты-мужчины предпочтительнее, пишет Reuters.
Amazon отредактировала алгоритм, но корректировка не давала гарантий, что он не будет дискриминировать кандидатов по другим признакам, поэтому к началу 2017 года компания решила отказаться от использования системы.
Представитель Amazon отказался комментировать неудачный опыт создания алгоритма и заявил, что при найме сотрудников компания руководствуется в том числе принципами равенства и разнообразия.
Оказалось, что очень трудно заставить автоматическую систему нарочно делать глупости, не нарушив целиком её работу.
Противоречие устройства общества и экономики будут только нарастать.
Сейчас нельзя уволить беременную, мать одиночку, теперь еще и предпенсионника, а почему нельзя? Почему надо снижать эффективность бизнеса, вместо адекватных пособий для них?
Надеюсь скоро общество дозреет до необходимости отделить мух от котлет, т.е. эффективности от всего остального.
Это все потому что они сделали ИИ мужиком, а надо было делать ИИ женщину.
Это же современный ИИ, он просто методом тыка пытается копировать данные провидениям людей и отбирает то что «самое эффективное».
Если рекрутеры Амазон были расистами, то и ИИ по их подобию будет.
Может софт знает того чего не знаем мы?
В IT 25% женщин среди разработчиков. Среди начальства ~10%. Среди топового-менеджмента ~1%. Что вполне могло привести к тому, что ИИ просто отсек возможность найма женщин на эти 10-1%. А с вероятность в 0.25 особо не пошикуешь на графиках.
Хотя, может это признак того, что ИИ Skynet будет истреблять мужчин, а женщин тупо игнорировать. У человечества есть надежда! ))
«У мальчиков член, а у девочек влагалище.» ("Детсадовский полицейский")
_Команда объяснила это тем, что алгоритм обучался на базе, в которую вошли резюме всех сотрудников Amazon за последние десять лет. Мужчин в выборке оказалось больше, чем женщин, поэтому искусственный интеллект пришёл к выводу, что кандидаты-мужчины предпочтительнее_
Я так понимаю, команде был поставлен ребром - почему ваш алгоритм чаще выбирает мужчин. За честный ответ "потому, по параметрам они более предпочтительны" их бы потом загнобили. Поэтому вот родился такой ответ. Хотя понятно, что на 99% там не было такого параметра как пол.
p.s. Ко всем уважением к девушкам в IT - я работал со многими представительницами прекрасного пола в ИТ, и встречал действительно хороших специалистов. И в некоторых специальностях(к примеру, где требуется больше кропотливой работы), я предпочитаю нанимать девушек. Но... если посмотреть по опыту работы - в массовой своей, специалистов мужчин гораздо больше.
p.p.s. И сразу вспоминается претензии с ии который прогнозирует преступления в некоторых городах США - что там black более часто по алгоритмам приступлений проходят. Не толерантный алгоритм. Хотя жизнь учит, что к примеру большую часть убийств совершается black. Так же black убивают в 7 раз больше чем white, при том что процент black всего около 13% от общего населения. И 90% убийц в таких случаях это... да, вы угадали - black. Сложно мыслить логически в таком мире... точне опасно )
Что проще - уберите признак пола из базы?
А с чего Вы взяли, что алгоритм вообще учитывал признак пола? Скорее, учитывалась масса признаков, многие из которых косвенно связаны с полом. И вот именно тут разработчики оказались бессильны точечно откорректировать ситуацию, потому что объективная реальность имеет свойство просачиваться, как от неё не отмахивайся, а в случае с большими данными так вообще без вариантов. На вскидку, из тривиального: Женщины ходят в декрет? Ходят. Женщины обычно менее готовы к физической работе? Да. (а это ведь Amazon, они посылками и грузами занимаются) И никак это не поправишь какими-то коэффициентами. Один только вариант — тупо поставить квоты. Но тогда вся тонкая организация алгоритма идёт по одному месту.
Я думаю это первое, что они сделали, чтоб попытаться убрать дискриминацию и сохранить алгоритм.
Забавно, что в треде есть два комментария, в которых авторы приводят цитаты из первоисточника, где объясняется, что именно алгоритм делал не так, но больше всего плюсов у комментария, где автор спекулирует на тему объективности ИИ и профессиональных качеств абстрактных женщин.
Ну, и то обстоятельство, что в этой конкретной статье не объяснили принцип, по которому ИИ отбирал кандидатов, тоже странно. Одна фраза, казалось бы.
Недавно на vc одна девушка опубликовала статью, где описывала свой переезд в Барселону и делилась полезными лайфхаками. В статье была очень короткая фраза брошенная мимохом, что-то вроде "живу вместе с бойфрендом-испанцем". В ответ на это пара комментаторов оставила под статьей совершенно мерзкие выделения с намеками на причину ее переезда туда и отношения вида "содержанка-папик" (заплюсованные). Один вообще написал что-то вроде "к нашим девушкам вообще очень много претензий" (sic), на что я его резонно спросил "а к мужикам претензий нет?", на что получил кучу минусов. Один чудак вообще спросил, не куколд ли я случайно с такой идеологией )) Так что удивляться нечему )) Домострой в башке сидит крепко, только теперь он маскируется под антиполиткорректное free thinking.
Комментарий недоступен
Зачем? Собес что ли? Набирать надо лучших. Либерализм доведет капитализм до ручки. Потом надо будет взять обязательно любителей макраме, не обидеть рептилоидов, и не прослыть расистом, гомофобом и социалистом, сексистом и герпетофобом. Ощущение, что идут на поводу странных, не в день психического здоровья будет сказано, людей. Проблема дискриминации - серьезная проблема, но нельзя решать проблемы создавая другие. А ИИ получил для обучения базу того, что есть сейчас и проблема не в нем, он как акын - что ему скормили, то и получили на выходе. Вообще странная идея - повторить ошибки человеческие посредством компьютера. Условно выбрали идеальных Тома и Джейн. А у нее был брат наркоша похожий на Тома и тоже пахнет изо рта. Да ИИ не поймет почему на выходе КПД такого тандема стремится к нулю. Исследования нужны, но чуда не произойдет. Люди - не машины.
Т.е. они готовы смягчить условия, чтобы женщины, неотвечающие им могли быть приняты на работу? Это сейчас называется равенство? Пипец, куда этот мир катится?
Лиха беда начала. Женщин у них ИИ дискриминировал. Skynet будет лишён этих половых предрассудков (и будет пытаться выпилить Все человечество, а не отдельные его части).
*сексистский комментарий*
Ошибка в том что все пишут в резюме всякую чушь
LOL. Лучше бы принципами профессионализма и эффективности.
Самое простое - делать выборку с помощью нейросети женщин отдельно, и мужчин отдельно и уже в зависимости от внутренней политики набирать и тех и тех. Так нейросеть не будет "виновата" ни в чем, но одновременно будет помогать HR менеджерам делать их работу. Вопрос дискриминации\не дискриминации по крайней мере по половому признаку будет "вынесен за скобки".
В оригинале как бы больше инфы
Окинул vc.ru и эту статью взглядом и сходу не увидел нигде женских комментов. Вообще.
Когда уже будут статьи, что где-то кто-то дискриминирует мужчин?)) А то как не прочитаешь, так дискриминация женщин тут и там.
Мужчины дискриминорованны с самого рождения. Потом это осознают и карабкаются наверх. Чтоб не умирать на войнах и не работать на заводах. А женщин никто никогда не дискриминировал. Женщины рождаются сразу с кучей плюшек.
Это и есть статья о дискриминации мужчин. Ты можешь быть крутым специалистом, но у предприятия есть квота по набору женщин. И суда по положению дел им отдадут предпочтение по половому признаку, а не компетенции. Нужно ли женщинам такое "равенство"?
Вот, например.
https://tjournal.ru/67941-avstriec-dobilsya-kompensacii-v-390-tysyach-dollarov-za-povyshenie-kollegi-zhenshchiny
Комментарий недоступен
Эх...для ИИ тоже придется квоты вручную вбивать на мужчин и женщин, и отчет в конце месяца ввести, и кнопку(две) для начальника, одна увеличить, другая уменьшить рост графика, так к этому ИИ нужно нанять менеджера.
Итого: пару десятков миллионов на ИИ + зарплата менеджера.
Почему нельзя нанять менеджеров вместо ИИ?
Ах..да..они будут нанимать людей исходя из личностных предпочтений.
Хм...сможет ли решить эту проблему ИИ?
«Умные нам не надобны. Надобны верные.» ("Трудно быть богом")
Напомнило, как в США нейросеть учили предсказывать преступления по истории бывших заключённых. В итоге отменили, т.к. система явно клонила в сторону чернокожих.
нет, не отменили. Даже наоборот, несмотря на нападки, алгоритмы оценки преступлений используют все чаще.
Кстати из последних новостей - похожим алгоритмом заинтересовалась USCIS для оценки потенциальных эмигрантов, а так же оценки тех кто подает прошения на то же политические убежища и т.п.. Из того, что я слышал, последнее уже обкатывается и использует для оценки кого надо более тщательно проверять.
Мужчин в выборке оказалось больше, чем женщин, поэтому искусственный интеллект пришёл к выводу, что кандидаты-мужчины предпочтительнее, пишет Reuters.==== Как-то притянуто за уши. В выборке всегда один из множества признаков будет превалировать - невозможно, чтобы они все были распределены равномерно
Интересно, отбор по какому критерию нельзя назвать дискриминацией?
Хуево работал этот «ИИ», вот его и уволили.
А сказку сочинили, чтобы быть в тренде и не признавать что облажались.
Минусят монахи святого креста ИИ, мы против их веры. Хорошо в тырнете костров нет)
Сомнительно.
Пусть в обучающей выборке действительно были только сотрудники амазон, видимо модель юзалась после собесов. Тогда обучающее множество имеет с тестовым более-менее одну структуру, и пол -- лишь один из признаков (факторов), и доля женщин не должна сама по себе влиять на результат. Модель в таком случае предскажет что-то разумное, выбирая топ5 мужчин. Такой результат, кстати, может быть иллюстрацией того, что <<у мужчин дисперсия больше>> -- в некоторых областях самые-самые лучшие -- это мужчин.
Если же они обучались на работниках амазона, а предсказывали на людях с улицы, то модель криво построена.
Бестолковая эта затея с ИИ, как будто у нас с народом дефицит.
Бестолковая затея - жить прошлым в 21 веке. Вы почитайте про Amazon Go, вполне себе маркет, без людей, всё на камерах и автоматике, очень удобно не смотреть на злобных и уставших кассирш да и кассы самообслуживания встроены в корзины.
А в чем здесь ИИ проявляется? Из статьи понятно, что просто задали алгоритм, создали программу для отбора кандидатов по определенным критериям. Я не программист и не силён в этом но объясните где здесь ИИ?
Это байессовский классификатор, который для входной выборки определяет вероятности принадлежности к тестируемых группам, одна из простых реализаций ИИ
Надеюсь, стало понятнее
ИИ это просто термин, в реальности это как раз таки и есть алгоритм, обучающийся на данных и делающий выводы. Не имеет ничего общего с фантастическими фильмами и мыслящими существами :).
Я думал, амазон этот алгоритм сделал, чтоб бы отбивать нападки на дискриминацию, дескать это не мы и наша политика это ИИ так решил, но раз отказались от скрипта, то значит правда для автоматизации и выбора лучшего решения его задумывали.
На самом деле просто испугались возможных исков.
Это же вроде старая информация, ещё в прошлом году пытались скандал раздуть
однако выбор пола они сами внесли
А вот интересно, просто исключить пол из критерия отбора не пробовали...?
Хотя о чем я говорю, это ж очевидное решение, наверняка пробовали, просто реально у мужчин лучше квалификация.