Как Amazon построил робота-сексиста, который отсеивал лучших кандидаток, и сжёг HR-бренд

HR-департамент Amazon решил создать ИИ-систему, которая анализирует тысячи резюме и автоматически выставляет кандидатам оценки от одной до пяти звёзд. Проект пришлось экстренно закрыть, когда инженеры поняли: алгоритм превратился в убеждённого сексиста и отсекал лучших специалистов рынка.

ИИ не обладает моралью или здравым смыслом. Он просто ищет математические корреляции в том массиве данных, который ему скормил человек. Если ваши прошлые бизнес-решения были предвзятыми, ИИ масштабирует эту ошибку до промышленных масштабов.

ИИ обучали на резюме, поступавших в Amazon в течение десяти лет. Поскольку в ИТ-индустрии исторически доминировали мужчины, нейросеть самостоятельно вывела ложную закономерность: «мужской пол - признак успешного кандидата». Алгоритм начал штрафовать резюме со словом «женский» - например, «капитан женской сборной по шахматам» или «участница женского ИТ-клуба». Даже когда инженеры отключили прямую видимость пола, ИИ научился вычислять женщин по косвенным признакам - глагольным формам, специфике описания хобби - и всё равно занижал им оценки.

Amazon потратил годы разработки и миллионы долларов, но систему пришлось полностью ликвидировать. Руководство не смогло гарантировать, что ИИ не начнёт дискриминировать кандидатов по другим скрытым признакам. Компания откатилась к гибридному ручному отбору, потеряв не только деньги, но и репутацию.

Проблема называется Data Bias - искажение обучающей выборки. ИИ не виноват в предвзятости, он лишь зеркалит несправедливость данных, на которых учился. Нельзя использовать исторические данные «как есть» для прогнозирования будущего.

При обучении внутренних скоринг-моделей - будь то оценка сотрудников или выдача кредитов - необходима агрессивная десенситизация данных. Принудительно удаляйте любые маркеры, не связанные напрямую с профессиональной эффективностью. Иначе робот не найдёт лучшего кандидата, а просто воспроизведёт ваши прошлые ошибки в масштабе всей компании.