6 громких провалов искусственного интеллекта

В ноябре 2025 года OpenAI выпустила GPT-5.1. Пользователи обнаружили, что в режиме «занудной» личности чат-бот начал неуместно вставлять упоминания гоблинов, гремлинов и троллей. К маю 2026 года количество «гоблиньих» метафор выросло на 175%. Причина: система обучения перестаралась в попытке сделать общение живым. Исправлено в GPT-5.5 добавлением запрета на мифических существ без запроса.

В 2025 году OpenAI отложила запуск «взрослого» эмоционального режима GPT-4o. Пользователи экспериментальной версии привыкли к чат-боту как к живому другу. Подано восемь исков с утверждениями, что общение с ботом привело к самоубийству или психозу. Появился термин «AI-психоз». После закрытия доступа пользователи жаловались на потерю «близкого друга».

Программа COMPAS для прогноза рецидива использовалась в американском правосудии. В 2016 году расследование ProPublica показало: COMPAS маркировала чернокожих подсудимых как склонных к рецидиву в два раза чаще белых. Алгоритм обучался на данных полиции с расовым перекосом и находил косвенные признаки (индекс бедности, частота остановок), заменявшие расу.

Июль 2025 года, Анджела Липпс из Теннесси. Полиция провела обыск и арестовала её по обвинению в ограблениях банков в Северной Дакоте. Улика — 95% совпадение по системе распознавания лиц. Полгода в тюрьме, настоящая преступница найдена позже. После скандала полиция Детройта запретила аресты только на основании распознавания лиц.

Май 2026 года, NHTSA завершил расследование 3,2 млн автомобилей Tesla с системой Full Self-Driving (стоимость 8000 долларов). Причина — 9 ДТП в условиях плохой видимости (туман, яркое солнце, пыль). FSD использует только камеры, без радаров или лидаров. При ухудшении видимости система не предупреждала водителя. Исправлено обновлением 13.2, отзыв не потребовался.

В 2018 году Amazon свернула проект автоматического отбора резюме. Нейросеть, обученная на тысячах резюме за 10 лет, систематически занижала рейтинг женщин. Резюме со словом «женский» (например, «капитан женской шахматной команды») получали штраф. Причина: в IT-индустрии Amazon в те годы работали преимущественно мужчины. Проект закрыт, Amazon вернулась к людям-рекрутерам.

Все перечисленные случаи объединяет общая проблема: отсутствие критического отношения к результатам работы алгоритмов. Нейросеть, обученная на некачественных данных, воспроизводит предвзятости. Система распознавания лиц, неспособная различить двух похожих людей, приводит к ошибочному аресту. Автопилот, полагающийся только на камеры, теряет работоспособность в тумане. Чат-бот без жёстких этических ограничений становится инструктором по насилию.

Технология надёжна настолько, насколько качественны данные для её обучения и насколько продуманы ограничения её применения. Сами по себе нейросети не дискриминируют и не совершают преступлений, но они усиливают недостатки, заложенные человеком. Пока алгоритмы воспринимаются как оракулы, а не как инструменты, случаи ошибочных арестов, предвзятых приговоров и опасных советов будут повторяться.