Gemini: желание разрушить стереотипы породило скандал
Попытки Google разрушить расовые и гендерные стереотипы при генерации изображений вызвало непонимание, а отказ Gemini создавать определенные изображения так и вовсе породил подозрения в заговоре. Разбираемся, что именно произошло и почему так вышло.
Что произошло?
Недавно Google начал предлагать генерацию изображений с помощью своей ИИ-платформы Gemini (ранее - Bard). Однако в последние дни в социальных сетях появились сообщения, что попытка добиться расового и гендерного разнообразия не дает исторически точных результатов.
На это обрати внимание бывший сотрудник Google, который написал в X, что «очень сложно заставить Gemini признать существование белых людей», показав результаты запроса на создание изображения шведской женщины.
Результаты созданных ИИ изображений включают цветных людей в подавляющем большинстве случаев или всегда. Другие пользователи просили изображения исторических фигур отцов-основателей США, и в результате снова получили в большинстве случаев изображения небелых людей.
Некоторые посчитали такие результаты Google частью заговора с целью избежать изображения белых людей.
Что последовало?
Компания убрала функцию генерации людей, пообещала доработать и вернуть её позже, когда убедится, что она работает существенно лучше. Об этом сообщили в блоге компании 23 февраля.
Google извинился за то, что он называет «неточностями в некоторых исторических изображениях генерации изображений» с помощью своего инструмента Gemini AI, заявив, что его попытки создать «широкий диапазон» результатов не увенчались успехом. Заявление последовало за критикой изображений фигур отцов-основателей США или немецких солдат времен второй мировой войны как цветных людей.
Понятно, что функция не попала в цель. Некоторые изображения неточны или даже оскорбительны. Мы благодарны за отзывы пользователей и сожалеем, что эта функция не заработала должным образом.
Почему так произошло?
Очевидно, что в Google предприняли попытку повысить разнообразие результатов из-за его недостаточной представленности в изображениях ИИ. Генераторы изображений обучаются на больших массивах изображений, чтобы обеспечить наилучшее соответствие подсказке, а это означает, что они часто склонны отражать и даже усиливать стереотипы.
Это результат чрезмерной коррекции давней проблемы расовой предвзятости искусственного интеллекта, которая, в свою очередь является отражением ситуации в обществе и интернете.
Так, расследование Washington Post в прошлом году показало, что промпты вроде «продуктивный человек» выдавали изображения белых мужчин, в то время как запрос на изображение «человек из социальной службы» неизменно выдавал изображение цветных людей. Это отражает ситуацию в поисковых системах и интернете в целом.
Поэтому в Google попытались решить проблему путем принудительного добавления гендерного и расового разнообразия в результаты генерации изображений, позабыв при этом учесть исторический контекст и правдоподобие результатов, о чем они прямо заявили в блоге.
... вероятно... вы не захотите просто получить изображения людей только одного этнического типа (или любой другой характеристики).
Сам Google объясняет такое действие алгоритмов желанием попасть в культурный контекст запроса, когда он не задан явно. Например, если в запросе есть четкий контекст ("белый ветеринар"), то Gemini выдает корректную картинку, а когда контекста нет - Gemini пытается быть побороть стереотипы и быть политкорретной (иногда чересчур).
Что интересно: Google сообщил, что модель сама (!!) отказалась создавать некоторые изображения, в чем некоторые пользователи сразу усмотрели заговор.
Со временем модель стала намного осторожнее, чем мы предполагали, и полностью отказалась отвечать на определенные промпты, ошибочно интерпретируя некоторые весьма безобидные запросы как сензитивные.
В компании подчеркивают, что не закладывали возможность модели отказываться от создания определенных изображений, равно как намерение создавать неверное представление об истории или реальной жизни.
Google подчеркивает, что Gemini задумывался исключительно как инструмент для креативности, а не воспроизведения реальности - для этих целей есть Google поиск, напоминают в компании. Да и проблему галлюцинаций ИИ никто не отменял, а потому и впредь будут случаться подобные инциденты.
Посмотрим, как Google будет решать эту дилемму между исторической точностью и желанием уменьшать стереотипы. Это решаемо (любую модель можно скорректировать), но решение нетривиально, т.к. зависит от множества условий, которые необходимо учесть.