Громкие провалы автоматизации с AI
◼Периодически ко мне обращаются с идеями о полной замене людей AI: "Создайте коробочное решение, которое мы будем продавать всем-всем-всем".
Помимо того, что это невероятно дорого (а у авторов идей обычно таких бюджетов нет) и очень ограничено по функционалу (пока еще нейросети не коннектятся со всем без исключения, бесплатно, одной кнопкой, предоставляя абсолютно точные идеальные решения), существует ещё риск критических для бизнеса ошибок.
И пока нейросети покоряют маркетинг, захватывают HR, обосновываются в инвестиционных меморандумах, а недавние офисные работники поднимают раунды под pitch в стиле «мы — ChatGPT для всего», мне хочется напомнить о том, что для реализации таких проектов нужна готовность глубоко исследовать тему до внедрения.
Чтобы понимать, что конкретно делаем, для чего, как будем контролировать - разработчик за вас это не решит, может только помочь.
Нужна готовность перестроить процессы под "нового участника" - AI.
Нейросеть не будет выполнять ваши указания с точностью до запятой. Это требует перестройки мышления человека, поисков возможностей для качественного взаимодействия.
И готовность вкладывать средства в экспериментальную модель, дорабатывать ее. Никто сейчас не даст гарантии, что все пойдёт на 100%предсказуемо и по плану, особенно при появлении черных лебедей.
◼А теперь примеры.
Кейсы не новые, сейчас инструментов намного больше, они точнее, интереснее, но ошибки на уровне постановки задач и выстраивания процессов, остаются прежними.
▪В Zillow использовали Zillow Offers - программу, с помощью которой алгоритм сам подбирал дома для покупки, оценивал их, необходимый ремонт и продажи.
Но модель начала переоценивать объекты. Компания скупала жильё дороже, чем потом могла продать.
Итог - $881 млн убытков, закрытие сервиса, сокращение 25% штата (CNBC, 2021).
▪IBM Watson - это AI-онколог. IBM потратила $62 млн только на внедрение Watson в Memorial Sloan Kettering Cancer Center.
Но оказалось, что AI рекомендовал токсичную химиотерапию не по показаниям.
Врачи отказались от использования, IBM прекратил разработку Watson for Oncology (Stat News, 2017).
▪В Facebook AI удалил страницы МЧС и Минздрава Австралии.
Соцсеть протестовала против закона о плате за новости и включила автоматическое удаление новостных страниц.
При этом AI удалил не только СМИ, но и страницы госорганов.
Это привело к международному скандалу, Цукерберг принес извинения, страницы восстанавливали вручную (BBC, 2021).
▪AI YouTube оптимизировал продвижение по параметру «вовлечённость пользователей» и стал продвигать радикальный контент.
Это привело к бойкоту от Nestlé, AT&T, Disney и других, к потере сотен миллионов рекламных долларов (NYTimes, 2019).
▪AI-логистика DPD UK рухнула на Рождество из за того, что AI система распределения заказов не справилась с пиковыми загрузками, а именно - не учла рост объёмов, переориентировала маршруты ошибочно.
Работу пришлось приостановить - сотни тысяч недоставленных рождественских посылок, представляете эмоции клиентов, да? (The Guardian, 2020).
▪Компания H&M внедрила AI-систему прогнозирования спроса, чтобы сократить складские излишки.
Но AI не учёл региональные различия и поведение покупателей в пандемию.
В 2020 году H&M остался с товарами на складах на $4 млрд (Business Insider, 2020).
▪В 2015 Google применил AI для автоматической классификации объектов на фотографиях.
Но это привело к скандалу - алгоритм сработал с расистским bias.
Компания отключила классификацию некоторых категорий, извинилась, переработала модель (The Verge, 2015).
▪Vodafone UK заменил большую часть операторов на чат-бота Tobi, powered by AI.
Однако бот не понимал сложных запросов, путал аккаунты, замыкался в логических петлях.
Удовлетворённость клиентов резко упала, шквал жалоб обрушился на поддержку (Which, 2020)
▪Алгоритм модерации TikTok занижал охваты людям с видимыми признаками инвалидности, якобы "в целях защиты".
Пользователи увидели в этом автоматизированную дискриминацию.
Компания принесла публичные извинения, провела аудит модерационных политик (Netzpolitik, 2019).
▪В компании Instacart AI рассчитывал комиссию и чаевые для курьеров в заказах.
Но в некоторых случаях система вычитала чаевые из гарантированной оплаты.
Компания столкнулась с волной критики, бойкотом курьеров, ей пришлось изменить модель оплаты (NBC News, 2019).
▪В 2020 AI Twitter автоматически выбирал, какую часть изображения показывать в превью и почти всегда выделял лица белых людей вместо темнокожих.
Это привело к скандалу, остановке функции, ручной модерации превью (BBC, 2020).
▪Автопилот Tesla использует AI для принятия решений на трассе.
Но в нескольких случаях система не распознавала белые трейлеры и не тормозила. Это привело к смертельным ДТП, расследованиям, судебным искам (NHTSA Report, Reuters, 2022).
▪В 2018 Google презентовал AI, имитирующий речь человека и звонивший в салоны.
Аудитория была шоуирована реалистичностью и отсутствием информации, что общение идет не с человеком.
Этическая дискуссия привела к тому, что компания внедрила обязательное уведомление «Я — робот» (Wired, 2018).
▪Goldman Sachs и Apple запустили Apple Card с AI для скоринга.
При этом женщины получали лимиты в разы ниже, чем мужчины, хотя имели такой же доход и кредитную историю.
Это привело к расследованию процесса департаментом финансов штата Нью-Йорк (Bloomberg, 2019).
▪Deliveroo использовал AI для составления графиков курьеров.
Но система штрафовала за отказ от смены, даже если человек болел или ухаживал за ребёнком.
Судебные разбирательства прошли во Франции и Великобритании, они сопровождались массовыми протестами (The Guardian, 2021).
◼Не каждый бизнес — AI-бизнес.
Это не новый инструмент золотоискательства по принципу ткнул каблуком в землю и открыл золотую жилу.
И это точно не повод увольнять целые отделы в надежде, что алгоритм заменит здравый смысл.