Когда неуместное использование ИИ может стоить жизни тысячам человек

Технологии искусственного интеллекта стали доступнее. В стремлении решить насущные трудности всё больше и больше компаний прибегают к ним. Некоторые делают это продуманно и реально решают проблемы, например, как это происходит в случае со стриминговыми сервисами и приложениями вроде TikTok или «Кинопоиска». С помощью искусственного интеллекта они подбирают для своих пользователей рекомендации. Нейросеть генерит их на основе просмотренного, прослушанного и просто лайкнутого контента. Однако уже сейчас есть случаи неудачного применения ИИ в производстве, медицине и коммерции.

Один из таких случаев — это применение ИИ-технологий в шахтах. Как известно, в полостях угледобывающих шахт скапливается метан. Метан — это горючий газ, и иногда в новостях можно услышать, что в шахте произошла утечка метана и от одной искры взорвалось и сгорело всё. Мало того что это трагедия для большого количества семей, это ещё и огромные издержки для бизнеса. В попытке решить эту проблему в шахтах устанавливают датчики метана. Сложность в том, что эти датчики нередко срабатывают ложно. Но поскольку потратить время на то, чтобы понять, ложное это срабатывание или нет, — значит рискнуть жизнями всех, кто находится в шахте, людей эвакуируют в любом случае. Это приводит к простою техники и большим издержкам.

Эту проблему попытались решить с помощью ИИ: собрали большое количество данных по показаниям датчиков в шахте и пропустили их через искусственный интеллект. ИИ должен был создать алгоритм, который будет предсказывать ложные срабатывания. Алгоритм сделали, стали тестировать, всё сработало: ИИ выдавал 99,9 % точности предсказания ложных срабатываний. Но всё оказалось не так просто.

Если действительно разобраться в том, как работает ИИ, станет понятно, что предсказательной способности у модели быть не должно. Как же тогда она так точно предугадывает ложные срабатывания? Дело в том, что в данных, загруженных в ИИ, ложных срабатываний было гораздо больше, чем истинных, соответственно, алгоритм всего лишь научился предсказывать ложное срабатывание. На основе обработанных данных он понял, что «верно» всегда выдавать нолик вместо единички, то есть всегда говорить, что датчик сработал ложно.

Очевидно, что опасность внедрения такой системы огромна, ведь искусственный интеллект внутри себя не интерпретабилен, то есть мы не можем заглянуть внутрь и посмотреть, почему он принял то или иное решение. Всё, что нам остаётся, — это смотреть на конечную метрику (верное предсказание ложного срабатывания), а по ней не всегда можно понять, как ИИ принимал решение, особенно если вы не разбирались в данных или не учли какую-то маленькую закономерность.

В своём докладе «Искусственный интеллект в реальном мире. Успехи, провалы и места, где ИИ не нужен» Усенко Кирилл, ведущий data scientist Сибирского центра искусственного интеллекта, рассказывает о других примерах успешного и плачевного опыта применения ИИ-технологий. Посмотреть доклад можно по ссылке >>>.