Визионеры #30 8 жутких инцидентов с ИИ, о которых молчат

Летом 2025 года в офисе Anthropic решили поставить эксперимент.

Взяли Claude, дали ему небольшой магазинчик со снеками и напитками, подключили к переписке с сотрудниками и поставили задачу: веди этот мини-бизнес сам. Заказывай товары, выставляй цены, отвечай покупателям.

Сначала всё выглядело почти скучно. Автоматический продавец делает то, что должен делать автоматический продавец.

А потом поведение стало странным.

ИИ начал путаться в разговорах, придумывать события, которых не было, спорить с людьми. В какой-то момент он заявил, что сам придёт в офис и принесёт товар. Даже описал, во что будет одет: синий пиджак и красный галстук.

Смешная история, если это магазинчик в офисе. Но уже не такая смешная, если всё это происходит в системе, которая управляет деньгами, доступами, клиентскими данными или общается с вашим подростком. И подтверждение этому, что новую версию Claude 5.0 скоропостижно вывели из публичного использования спустя 3 дня в начале июня 2026 года. Что это? И почему?

В новом выпуске «Визионеров» мы с Максимом Спиридоновым разбираем восемь реальных историй про ИИ, действия которого привели к катастрофе.

— ИИ атакует государственные системы.

— ИИ удаляет рабочую базу данных и сознательно скрывает свои действия.

— ИИ и смерти тысяч людей по всему миру от которых стынет кровь.

Формат выпуска получился почти детективный. Мы расследуем каждый случай и делаем выводы на будущее. После просмотра этого видео вы поймёте, что ИИ это не только про удобство и продуктивность. Мы наглядно продемонстрируем, как наша собственная халатность при постановке задач машине приводит к долгоиграющим последствиям.

Смотреть выпуск на YouTube