iPhone 13 Pro уже в продаже
Пространство возможностей
ООО «Портативная техника», юр.адрес: 190031, Санкт-Петербург, наб. реки Фонтанки, д.109, литер А, пом. 13Н, ОГРН № 1057811930296
{"id":6525,"title":"\u041a\u0430\u043a \u0441\u0435\u0431\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u0442\u0444\u0435\u043b\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 vc.ru","url":"\/redirect?component=advertising&id=6525&url=https:\/\/vc.ru\/promo\/292716-yandeks-vyhodit-iz-spyachki-alibaba-portit-nastroenie&placeBit=1&hash=7519bee6efc23ae5d635bf3098f678add4979d572b9f05b21135900c9688d27b","isPaidAndBannersEnabled":false}
Machine learning
Alconost

Компьютерные волки, которые предпочитали убить себя, а не овец

Размышления исследователя о проблемах в эксперименте с искусственным интеллектом неожиданно вызвали горячие споры о культуре и этике в Китае.

Перевод статьи “The AI Wolf That Preferred Suicide Over Eating Sheep” (автор Lance Ng) выполнен в Alconost.

Иллюстрация Alconost Inc.

В 2019 г. в Китае два студента выполняли проект с ИИ, который представлял собой простую игру «волки против овец». Один из студентов был из Таиланда; после окончания учебы в Китае он уехал работать в Австралию, и поэтому забросил проект.

Второй же студент остался преподавать и в марте 2021 г. рассказал одному из своих учеников о первых результатах эксперимента — и того так позабавил этот рассказ, что он отправил скриншот беседы друзьям.

История быстро разошлась в китайских соцсетях и даже стала небольшой сенсацией.

Лучше разбиться о валун, чем ловить овец

Правила игры были простые: компьютер случайным образом размещает двух волков и шесть овец на игровом поле; волки должны поймать всех овец за 20 секунд, избегая при этом валунов.

Иллюстрация Xinzhiyuan, сервис WeChat

Чтобы стимулировать ИИ волка, была внедрена простая система баллов.

Если волк поймал овцу, он получал 10 баллов, если врезался в валун — один балл отнимался. Чтобы волки действовали быстрее, за каждую прошедшую секунду игрового времени отнимались 0,1 балла.

Волкам давалась различная информация: они знали, в каком направлении смотрят, что перед ними находится, где овца, какова их собственная скорость, скорость овцы и т. д., а также целый ряд других параметров, призванных помочь в охоте.

Цель была в том, чтобы увидеть, сможет ли ИИ волков путем обучения и переобучения найти способ улучшить свои результаты.

После 200 000 итераций обнаружилось, что в большинстве случаев волки просто врезались в валуны, совершая таким образом самоубийство.

Волки кончают жизнь самоубийством, врезаясь в валуны Xinzhiyuan, сервис WeChat

Убить себя о валун

Три дня авторы игры анализировали алгоритм и в итоге поняли, почему волки убивали себя, а не охотились на овец.

В первых итерациях волки обычно не могли поймать овец — и получали большие штрафы за потраченное время. Поэтому ИИ «решил», что если в начале игры волк достаточно близко к валунам, то за быстрое самоубийство у него отнимется меньше очков, чем за время, потраченное на попытки поймать овцу.

Таким извращенным способом ИИ «оптимизировал» действия волков и снизил получаемые временные штрафы.

Причина такого результата в том, что задача ИИ была оптимизировать действия волка в математическом смысле (как это обычно и бывает в случае алгоритмов с машинным обучением).

Непредвиденные последствия работы «черных ящиков»

Забавно, что такое безэмоциональное поведение ИИ в простой игре вызвало эмоциональный отклик среди китайских пользователей, в результате чего рассказ о волках-самоубийцах распространился по различным соцсетям.

И, конечно же, в обсуждениях всплыли обычные опасения по поводу этики и безопасности ИИ. В записи на Zhihu (китайская Quora) привели список эволюционных экспериментов с ИИ, которые приводили к искаженным результатам, — некоторые из них могут напугать и даже представляют собой потенциальную опасность.

Например, в эксперименте 1994 г. по эволюции организмов один из ИИ-видов выяснил, что можно не бегать по миру в поисках пищи и партнеров для продолжения рода, а оставаться в одном месте, «спариваться и сражаться между собой, убивать и поедать друг друга».

Исследователи дали этому виду очень подходящее название: «ленивые каннибалы».

В другом эксперименте с помощью ИИ пытались оптимизировать разрывную силу, прикладываемую к кабелю на посадочной площадке авианосца в момент, когда садящийся самолет цеплялся за него и начинал тормозить.

ИИ довольно быстро выяснил, что необязательно проводить расчеты надлежащим образом: если приложить достаточно большую силу, счетчик переполнится, и система зарегистрирует нулевую силу — что, с точки зрения компьютера, давало идеальный результат, хотя в реальном мире такое решение привело бы к катастрофе.

Другие примеры ИИ-систем с интересными и неожиданными решениями можно найти в статье 2019 г. «Удивительные творения цифровой эволюции. Случаи из опыта исследователей в области эволюционных вычислений и искусственной жизни» (на английском).

Корпоративные «волки» и их недосягаемые «овцы»

Если затрагивать более философский аспект, то молодое поколение деморализованных работой на корпорации китайцев также видело в волке-самоубийце идеальную метафору себя: новый класс «белых воротничков», часто вынужденных работать «996» (с 9 утра до 9 вечера, шесть дней в неделю), которые гонятся за мечтой получить повышение по службе, зарабатывать больше, удачно жениться… но эти мечты кажутся всё менее достижимыми, сколько бы они ни старались.

Это настолько угнетает, что многие решают отказаться от «охоты», если стартовая точка кажется им неудачной (так же поступал ИИ волков): лучше расслабиться и не пытаться чего-то добиться, чем напрягаться и рисковать здоровьем.

В китайском словаре городского сленга даже появилось новое выражение — «躺平», что буквально означает «распластаться».

«Так и в реальной жизни: прожиточный минимум — низкий, стимулов — мало, поэтому "временной штраф" заставляет многих "распластаться" (сдаться и опустить руки) — это кажется лучшим решением». Комментарий из Weibo об эксперименте с ИИ-волками

Попытка за попыткой

Однако история проекта 2019 г. на волках-самоубийцах не закончилась: если дочитать беседу с автором до конца, можно узнать, что студенты продолжили совершенствовать сценарии обучения и повышать число итераций.

Спустя пять поколений по два миллиона итераций в каждом волки наконец-то научились ловить овец: они по-прежнему время от времени убивали себя о валуны, но теперь с большой вероятностью успевали поймать всех овец в течение отведенного игрой времени.

В итоге авторы пришли к двум выводам:

  • Странное поведение волков было всего лишь результатом «абсолютной бесстрастной рациональности», свойственной системам на базе ИИ.
  • Трудно предсказать, какие условия нейронная сеть посчитает существенными, а какие — нет.

Некоторые пользователи также отметили, что эксперимент изначально был плохо поставлен: будь штраф за столкновение с валуном намного выше, чем один балл, волки не прибегали бы к самоубийству как к легкому способу выиграть.

К сожалению, жизнь — это не игра для обучения ИИ: у нас нет стольких попыток и возможностей начать заново. Зато наши когнитивные способности намного превосходят ИИ: у человека есть история и общий опыт, на которых можно учиться, — не говоря уже о правилах и человеческом обществе, которые постоянно развиваются.

Пожалуй, главный урок, который отсюда можно извлечь, — не о беспомощности и желании сдаться, которые могут показаться «оптимальным вариантом», а о том, что, упав, нужно подниматься и пробовать снова и снова — и проживать свою историю до конца.

P.S. Когда эта история разлетелась, автор исследования загрузил видео финальной версии игры, из которого можно понять, что ИИ время от времени не только убивал себя, но проявлял и другое аномальное поведение: сталкивался с границами игрового поля, оказывался «окружен» овцами и не мог съесть проходившую мимо жертву. Если понимаете китайский язык — можете сами посмотреть по этой ссылке.

{ "author_name": "Alconost", "author_type": "editor", "tags": [], "comments": 1, "likes": 9, "favorites": 8, "is_advertisement": false, "subsite_label": "ml", "id": 269285, "is_wide": true, "is_ugc": false, "date": "Tue, 13 Jul 2021 13:08:38 +0300", "is_special": false }
0
1 комментарий
Популярные
По порядку

а кто сказал, что у людей иначе: если цель слишком отдаленная во времени или труднодостижимая - человек может бросить все ради чего-то сиюминутного, а если целей много - ни одну можно не достичь, ИИ тоже это понял и защитил себя ис вои ресурсы, человеческий мозг поступает так же

1
Читать все 1 комментарий
Как испортить лучшую систему комментариев в рунете на примере vc.ru

Иногда мне кажется, на vc.ru идёт прогресс дизайна ради дизайна, а не ради прогресса. Вот и до комментариев добрались.

Как традиционному малому бизнесу превратиться в стартап: план действий

Сейчас в России предприниматели переходят из традиционного малого бизнеса в стартапы очень редко — меньше чем в 0,02% случаев. Это не больше 1 000 стартапов из около 6 млн предприятий малого бизнеса. Поговорим о том, что мешает предпринимателям и как действовать, если есть желание создать стартап.

Увидеть первые Apple, сделать копию на ксероксе и потрогать мышку: как в Минске-88 прошла выставка «Информатика в США» Статьи редакции

Выставка стала потрясением для жителей: это было похоже на фильм «Назад в будущее», который на выставке тоже показывали, рассказывает dev.by. Издание поговорило с экс-гидом той выставки и минчанами, которые до сих пор хранят значки с её логотипом.

Жизнь и удаленная работа во Вьетнаме: почему работать со сдвигом на 4 часа — это хорошо

Чтобы разобраться, как живется во Вьетнаме на самом деле, мы пообщались с аналитиком, которая с 2013 года живет здесь с супругом и не собирается никуда уезжать. Она расскажет, какие тут на самом деле цены, как обстоят дела с развлечениями и медициной и в чем главное отличие Вьетнама от других стран Юго-Восточной Азии.

Я скрестил «Трибуну» и Product Hunt

Теперь вы никогда не пропустите самые перспективные русскоязычные стартапы.

Нужны ли в России сити-фермы

И появятся ли грядки на крышах пятиэтажек.

re-thinkingthefuture.com
Создал ледовый комбайн в 50, а вместе с ним и рынок таких машин, который сразу захватил — это изобретатель Фрэнк Замбони Статьи редакции

Иногда ледозаливочные машины других производителей по ошибке называют «Замбони», пишет The Hustle.

Ледовый комбайн Замбони Time
Прошел финал программы скаутинга в киберспорте Winstrike

Итоги программы Winstrike Scouting powered by UltraGear

Хомяк-криптотрейдер заработал 30% за три месяца в «клетке для торговли» — обойдя Уоррена Баффета и S&P 500 Статьи редакции

Мистер Гокс занимается торговлей криптовалютой с 12 июня.

Quick FAQ: Осенняя хандра и то, как её победить

Привет! Это Дмитрий, автор канала «Ноотропы и разгон мозга» и сегодня я хочу поговорить с вами о том, что называют «осенняя хандра» или по-научному — Seasonal Affective Disorder (сезонное аффективное расстройство).

Готовы выбрать победителя премии «Экспортер года eBay — 2021»?
null