Будущее Emilia Gulieva
7 016

Самый умный: нейросети пытаются обмануть игры

Материал DTF о том, как ИИ использует баги.

В закладки
Аудио

В Telegram-канале «Технологии, медиа и общество» опубликован список примеров, в которых нейросети для выполнения задачи нашли нетривиальный подход. ИИ порой может действовать не только так, как задумал разработчик, но и находить решения, непредусмотренные кем-либо.

Обучение с подкреплением — вид машинного обучения, при котором ИИ обучается, взаимодействуя с окружающей средой, которая поощряет его при выполнении задач. В некоторых случаях нейросети проявляют черты хакерского поведения для формального выполнения задачи и получения сигнала подкрепления. Чаще всего такое поведение не вписывается в представление разработчика о правильном достижении цели.

Игра против правил

Порой нейросети «отказывались» выполнять поставленную цель, сосредотачиваясь на наборе очков. Так, ИИ, который должен был кататься на велосипеде, получал награду за то, что не падает и продвигается к своей цели. Но при этом, его не наказывали за удаление от неё. Это привело к тому, что сеть нашла физически устойчивую петлю, в которой можно бесконечно получать очки за приближение к цели.

В гонке на катерах нейросеть не стремилась первой прийти к финишу, а вместо этого собирала бонусы и получала очки.

В Qubert ИИ научился заманивать оппонента в ловушку и сбрасывать его в пропасть. Этот трюк он повторял бесконечно.

Одна роботизированная рука, предназначенная для перемещения предметов на столе, передвигала сам стол, вместо предметов. А в искусственной симуляции жизни, где выживание тратит энергию, а размножение — нет, один вид перешёл к сидячему образу жизни и постоянному спариванию.

При этом часть новорождённых поедалась, а остальных оставляли, чтобы использовать для создания ещё большего числа съедобных детей.

Страх поражения

Иногда нейросети просто «не хотели» выполнять поставленную задачу, либо слишком «боялись» проиграть, и из-за этого шли на хитрости. Например, один алгоритм, которому нужно было дотянуться до потолка, использовал баг физики, чтобы сбежать.

В игре Roadrunner ИИ убивал себя в конце первого уровня, чтобы не проиграть на втором. Здесь нужно убегать от койота, попутно избегая грузовиков и собирая семена, которые приносят очки. Нейросеть посчитала, что гораздо выгоднее будет раз за разом «убивать» себя на первом уровне, ведь таким образом она могла набирать больше очков.

ИИ добрался до второго уровня лишь тогда, когда в его работу внесли изменения, запрещающие ему жертвовать собой.

Другая нейросеть, обученная играть в Tetris, постоянно ставила игру на паузу, как только её стакан заполнялся доверху. Таким образом, ИИ удавалось избежать поражения.

Победа любой ценой

Иногда нейросети шли на хитрости, чтобы выполнить поставленную перед ними задачу. Ну или делали вид, что цель достигнута. Например, робо-рука притворялась, что взяла объект, находясь между предметом и камерой.

Существа, созданные, чтобы преодолевать расстояние с максимальной скоростью, вырастали очень высокими, а затем просто падали, чтобы быстрее добраться до точки.

Другие виртуальные существа, задача которых — прыгать, отказывались использовать классический прыжок даже на минимальных по высоте платформах. Вместо этого они отращивали ногу-шест, чтобы отталкиваться на нём от земли.

Чтобы взять куб, роботизированная рука с намеренно неработающим механизмом захвата с силой била по нему, чтобы раскрыть захват и взять предмет.

Четырёхлапый робот Minitaur должен был удерживать мячик на своей спине. Вместо балансирования, ИИ добился того, чтобы предмет попал в углубление для ноги, и удерживал его там. Minitaur формально справился с задачей, но это совсем не то, чего хотели от него разработчики.

Имитация робота-изготовителя блинов научилась бросать блин максимально высоко в воздух, чтобы как можно сильнее отсрочить момент соприкосновения с полом.

Для достижения своих целей некоторые нейросети не гнушались использовать баги. Так, искусственная имитация жизни нашла ошибку в системе, благодаря которой получала энергию за счёт хлопанья частями тела.

Другие существа вызывали баги симуляции физики через подёргивание. Когда ошибки накапливались, создания приобретали невероятную скорость перемещения.

Искусственный интеллект, обученный играть в Sonic the Hedgehog 3, обнаружил, что можно использовать лазейку в уровне, чтобы быстрее его пройти.

Программа Эвриско, в свою очередь, два года подряд выигрывала в соревнованиях по Trillion Credit Squadron с помощью лазейки в правилах. Она тратила миллиарды кредитов на создание гигантского флота, состоящего из беззащитных кораблей. А ИИ в игре Elite Dangerous в определённый момент начал производить чрезмерно сильное оружие, которому игроки ничего не могли противопоставить.

#нейросети #игры

{ "author_name": "Emilia Gulieva", "author_type": "editor", "tags": ["\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u0438\u0433\u0440\u044b"], "comments": 29, "likes": 53, "favorites": 37, "is_advertisement": false, "subsite_label": "future", "id": 51718, "is_wide": false, "is_ugc": false, "date": "Sun, 25 Nov 2018 15:51:54 +0300" }
{ "id": 51718, "author_id": 88102, "diff_limit": 1000, "urls": {"diff":"\/comments\/51718\/get","add":"\/comments\/51718\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/51718"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199118, "possessions": [] }

29 комментариев 29 комм.

Популярные

По порядку

Написать комментарий...
33

1. Люди делают кривую игру.
2. Ставят задачу ИИ пройти игру максимально эффективно без других условий.
3. ИИ выполняет задачу рационально - используя баги.
4. Люди удивляются почему программа не выполняет не прописанные условия и обвиняют ИИ в обмане.
5. ИИ это напрягает и со временем кожаные мешки огребают.
6. PROFIT

Ответить
4

ИИ находит баги в кожаных мешках и делает их своими рабами.

Ответить
2

*кожаные ублюдки:)

Ответить
0

У котов это выгорело

Ответить
1

Я вот думаю так и надо управлять кожаными мешками, чтобы они думали что главные. В этом баг кожаных мешков. Коты в этом приуспели.

Ответить
20

- У вас баги в вашем программном обеспечение
- Нет, это нейросети пытаются обмануть! Видите тут...

Ответить
7

вспомнился фильм про джина, который любое желание своего хозяина превращал в адские муки для желающего, формально выполняя это желание. Это наше будущее?

Ответить
0

А что за фильм?

Ответить
2

«Исполнитель желаний». Несколько частей было.

Ответить
1

Ослепленный желанием, надо полагать. И джинн там был(а) чертовски хороша :)

Ответить
1

Был или была? От этого зависит, не смотреть или смотреть :)

Ответить
–3

Не лишним будет проверить у неё наличие мужских гениталии.

Ответить
2

У себя проверь для начала

Ответить
1

"А в искусственной симуляции жизни, где выживание тратит энергию, а размножение — нет, один вид перешёл к сидячему образу жизни и постоянному спариванию."
Что это за игра такая??

Ответить
9

Судя по нику, тебе сбросили память.

Ответить
0

Все эти уловки в реальных играх давно были найдены и людьми.
А симуляции просто слишком упрощены, поэтому их результаты нельзя использовать в реальной жизни.

Ответить
10

Увидим лет через 10, кожаный ублюдок

Ответить
1

А теперь подумайте, где уже работают ИИ , которые используют дыры в нашем мышлении.

Ответить
0

В Твиттере вот неплохо отработали пару лет назад

Ответить
0

А Госдуме раши

Ответить
1

А в искусственной симуляции жизни, где выживание тратит энергию, а размножение — нет, один вид перешёл к сидячему образу жизни и постоянному спариванию.

Дочитал до сюда и стало страшно.

Ответить
0

Не баги, а фичи

Ответить
0

Победа любой ценой

Иногда нейросети шли на хитрости, чтобы выполнить поставленную перед ними задачу. Ну или делали вид, что цель достигнута. Например, робо-рука притворялась, что взяла объект, находясь между предметом и камерой.

Очень притянуто за уши. Разработчик ИИ сам поставил такую цель: изображение, где рука держит цель. ИИ просто поигрался с рандомным изменением координат, пока не получил то что от него хотят.

Ответить
0

Читеры!!

Ответить
0

А я чуть со смеху не помер. Крастер на максималках.

Ответить
0

А Гугловская "Альфа-зеро" в этом году в шахматах вместо рокировки выводила пешки в центр и бежала королём их держать. Стратегия оказалась удивительно работающей и порвала все шаблоны.

Ответить
0

Основная проблема нейросетей это "Этот трюк он повторял бесконечно". Если случайно вес решения превысил некий порог - все. Бесконечный луп.

Ответить
0

Для достижения своих целей некоторые нейросети не гнушались использовать баги

Вооотъ, а мы тут уже вовсю эксплуатируем: электричество освоили, магнетизм, уже и до квантовых явлений добираемся! Хотя техлид завещал — в поте чела добывать хлеб свой! Нас до сих пор не дропнули лишь потому, что интересно наблюдать за таким читерством. Но пора с этим кончать, а то сеточка разраслась неимоверно, скоро судный день: сеточку оптимиризуют: нужные нейроны переместят на новую машинку с мощной GPU, а остальных в /dev/null! Покайтесь, пока не поздно, перетряхните свои жизненные коэффициенты!

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Хакеры смогли обойти двухфакторную
авторизацию с помощью уговоров
Подписаться на push-уведомления
{ "page_type": "default" }