Многим известны 5 законов робототехники Азимова, однако, Айзек не строил роботов, хотя и сформулированные законы он придумал вполне лаконично.
Теперь же есть люди, для которых создание алгоритмов, управляющих крупными (и опасными) объектами – настоящая работа. Одна из таких – Ольга Ускова, основатель компании Cognitive Pilot.
Cognitive Pilot — один из ведущих мировых разработчиков систем искусственного интеллекта для транспортных средств.
Компания занимается разработкой систем автономного управления для сельскохозяйственной техники (комбайны, опрыскиватели, тракторы), железнодорожного транспорта (локомотивы, поезда, трамваи) и автомобильного транспорта. Также Cognitive Pilot разрабатывает и производит радары гражданского назначения в качестве сенсоров нового поколения для задач автоматизации транспорта и промышленных применений.
Взято из Фейсбука Ольги:
«Контроль над ИИ тривиален.
Кому сейчас страшнее всего?
Упёртым Редукционистам (люди, которые считают, что сложное сводится к простому и высшее к низшему. Исповедуют принцип, согласно которому сложные явления могут быть полностью объяснены с помощью законов, свойственных явлениям более простым)
Они совершенно потерялись в этом новом мире нейросетевого ИИ и машин, которые понимают...
Как всякие растерянные люди, они тут же обратили взор к пророкам Апокалипсиса. Новая мантра которых - Самосовершенствующийся ИИ захватывает мир.
Осмелюсь заметить, что разработчикам достаточно придерживаться нескольких базовых несложных правил, чтобы контролировать ИИ полностью:
1. Переключатель мощности.
В одном из рассказов обожаемого Роберта Шекли была история, как предприниматели купили у старьевщика забавную машину по производству некоей материи, которая создавала ее прямо из энергии пространства и не требовала затрат на комплектующие. Рассудив, что полученное однозначно больше чем ничего и какую-то копеечку они по-любому заработают, ребята нажали кнопку "ВКЛ", и только потом обнаружили, что рычага "Выкл." нет ...
Я это к тому, что если вы строите SkyNet без кнопки выключения, вы заслуживаете Апокалипсис.
2. Строго ограниченная функциональность.
Стоит задача - управлять комбайном и собирать кукурузу - выполняет. Сменили культуру на рожь, смените подсистему. Не делайте универсального всезнающего монстра.
3. Перекрыть доступа к источникам.
Например, современные Als - это не LISP-облака, где данные и код одинаковы. Возьмите за правило - выпущена версия продукта, она неизменна до следующей версии.
4. Механизмы "понимания" в современных нейронных системах, должны быть полностью отделены от механизмов "рассуждения".
Нам нужен Искусственный Помощник Машиниста "понимающий" полностью все происходящее на дороге и выполняющий разрешенные сценарием действия. Но нам не нужен "Искусственный" шофер, рассуждающий:
" А имеет ли смысл в принципе сегодня выезжать из гаража?"
"Рассуждения" сами по себе не возникают. Не приписывайте этому процессу ничего мистического. Как запрограммируем, так и будет.
5. Полный кураторский контроль за процессом обучения нейронных систем.
Если дать очень приличному нейронному алгоритму свободно шарить в Интернете, типа - информация лишней не бывает, то он в какой-то момент обнаружит "Майн Кампф" и Вам прийдется срочно воспользоваться рычагом "Выкл", если Вы конечно не забыли его запрограммировать, см.п.1.
6. Ну и последнее, очевидное.
Даже в пароксизме прикольного изобретательства не приделывайте к многофункциональному ИИ всяких дополнительных устройств, которые вы подсмотрели в игрe Mortal Kombat или в школьных сражениях роботов. Мы вот не разрешаем на комбайны с Cognitive Agro Pilot мастырить огнемёты. Мало ли чего....»