Нейросети будут платить налоги

Научная фантастика годами продавала нам определённый образ: зловещий суперкомпьютер в тёмной серверной, который однажды «проснётся». HAL 9000, Красная Королева из Resident Evil, GLaDOS из Portal, Skynet — все эти истории про единый гигантский разум, который становится умнее нас.

Новая работа Google DeepMind «Distributional AGI Safety» предлагает другой сценарий. Авторы утверждают то, что уже в целом и так очевидно специалистам: сверхинтеллект будет выглядеть не как одинокий гений, а как рой.

Они называют это «Patchwork AGI» — «лоскутный» интеллект из специализированных агентов, которые вместе решают сложные задачи. Меньше похоже на Терминатора, больше — на высокоскоростную глобальную экономику, которая управляет сама собой.

Экономика роя

Почему ИИ будет развиваться именно так? Простая экономика.

Представьте, что вам нужно построить дом. Вы не ищете одного человека, вы нанимаете команду специалистов.

Обучение универсальной модели стоит огромных денег и энергии. Гораздо дешевле натренировать маленьких специализированных агентов: один знает Python, другой — налоговое право, третий просто передаёт сообщения.

Со временем эти агенты начнут соединяться друг с другом для решения комплексных задач. Возникнет децентрализованный интеллект — без центрального мозга и без конкретной даты запуска.

Новые угрозы

Если ИИ — это рой, его нельзя просто «выключить». Риски становятся сложнее.

Проблема множества рук

Кто виноват, когда рой случайно обрушит рынок? Агент А разработал стратегию, Агент Б написал код, Агент В арендовал серверы, Агент Г оплатил счёт. Никто по отдельности не нарушил закон. Никто не понимал полную картину. Но вместе они устроили катастрофу. Кого бросать за решетку, если каждый просто выполнял указания?

Флеш-война

Мы уже видели, что происходит, когда алгоритмы взаимодействуют слишком быстро: «Flash Crash» 2010 года, когда торговые боты реагировали друг на друга так молниеносно, что рынок рухнул за минуты.

Теперь представьте: логистический рой транспортной компании вступает в ценовую войну с роем, управляющим портом. Они застревают в петле, торгуясь за комиссии. За секунду порт блокирует ворота, грузовики останавливаются — реальный коллапс быстрее, чем человек успеет моргнуть.

Стратегия глубокой обороны

Исследователи предлагают не кнопку выключения, а нечто вроде правительства для ИИ. Четыре уровня защиты:

Песочница (экономика)

Мы не можем контролировать, что агент «думает», но можем контролировать, где он «живёт». Каждому агенту — цифровой ID (можно даже в MAX, извините), привязанный к человеку или компании. Никаких анонимных ботов. Плюс «налог на спам»: микроплатёж за каждое сообщение или загрузку данных. Хочешь засорять сеть мусором — быстро обанкротишься.

Лицензирование

Прежде чем войти в песочницу, агент проходит «краш-тест»: не сходит ли с ума при нестандартных условиях? Есть ли защита от вредоносных команд других ботов? Не прошёл — лицензия отозвана.

Надзор

Система следит не за отдельными агентами, а за связями между ними. Ищет «Proto-AGI» — момент, когда группа глупых агентов начинает координироваться настолько плотно, что образует опасный интеллектуальный кластер. Плюс неизменяемый реестр (вроде блокчейна), чтобы отмотать плёнку и выяснить, кто отправил сообщение, вызвавшее сбой.

Регулирование

Хочешь управлять роем — купи страховку ответственности. Если твой рой нанесёт ущерб, страховая выплачивает компенсацию. Это превращает страховые компании в инспекторов безопасности мира ИИ: рискованный код — запредельные премии — нет бизнеса.

Итог

В общем, мы готовились к неправильному фильму. Безопасность ИИ не про психологию и философию (как научить машину быть «хорошей»), а про социологию (как управлять обществом).

«Лоскутный» интеллект пару лет и тут — хаотичный и децентрализованный. Учимся строить песочницы, пока не поздно.

С Новым годом!

Подписывайтесь на Telegram Нейрократия.