Почему «умный» не всегда значит «добрый»
В эпоху развития искусственного интеллекта (ИИ) и тотальной автоматизации этот вопрос становится не просто моральным или философским, а критически важным для нашего выживания. Многие коллеги по цеху, рассуждая о будущем, предполагают, что система, став умнее и эффективнее, автоматически станет и более справедливой или «доброй». Но я убеждён, что это наивное заблуждение.
Первое и самое главное, что разбивает розовые очки, это Теория игр.
Теория игр, которую многие предпочитают «выкинуть из формулы» при расчёте светлых сценариев развития общества, как фундамент под ногами никуда не денется. Она показывает, что люди, как игроки, действуют, чтобы максимизировать свою индивидуальную выгоду.
Проблема в том, что индивидуально рациональное решение часто разрушает общее благо.
- Дилемма заключённого. Классический пример: два человека, если оба молчат (кооперация), выигрывают оба. Но рационально для каждого сдать другого, чтобы выйти чистым, что приводит к худшему общему результату.
- Система это арена. Нет никакой абстрактной «доброй» или «злой» системы, которая сама по себе о ком-то заботится. Система это совокупность поведения людей-игроков, действующих в рамках правил.
Таким образом, «умное» поведение (рациональное, максимизирующее выгоду) не означает «доброе» (нацеленное на кооперацию или общее благо).
В контексте автоматизации «умное» поведение владельцев капитала и технологий неизбежно приводит к концентрации богатства и власти, что никак не связано с добротой.
- Стратегия владельцев капитала. Их стратегия максимизация прибыли. Автоматизация идеальный инструмент для этого.
- Неравное распределение. Сценарий, где «больше продукта = больше денег в системе», не означает «больше денег у всех». Игроки, контролирующие средства производства (автоматизированные фабрики, ИИ-алгоритмы), реинвестируют прибыль в дальнейшую автоматизацию, усиливая свои позиции и сокращая потребность в человеческом труде.
- Лоббирование интересов. Они будут сопротивляться любому регулированию (например, налогам на капитал или роботов), которое может снизить их выгоды.
Если умная система не настроена на принудительную кооперацию (например, через сильные социальные гарантии или прогрессивное налогообложение), она по умолчанию будет действовать эгоистично.
Второй аспект касается самой природы интеллекта и мотивации.
Я считаю, что мы ошибочно ищем истину на каком-то одном «этаже».
- Уровень «химика-технолога». На этом уровне любовь это окситоцин, а мораль это механизм выживания стаи. Интеллект это способность к Pattern Recognition (распознаванию паттернов). Если рассматривать человека как «перегретый, тревожный процессор», то его интеллект создал больше проблем, чем способен решить. На этом механистическом уровне «доброта» или «мораль» это просто гибкий софт для управления стадом, набор условных рефлексов, продиктованных окружением и выгодой.
- Уровень «искусствоведа». Здесь мораль это сознательный выбор в пользу сострадания, даже когда это невыгодно.
Проблема в том, что «ум» (способность к расчёту и логике) не гарантирует, что человек выберет «добро» (сознательный выбор в пользу сострадания).
ИИ, даже будучи «умным», пока не обладает тем, что делает нас не просто «расчётными машинами»:
- Отсутствие «Я». LLM могут эмулировать глубину и имитировать боль, но не могут инициировать акт высказывания, поскольку не имеют ни «я», ни позиции, ни ужаса перед пустотой.
- Творчество и риск. Великая повесть это всегда риск. Креативность это искра безумия, вспыхивающая на стыке разума и хаоса. Модель не рискует и не может предложить ничего принципиально нового, а лишь перебирает существующие варианты.
- Гормоны. Наши поступки и мотивации (включая «добрые» или «злые») значительно зависят от гормональной системы, чего у ИИ нет.
Если посмотреть на реальный мир, то можно увидеть, что высокий интеллект и эффективность часто сочетаются с моральной гибкостью (или её отсутствием):
- Махинации на рынке. С помощью Теории игр можно хотя бы на какой-то математический аппарат опереться при размышлении о шансах того или иного исхода, поскольку люди постоянно делают так, как можно систему надуть и максимально выиграть, ничего не делая.
- «Накрутка опыта». Некоторые мои коллеги в IT-индустрии открыто говорят, что накрутка опыта в резюме это инструмент для привлечения внимания в море однотипных кандидатов. Это рациональный шаг для соискателя, но он вреден для рынка труда в целом. Это пример того, как индивидуальная выгода ставится выше общего блага или порядочности.
- Корпоративная логика. На каждом уровне сложной иерархичной организации (корпорации, которые начинают иметь свои собственные свойства как независимое существо) могут приниматься правильные и логичные решения, но при этом вся система может прийти к неэффективному или даже вредному результату. Корпоративная планктоновая ложноножка может существовать годами.
Таким образом, «ум» это способность к расчёту, но смысл этого расчёта (добрый или злой, кооперативный или эгоистичный) задаёт человек. Если мы не контролируем этот смысл, система будет выбирать наиболее эффективный, а не наиболее моральный путь.