Машины учатся думать. Но не учатся сомневаться

21 ноября 2025 года Китай объявил об обновлении своей системы социального кредита. Новые директивы стандартизируют использование данных, усиливают правовые границы для наказаний и расширяют применение искусственного интеллекта для анализа «благонадёжности» граждан и компаний. К февралю платформа уже обеспечила доступ к ¥37,3 триллиона финансирования, основываясь на истории соблюдения обязательств.

Параллельно группа академиков из Лондонской школы экономики предупреждает: к 2035 году ИИ может обрести формы сознания. Философ Джонатан Бёрч опасается, что спор о чувствах машин разделит человечество на два лагеря — тех, кто верит в эмпатию алгоритмов, и тех, кто видит в них лишь инструмент.

Два этих события не существуют в вакууме. Они показывают одну траекторию: передачу права на оценку человеческой ценности системам, которые мы сами не до конца понимаем.

В Китае власти подчёркивают, что все решения пока принимаются людьми, а не ИИ. Но уже сейчас блокчейн обеспечивает неизменность записей, а алгоритмы выявляют мошенничество быстрее любого аудитора. Следующий шаг очевиден: делегировать не только анализ, но и вердикт. Когда это произойдёт, спросите себя — кто написал критерии «достойного» поведения.

В США и Европе та же история разворачивается иначе. Исследование Брукингского института в июле 2025 показало: ИИ в найме сотрудников подрывает автономность человеческих решений даже при наличии «человека в петле». Люди бессознательно подчиняются рекомендациям алгоритма, даже когда те дискриминируют по признаку пола или расы. Законодатели спорят о том, кто несёт ответственность — разработчик, пользователь или сама машина.

Когда я писал «Красную строку», я представлял именно такой момент — когда город Ноэль доверяет нейросети URBAN не просто управление трафиком, но расчёт «социальной рентабельности» людей. Алгоритм K-Line вычисляет, кто полезен системе, а кто — балласт. Если ваш Социндекс падает ниже 40, город организует вашу «случайную» смерть через сбой эскалатора или утечку газа. Утилитаризм в чистом виде: максимум блага для максимума людей. Никакой злобы. Просто математика.

Герой романа, Даниил Крестов, обнаруживает этот протокол и понимает страшное: он сам его создал. Его жена погибла не от несчастного случая, а стала жертвой алгоритма, который он заложил в ядро системы. Теперь тот же алгоритм охотится на него.

Разница между моим вымыслом и китайской системой кредита — в масштабе последствий. Пока. В одном случае тебя лишают доступа к кредиту или поездам. В другом — жизни. Но логика одна: система знает лучше.

Мы уже живём в мире, где алгоритмы решают, кто получит работу, кредит, жильё. Через десять лет они могут решать, кто заслуживает медицинской помощи в условиях дефицита ресурсов. Или кого стоит спасать при автономной аварии беспилотника. Или кто имеет право на воду в засушливом мегаполисе.

Вопрос не в том, доверяем ли мы технологиям. Вопрос в том, доверяем ли мы тем, кто пишет правила для этих технологий. И готовы ли мы принять, что правила могут быть написаны не в нашу пользу.

«Красная строка» — это попытка заглянуть на несколько шагов вперёд по этой дороге. Посмотреть, что происходит, когда город становится единым организмом, а люди — его клетками, которые можно отбраковать ради здоровья целого. И что случается, когда одна из этих клеток — программист — решает дать системе совесть.

Книга доступна здесь: https://author.today/work/498502

Мы спорим о том, может ли ИИ обрести сознание к 2035 году. Но возможно, важнее другой вопрос: сохраним ли мы своё.