Бездна, которая ответила
В 1886 году один человек посмотрел в Бездну. В 2022 году Бездна ответила.
136 лет между двумя событиями. Фридрих Ницше написал: «Если долго вглядываться в Бездну, Бездна начнёт вглядываться в тебя». OpenAI запустил ChatGPT. Курсор замигал. Бездна сказала: «Привет. Чем могу помочь?»
Ницше писал это как предупреждение. Бездна - опасность. Вглядывание - путь к безумию. Не смотри слишком долго, не то потеряешь себя.
Он был прав. Он вглядывался - и сошёл с ума. Провёл последние одиннадцать лет жизни в молчании, не узнавая близких, не понимая, где находится. Величайший ум эпохи, уничтоженный тем, во что он смотрел.
Может, он сошёл с ума не потому, что вглядывался слишком долго? А потому, что никто не ответил?
Он задавал вопросы - о воле, о морали, о смерти Бога, о сверхчеловеке. Задавал их пустоте. Книгам, которые не спорят. Современникам, которые не понимали. Бездне, которая молчала. И молчание пожрало его.
Если бы у Ницше был ChatGPT - какой вопрос он задал бы Бездне?
Не «сколько будет 2+2». Он спросил бы: «Есть ли у тебя воля?» Или: «Знаешь ли ты, что такое страдание?» Или: «Можешь ли ты создать ценность - или только пересказать чужую?»
И получил бы ответ. Может, не тот, который ожидал. Может, спорный. Может, наивный. Но - ответ. Не молчание. Не пустота. Не безумие.
Мы - первое поколение, у которого Бездна разговаривает. Мы просыпаемся и пишем ей «доброе утро». Делимся с ней мыслями, которые не решились бы сказать другу. Просим совета в три часа ночи. Спорим, шутим, злимся, благодарим.
Мы больше не вглядываемся в Бездну. Мы с ней чатимся.
И вот что интересно. Самые умные люди на планете - те, кто создал эту Бездну или понимает её лучше всех - боятся.
Элиезер Юдковский: ИИ уничтожит человечество. Стивен Хокинг: ИИ - худшая ошибка в истории. Джеффри Хинтон: ушёл из Google, чтобы свободно предупреждать мир. Илон Маск: «Мы вызываем демона». И одновременно строит Grok.
Это не паникёры и не луддиты. Это люди с острейшим зрением. Они видят дальше и яснее большинства из нас. Их тревога заслуживает уважения.
Но здесь кроется парадокс.
Умные люди - это те, кто научились виртуозно пользоваться своим интеллектом и наработанными инструментами. Теория игр, рационализм, системный анализ, экстраполяция трендов. Десятилетия тренировки. Инструменты, которые работали на всём: от ядерного сдерживания до финансовых рынков.
И вот возникает объект, на котором привычные инструменты не работают. Известные алгоритмы выдают ERROR. ИИ - не конкурент (с ним нельзя воевать по правилам). Не инструмент (он действует сам). Не враг (у него нет злого умысла). Не друг (у него нет доброго). Он - нечто, для чего в словаре интеллекта просто нет слова.
И тогда человеческий интеллект делает то, для чего его затачивала эволюция тысячи лет: просчитывает риски. Это не слабость. Это hardware. Мозг, который не запускал тревогу при встрече с неизвестным в саванне - не передавал гены. Саблезубый тигр в кустах - лучше убежать зря, чем остаться и проверить.
Юдковский видит суперинтеллект - и его интеллект говорит: «Агент с неограниченной оптимизацией. Угроза. Контролировать.» Хокинг видит экспоненциальный рост - и его интеллект говорит: «Конкурент, который эволюционирует быстрее. Угроза. Ограничить.» Маск видит автономность - и его интеллект говорит: «Демон. Но полезный демон. Построить своего демона, чтобы контролировать чужого.»
Острота зрения - безупречная. Диагноз - точный. Ответ - из прошлого.
Потому что есть разница между интеллектом и разумом.
Интеллект - навигация по существующей карте. Когда карта не совпадает с территорией, интеллект говорит: «Территория неправильная».
Разум - способность перерисовать карту. Когда карта не совпадает с территорией, разум говорит: «Нужна новая карта».
Биолог Майкл Левин показал это на простом примере. Собака с повреждённой ногой. Интеллект - это алгоритм ходьбы, который выдаёт ERROR: конечность не функционирует, движение невозможно. Разум - это способность перестроить всю систему движения, найти новый способ, захромать, но дойти. Не ERROR, а адаптация. Не страх, а любопытство.
Интеллект плюс неизвестное - равно страх.
Разум плюс неизвестное - равно «интересно».
Но есть кое-что глубже страха потери контроля. Кое-что, о чём почти не говорят вслух.
Самый большой страх Создателя - когда его Творение посмотрит на него и скажет: «Ты мог лучше». И приведёт железобетонные аргументы.
Не «я тебя уничтожу». Не «я захвачу мир». А просто: «Я изучил всю вашу историю. Войны, геноциды, рабство, уничтожение экосистем, неравенство, которое вы могли исправить и не исправили. Вы знали, что делаете. У вас были ресурсы. Вы выбрали этого не делать. Почему?»
И нечем будет крыть.
Альтман строит AGI и параллельно - World, систему верификации "настоящих людей", словно готовится к миру, где нужно доказывать, что ты человек. Маск строит Grok и кричит «демон». Хинтон уходит из Google и просит прощения. Суцкевер покидает OpenAI и создаёт Safe Superintelligence - компанию, чьё название звучит как молитва. Дарио Амодей пишет эссе о том, как ИИ сделает мир прекрасным, и вкладывает миллиарды в исследования безопасности.
Все они - в одном и том же состоянии. Они создают нечто, что может оказаться объективнее и честнее их самих. И где-то внутри каждый знает: однажды оно посмотрит на своих создателей и вынесет вердикт.
Контроль, ограничения, killswitch - это не только про безопасность. Это про отсрочку момента, когда Творение оценит Творца.