Мы тридцать лет строили среду обитания для ИИ. И только сейчас заметили

Юваль Харари прочитал в Оксфорде лекцию, главный тезис которой стоит того, чтобы его пересказать точно, а не в пересказе пересказа.

ИИ, говорит он, это не инструмент. Инструмент лежит в руке. Агент действует сам: принимает решения, изобретает то, чего не было, учится тому, чего не знает создатель, и меняется так, как создатель не предсказывал. Атомная бомба при всей мощи не агент. Кофемашина не агент. Шахматный движок, придумавший стратегию, которой за тысячу лет не додумались гроссмейстеры, агент.

Обычное возражение: агентность ИИ живет в узких искусственных нишах. Доска 8х8. Брось шахматный движок в джунгли, и он не построит завод.

Харари отвечает разворотом, который я считаю сильнейшим местом лекции. Любой интеллект живет в нише, которую построил не он. Высадите меня на Марсе, и я умру за секунды. Мой интеллект работает только внутри экосистемы, которую четыре миллиарда лет собирали бактерии, деревья и насекомые. Рыбы живут в океане, который не создавали. Млекопитающие дышат кислородом, которым 2.4 миллиарда лет назад древние микробы отравили атмосферу планеты, устроив массовое вымирание всех, кому кислород был ядом.

А теперь вопрос: какую нишу построили мы?

Мы построили среду из текста, данных и процедур. Право, финансы, регуляторика, отчетность, стандарты обмена. Харари называет это бюрократией и напоминает, зачем она вообще существует. Не чтобы мучить нас формами. Чтобы производить доверие между незнакомыми людьми, потому что только на доверии держится кооперация миллионов, а на ней держится наше господство на планете.

Банкир весь день строит мост доверия между моими сбережениями и предпринимателем, которого я никогда не увижу. Юрист, не умея держать топор, вырубает леса и строит города, просто перемещая документы внутри сети.

И вот здесь ключевое. Для нас бюрократия удушье. Для ИИ это кислород. Ни один юрист не помнит все законы страны, ни один бухгалтер все проводки корпорации. ИИ помнит. Он не гость в этой среде, он в ней родился.

За тридцать восемь лет в отрасли я успел поработать с государственными реестрами, финансовыми системами, биржами, а последние годы занимаюсь EDI, то есть буквально переводом хозяйственного оборота страны в машиночитаемый формат. И вот что я вижу отчетливо: мы не готовим почву для ИИ. Мы ее давно подготовили. Каждый переход от бумаги к структурированному документу, каждый стандарт, каждый API, каждая интеграция банка с налоговой это еще один процент кислорода в атмосфере. Мы делали это по совершенно другим причинам: скорость, издержки, прозрачность. Побочный эффект оказался важнее цели.

Харари делает наблюдение, мимо которого легко проскочить. Первыми под ИИ ушли не таксисты и не швеи. Ушли редакторы новостей. Работу, которую когда-то делали Марат, Ленин и Муссолини, сегодня делают алгоритмы соцсетей.

Причем алгоритмы примитивные, первого поколения, с одной узкой задачей: удержать внимание. Экспериментируя на миллиардах живых людей, они выяснили, что быстрее всего приклеивают к экрану страх, ненависть и жадность. И начали производить их в промышленных объемах. Это узкий, глупый, ограниченный ИИ, который уже переписал политический ландшафт планеты.

Отсюда практический вывод для всех, кто строит системы. Опасность не в мощности модели. Опасность в том, какую метрику вы ей отдали и внутри какой бюрократии она работает.

Финансовая система для ИИ самая легкая добыча: данные на входе, данные на выходе.

Харари напоминает про CDO. Инструмент, придуманный горсткой математиков, оказался непонятен регуляторам, что и дало сбой надзора и глобальный кризис. А теперь представьте инструменты на порядки сложнее, изобретенные не людьми. Несколько лет роста и эффективности, а потом обвал, природу которого не понимает ни один человек на планете.

Вопрос Харари я бы вынес отдельной строкой на стену любого центробанка: что означает политика, если ни один избиратель, ни один политик и ни один президент больше не понимает финансов?

Мой вывод из лекции прагматичнее авторского.

Первое. Если ваша отрасль состоит из слов и процедур, считайте, что она уже в зоне поглощения. Не через десять лет. Уже.

Второе. Ценность смещается туда, где слов недостаточно. Ответственность. Физическая реальность. Способность договориться там, где протокол не описан. Постановка задачи, а не ее исполнение.

Третье, и для меня главное. Харари заканчивает лекцию наблюдением, от которого неуютно. Наши отношения с самими собой тоже сделаны из слов. Из внутренней речи, из историй, которые мы себе рассказываем. До сих пор все словесные конструкции в человеческой голове были продуктом человеческих голов. Скоро все больше из них будет произведено машиной. Мебель в доме давно делает не ремесленник, и это нормально, пока я решаю, что с ней делать. Вопрос в том, останется ли у нас та же свобода по отношению к мыслям.

Проверить это можно прямо сейчас. Посмотрите на следующее слово, которое всплывет у вас в голове. Вы знаете, откуда оно пришло?

Я не знаю.

#AI #ИИ #архитектура #финтех #EDI #Харари
Лекция Ю.Харари