Природа ИИ: мы знаем, как он работает. Но понимаем ли, что он делает?

Формально это так. Модель получает контекст, оценивает вероятности возможных следующих токенов, после чего механизм декодирования выбирает один из них, добавляет его к контексту.

Процесс повторяется.

Следующий токен. Ещё один. Ещё.

И из этой последовательности возникает текст.

Обычно на этом месте спор заканчивается. Механизм назван — значит, всё понятно.

Мне кажется, именно здесь начинается самое интересное.

Если мы знаем, как выбирается следующий токен, понимаем ли мы природу результата, который в итоге получаем?

Не уверен.

Вот тест, который мне кажется честнее любых рассуждений о «понимании».

На входе — фраза и несколько фотографий.

Фраза: «Слёт строителей в Нижнем Новгороде». Фотографии — стенды, образцы материалов, люди у экспозиций.

На выходе — обычное описание. «На выставке представлены строительные материалы, инструменты и оборудование». Ничего удивительного, модель справилась с задачей.

Но можно получить совсем другое.

Текст, в котором фотографии становятся поводом для разговора о системах строительных материалов. О совместимости компонентов. О технической документации. О демонстрации оснастки. О практическом выборе материалов владельцем дома.

Ни в исходной фразе, ни в фотографиях этого текста нет. Ни в каком виде. Ни как черновика, ни как подсказки.

Тем не менее он появляется.

Можно сказать: это просто генерация. Но это ничего не объясняет. Вопрос как раз в том, каким образом последовательность выбора токенов превращается в структуру, которую человек читает как осмысленную мысль.

И вот здесь — главный критерий, который я предлагаю вместо спора о понимании.

Не «сколько инструкций должен написать пользователь». А наоборот: насколько слабым может быть вход, чтобы система всё равно выдала определённый результат?

Если человеку нужно расписать, что увидеть, что выделить, какие связи построить, для кого писать, какой вывод сделать — значит, интеллектуальная работа осталась на человеке. Модель просто оформила её.

Если достаточно фразы и нескольких фотографий — значит, значительная часть работы уже вынесена из пользователя в систему. Человек остаётся. Но его роль сместилась: из того, кто делает, — в того, кто спроектировал то, что делает.

И это уже можно проверять. Менять модель. Менять вход. Менять структуру контекста. Смотреть не на красивый единичный результат, а на устойчивость.

Здесь начинается инженерия. Не в попытке заставить модель казаться умнее, а в создании системы, где её реальные свойства используются точно.

Есть неприятный вывод, к которому я пришёл, когда начал разбирать такие кейсы.

Результат работы с нейросетью нельзя автоматически приписывать самой нейросети.

Работают три уровня: человек → продукт → модель.

Человек задаёт намерение. Продукт определяет, как это намерение превращается в рабочий контекст. Модель превращает контекст в последовательность токенов.

Когда говорят «модель поняла», на самом деле чаще всего работает продукт — способ организации контекста. Именно поэтому одна и та же модель в разных продуктах выглядит совершенно по-разному.

Продукт при этом не обязательно сложный интерфейс. Иногда продукт — это просто способ организации работы.

И пока эти три уровня смешаны в одном разговоре, вопрос «понимает ли ИИ» остаётся без ответа. Не потому что он сложный. А потому что он задан не к тому уровню.

Когда результат получается хорошим, человек быстро переходит на антропоморфный язык.

«Модель поняла».

«Она увидела закономерность».

«Она решила, что здесь главное».

Это удобный язык. Он создаёт иллюзию объяснения. Мы называем происходящее человеческим словом — и думаем, что поняли механизм.

Но фундаментальный механизм никуда не исчез. Следующий токен по-прежнему выбирается из вероятностного распределения, сформированного контекстом.

Тогда откуда берётся сложность?

У меня нет полного ответа. Но есть подозрение, что вопрос сформулирован не там.

Есть вещь, которая меня в этом интересует больше всего.

Мы можем научиться получать устойчивые результаты раньше, чем научимся объяснять, почему именно они возникают.

Это не уникально для науки и техники. Люди умели управлять огнём задолго до того, как поняли природу горения. Умели лечить болезни до теории микроорганизмов.

Но с нейросетями это становится особенно заметно. Потому что результат может значительно превосходить по структуре то, что было на входе. Не по объёму. По структуре.

И каждый раз возникает соблазн спросить: в чём секрет?

Иногда ответ простой: модель продолжает последовательность вероятных токенов.

Но это ответ на вопрос «как работает генератор». Это не ответ на вопрос, почему при определённых условиях из генератора возникает именно такая сложная форма.

Мне всё меньше интересен вопрос «понимает ли ИИ».

Он слишком быстро превращается в спор о значении слова «понимание».

Практичнее другое: какие условия позволяют механизму, выбирающему следующий токен, стабильно производить результаты, которые человек оценивает как осмысленные, полезные и соответствующие намерению?

Это можно проверять. Это можно менять. Это можно проектировать.

И здесь, на мой взгляд, проходит граница, которую пока никто не перешёл.

Мы умеем получать от модели хорошие ответы. Мы знаем, как обучаются языковые модели. Мы знаем множество механизмов, которые участвуют в их работе.

Но когда из нескольких слов и фотографий возникает текст с новой для пользователя структурой рассуждения — вопрос остаётся.

Где именно заканчивается механизм модели и начинается система, которая создала условия для такого результата?

Возможно, это один из главных вопросов следующего этапа прикладного ИИ.

Не потому, что мы ничего не знаем о нейросетях.

А наоборот. Потому что мы уже знаем достаточно, чтобы увидеть, сколько ещё не объяснено.