Нейросимвольный ИИ - почему для медицины и права одной статистики мало

Многие считают, что чем больше данных скормить нейросети, тем меньше она будет ошибаться. И на первый взгляд логика работает - крупные модели действительно ошибаются реже мелких. Но у этой логики есть потолок. Модель, которая училась на статистических закономерностях, физически не может гарантировать логическую корректность вывода. Она выдаёт то, что статистически похоже на правильный ответ - а не то, что доказуемо верно.

Для простого чат-бота или генерации картинок это не проблема. Для медицинского заключения или юридического документа, понятное дело, проблема уже фундаментальная - там нужен не правдоподобный ответ, а проверяемый.

Чисто нейросетевая модель аппроксимирует закономерности, а не оперирует фактами. Механизм такой. Языковая модель генерирует следующий токен на основе вероятностного распределения, обученного на тексте, и у неё нет встроенного механизма отличить "я знаю это точно" от "это статистически похоже на правду". Следствие: модель с одинаковой уверенностью выдаст и реальный факт, и выдуманный, потому что для неё оба варианта - просто продолжение текста с высокой вероятностью.

Символьные системы устроены ровно наоборот. Они оперируют не вероятностями, а формальными правилами и логическим выводом - и поэтому не могут придумать факт, которого нет в базе знаний. Правда, у чистой символики есть своя обратная проблема: она не умеет работать с неструктурированным текстом или изображением без ручной разметки, а хрупкость правил делает её беспомощной в динамичной среде, где данные не укладываются в заранее заданные шаблоны.

Нейросимвольный подход берёт от каждой стороны то, что она умеет лучше. Нейросетевой слой обрабатывает неструктурированные данные - текст, изображения, речь - и превращает их в сущности и гипотезы. Символьный слой берёт эти сущности и прогоняет через формальные правила, проверяя логическую согласованность и выстраивая объяснимый вывод.

Одна из схем такой архитектуры - граф знаний плюс языковая модель плюс поиск по документам. Граф служит источником проверенной истины, языковая модель - посредником и генератором формулировок, а поиск связывает их в замкнутый цикл: система не просто отвечает, а сверяется с графом на каждом шаге. Структурированные знания в таком контуре переживают смену поколений самих моделей - обновляется языковая модель, а граф остаётся стабильным основанием, к которому привязан весь вывод.

К слову, для критичных областей это не только про точность. Символьный слой параллельно решает задачу объяснимости - систему можно спросить не только "что", но и "почему", и получить цепочку правил, а не постфактум-рационализацию, сгенерированную той же моделью, что выдала ответ.

Оговорка до вывода: нейросимвольные системы всё равно не самодостаточны. Ручная настройка правил и графа знаний - это инженерная работа, которая не масштабируется так же легко, как дообучение модели на новых данных. Хрупкость правил из чистого символьного ИИ никуда не девается - она просто переезжает на уровень поддержки графа знаний, и её приходится обслуживать вручную по мере того, как меняется предметная область.

Есть и практический разрыв внедрения. Облачные версии такой архитектуры быстро масштабируются, но зависят от внешней платформы, а локальный контур даёт полный контроль над данными, но требует инженерных ресурсов на поддержку - для регулируемых отраслей вроде медицины и права это часто решающий фактор при выборе.

Если задача - творческий текст, простой чат-бот или быстрая генерация без источника данных для проверки - чистая нейросеть справится не хуже и обойдётся дешевле. Если задача требует доказуемости решения перед регулятором, судом или врачебной комиссией - без символьного слоя, который умеет объяснить каждый шаг вывода, разговора с проверяющим просто не получится.