Почему языковые модели все еще хуже людей

Последние несколько лет мы все с интересом наблюдаем за активным развитием технологий искусственного интеллекта, при этом особенно выделяются большие лингвистические модели (LLM). Они способны создавать контент по любому запросу пользователя, например, могут ответить на вопрос, поддержать беседу на произвольную тему, написать статью, выступить в роли партнера для мозгового штурма и многое другое. Сможет ли LLM заменить человека в ближайшем будущем? Разбираемся вместе с Андреем Никитиным, начальником отдела цифрового моделирования IBS.

На самом деле, перед моделью стоит задача спрогнозировать следующее слово, зная весь набор предыдущих слов. И она поразительно хорошо это делает, что позволяет пользователям получать довольно качественный контент на любой запрос. Поэтому неудивительно, что у пользователей часто создается впечатление, будто языковые модели гораздо умнее людей и, более того, что они в ближайшее время смогут нас заменить. Действительно ли это так?

C одной стороны, LLM обучены на огромных объемах текстовой информации, количество которой несоизмеримо больше, чем тот объем знаний, который способен изучить человек. Тем не менее большие языковые модели все еще хуже людей, потому что у них есть следующие проблемы:

Во-первых, несмотря на то, что обучение на огромном объеме информации кажется очевидным преимуществом LLM, в то же время это является их принципиальным ограничением. Так как все связи, которые LLM находит, основаны на контенте, созданном людьми, а значит, во многом повторяют мысли человека, а не создают новые. Это позволяет использовать LLM как мощный инструмент интеллектуального поиска, но не позволяет генерировать новую уникальную информацию.

Во-вторых, LLM периодически выдают некорректные ответы, вследствие чего могут дезинформировать пользователя. Например, в августе 2024 года в Великобритании грибники оказались в больнице из-за отравления ядовитыми грибами. Они собирали грибы, ориентируясь на советы и иллюстрации из книги, купленной на Amazon. Журналисты The Guardian провели расследование и выяснили, что есть целая серия книг, которые содержат недостоверную информацию, опасные для жизни рекомендации и написаны в неестественном литературном стиле, который не соответствует тематике. Оказалось, что эти книги были созданы с использованием ChatGPT и плохо учитывали специфику предметной области. Поэтому еще долго надежный контент сможет генерировать только эксперт в предметной области, это означает, что эксперты будут востребованы еще много лет.

В-третьих, LLM выдают поверхностные ответы, так как не могут полноценно агрегировать и обобщать информацию из разных источников и делать на основании нее экспертные выводы. Это значит, что они не смогут удовлетворить запросы пользователя, который хочет углубленно изучить какую-то тему. Поэтому качественный глубокий контент может быть создан только человеком.

В мае французский математик Ян Лекун, занимающийся исследованием ИИ, отметил, что системы ИИ, построенные на базе большой языковой модели, не смогут достичь уровня человеческого интеллекта. Как он подчеркнул, у них «очень ограниченное понимание логики, они не понимают реальный мир, не обладают постоянной памятью, не могут рассуждать в любом более-менее строгом определении этого слова и не могут иерархически планировать».

А ученые из Великобритании и Германии в своем совместном исследовании сделали вывод, что сегодня крупные LLM все еще не могут самостоятельно обучаться, принимать решения или приобретать навыки, не способны сравниться с человеческим интеллектом в части обработки и анализа информации.

По совокупности перечисленных факторов очевидно, что большие языковые модели на сегодняшний день еще во многом не достигают уровня людей и вряд ли смогут быть сопоставимы с человеческим интеллектом в ближайшее время.