Галлюцинации нейросетей, хайп пройдет?

Ян Лекун говорит, что у больших языковых моделей (LLM) нет интуиции, потому что они обучаются исключительно тексту. Они могут правильно ответить на вопросы, если смогут извлечь ответ на аналогичный вопрос из своей обширной ассоциативной памяти. Но они могут получить ответ совершенно неверный.

В нашем сознании есть ментальные модели мира, которые позволяют нам моделировать то, что произойдет. Это то, что дает нам здравый смысл. У языковых моделей этого нет.

Возникает интересный вопрос - в текстах лишь небольшая часть человеческих знаний, остальное в образах/ментальных моделях. И действительно, большой пласт знаний накопленных с эволюцией не требует явного использования/записи, но служит базой на основе которой текстовая информация становится осмысленной.

Языковые модели не имеют (пока) логического анализа (привет Пролог), они лишь предсказывают что будет дальше в предложении. То есть на большом количестве обучающих текстов должны быть все возможные варианты. Если в запросе будет какое-нибудь редкое или уникальное сочетание или вообще сложная логика, то все в ответе будет - "галлюцинация".

CEO OpenAI говорит что они сделали вещь, которая глубоко несовершенна, и мы не смогли понять, как ее монетизировать. Поэтому монетизировать должны другие.

Но маркетинг, такой маркетинг. Даже "глубоко" несовершенную вещь можно пиарить. Может цель и не в этом, например можно предположить что этот хайп для встряски индустрии, не одни, так другие добьются успеха?

Вот, @sama говорит про middle layer, доводить до конечного потребителя продукт должны другие. Для этого как раз есть fine tuning, только за это хотят денег, причем немалых. Каждый запрос к API стоит доли цента (в зависимости от количества слов/токенов) вроде норм, но на большом масштабе (количестве запросов) это будут огромные деньги. Вы будете должны чарджить своих кастомеров еще больше и это на deeply imperfect технологии?

Хайп помогает всем. Все кто сейчас умеет в AI получил дополнительный буст в свои паруса. Надолго ли? Кто знает, все развивается циклами. Однозначно появится еще 1000 новых сервисов по генерации чего угодно по текстовому описанию. До какого-либо думающего или универсального AI еще далеко, даже предпосылок никаких, текущий хайп не про это.

Многие аналитики говорят, что во время золотой лихорадки лучше продавать лопаты а не бежать искать золото. На первый взгляд разумный довод, но может случиться переизбыток лопат, когда много кто станет это делать.

Универсального рецепта нет, но есть универсальный подход комбинирования. Не фокус на одной нише (где сверхвысокая конкурения), а более уникальная комбинация из нескольких (конкуренция снижается).

В публикации a16z говорят, что профит от очередного AI-хайпа будет у компаний производителей железа (лопат), инфраструктуры.

Правильные инфраструктурные проекты всегда в плюсе, только горизонт планирования и вложения тут намного длиннее, цена ошибки соответственно.

Прикладные проекты нужно выпускать быстро и много чтобы найти, успеть в золой лихорадке.

Пост на английском, там больше ссылок и апдейтов.