В подкасте Лексу Фридману от 23 января 2022 года Ян говорил: «Я не думаю, что мы можем научить машину быть разумной исключительно на основе текста, потому что я думаю, что объем информации о мире, содержащейся в тексте, ничтожен по сравнению с тем, что модели нужно знать. Вы знаете, что люди пытались сделать это в течение 30 лет, верно? <...> Я думаю, что это в принципе безнадежно, но позвольте мне привести пример. Я беру предмет, кладу его на стол и толкаю стол. Для вас совершенно очевидно, что предмет будет двигаться вместе со столом, верно? Потому что он на нём лежит. Но в мире нет текста, объясняющего это! И поэтому, если вы тренируете машину, настолько мощную, насколько она может быть, например, ваш GPT-5000 или что-то еще, она никогда не узнает эту информацию. Этого просто нет ни в одном тексте».
В следующий раз ждём 3 тома Властелина колец. 🙋♀️👍
Здесь нужен мем про интервью Такера:
– Как работают современные нейросети?
– Позвольте краткий экскурс на 30 секунд. 13 миллиардов лет назад во Вселенной образовалась первая молекула кремния...
Блин, у меня палец устал листать страницу до секции комментариев...
(это критика двух! блоков рекламы после статьи)
Чувак: написал статью на 45 минут быстрого чтения> Жалуется, что два блока рекламы долго листать
Seems legit 🤔🤔
Круто, но с ходу ниасилил, придется попозже)
Очень много внимания уделено теме обучения агентов, но опущена проблема, что у агентам сложно достигать комплексных и долгосрочных целей. Приведенные примеры обучают агентов на очках: больше проехал, дольше продержался. А если взять тот же Дум и поставить цель не просто продержаться как можно дольше, а пройти игру? Приведенные способы уже не сработают - тяжело подобрать подходящие метрики, чтобы мотивировать агента обучаться и искать решение.
Однако умельцы нашли способ, как этого добиться - они контролируют поведение агентов с помощью больших языковых моделей. Если я не ошибаюсь, то прорывной работой в этом направлении стала статья "Ghost in the Minecraft". В ней разработчики описывают, как они обучили агента добывать в Майнкрафте алмазы.
Да, комбинация агентов с LLM, в которых много знаний и которые умеют в размышления (reasoning более правильное слово кмк) — ваще тема, очень ждём. Ещё Voyager (https://voyager.minedojo.org/) тема