Интервью Ильи Суцкевера: конец эпохи масштабирования и новые направления

Слушал вчера новое интервью Ильи Суцкевера. Он, конечно, не настолько поэтичен как Андрей, но при этом поделился кое-чем интересным. Одна из ключевых мыслей интервью в том, что scaling era is over — что не значит, что скейлинг больше не нужен, а значит что дальше абсолютно понятно что делать и более-менее понятен потолок текущих систем. Это, очевидно, десятки триллионов долларов ВВП и почие радости, но с точки зрения цели достижения AGI дело за новыми направлениями исследований: RL, self-play, multi-agent. Все то же самое, о чем говорил Андрей, но Илья на удивление был неконкретен в своих заявлениях и постоянно ссылался на неких "людей в твиттере".

Отдельная интересная идея про аналогию эмоций и решений. Как известно, люди принимают решения на основе эмоций. Как Илья сказал в подкасте, человек, у которого удалена часть мозга, отвечающая за эмоции, может часами пытаться решить какой носок одеть. Так работает психика: мы оцениваем _будущую_ эмоцию от принятия того или иного решения и эта оценка является более важным фактором, чем любые рациональные размышления. Ничего подобного у LLM нет, но при этом нет абсолютно никаких причин, чтобы у AI не появилось подобной механики - интуиции.

Подписывайтесь на Telegram e/acc.