Сегодня прям неделя философии. Плотно общаюсь с разными людьми на тему проблематики агентского кодинга. Сейчас видятся важными две штуки.

1) Контекст. Ну тут уже прожужжали все уши. Контекста недостаточно, ах вот бы туда напихивать побольше и т.д. И я тут кое-что делаю.

2) Окно внимания (attention bottleneck). А вот это уже интереснее. Мало рассуждают в этом ключе. Заострю подробнее.

Есть такая метрика производительности ЛЛМ, как "точность поиска фактов". Дают длинный контекст и просят ответить на нечто, там упомянутое. Короче — просят найти иголку в стоге сена. И вот это некоторым образом коррелирует с тем, насколько нейронка умеет хорошо с контекстом работать.

А это другое.

Суть в том, что сетке дают задачу со все большим количеством критериев для выполнения. Или высокой внутренней связностью.

Например,

"Отвечай жирным шрифтом, каждый абзац начинай со смайлика, формат json..." и так N штук.

Или задачи на кодинг, где нужно учесть одновременно поведение 20 разных классов в монолитной архитектуре.

И вот тут прикол. Эта способность как-то с контекстом связана, но в общем-то не коррелирует. Достаточное количество правил начинает сбоить уже даже на очень коротких контекстах. И мы возвращаемся к тому, что сжатия контекстов мало, нужны какие-то хитрые методы выявления и распутывания взаимосвязей.

Интересно, что люди тоже не способы решать такие задачи в "один проход" и полагаются на итеративность и память. Работая при этом с ограниченным набором инструментов.

Моя личная интуиция говорит, что нейронки уже далеко за гранью гениальности именно в объемах обрабатываемого контекста, но на нижнем крае разумности относительно окна внимания и количества одновременно удерживаемых внутри себя понятий, и в данной проблематике лучшие люди их пока обходят.

Что ж, посмотрим, что нам предложит GPT5 😎

Подписывайтесь на Telegram Глеб про AI.