Ошибки пользователей ИИ моделей и как их избежать

Главная ошибка людей сегодня — это то, что им кажется, что ИИ модели недостаточно умны. В реальности, модели имеют сверхчеловеческий интеллект и способности в большинстве задач, но ни люди, ни другие системы не умеют нормально планировать процессы под выполнение с помощью LLM.

Если LLM

голюцинирувает
думает не в ту сторону
не справляется с долгосрочными задачами
достает не актуальный контекст,

то в 99% это проблема и ошибка пользователя модели и системы оркестрации / харнеса, которые выстроены вокруг модели. Каким бы гениальным не был бы ИИ, ему очень сложно побороть кривые руки пользователя.

Решение заключается в том, чтобы

дать модели язык декомпозиции (рекурсия, циклы, планы как код, спеки процессов)
расширить пространство действий - не только вызов инструментов, а полноценные программы (RLM-подход)
тренировать через RL именно навык разбиения сложных задач на небольшие куски, а не решения задачи из серии "выведи мой бизнес на рынок Китая, не делай ошибок"
строить харнесы и оркестраторы с пачкой и топологией субагентов, где модель управляет своей собственной оргструктурой

Подписывайтесь на Telegram e/acc.