Мультиагентная оптимизация — мы не заметили, как оказались на пороге максимальной эффективности бизнеса

Берем машину времени, переносимся в начало 2023 года. Какую новость тогда обсуждали везде и всюду? Правильно, ChatGPT и его возможности. На фоне этого ажиотажа почти незамеченным осталось другое любопытное событие. Именно о нём мы расскажем в статье ниже.

Nvidia, американская компания, ведущий мировой производитель высокопроизводительных графических процессоров, использовала LLM — большую языковую модель (GPT-4) для создания агента Voyager, способного самообучаться игре в Minecraft. Никто, кроме разве что профильных специалистов, не придал новости какого-то значения. Если честно, мы тоже прошли мимо неё — казалось, что это одно из многочисленных исследований, которое делаются ради забавы на фоне шумихи вокруг какой-нибудь технологии.

Прошло чуть больше года, и появилась еще одна новость про Minecraft — в этот раз от компании Altera. Она создала невероятную симуляцию деятельности целой тысячи уникальных программных агентов в виде игровых персонажей, каждый из которых управлялся собственной нейросетью. В результате симуляции агенты построили собственный город, развили собственную экономику, культуру, и (как будто им этого было мало!) и создали собственную «религию»!

Конечно, СМИ очень часто всё преувеличивают и иногда интерпретируют всё не так, как есть на самом деле. Но новость о симуляции показалась тогда крайне любопытной, и мы решили сами во всем разобраться.

Прочитали, изучили, вникли. Сделали вывод — мы оказались на пороге чего-то действительно инновационного.

Чтобы обучить агента, нужно придумать для него реалистичную среду — компьютерную симуляцию определенной ситуации и процессов. Игра Minecraft — это тоже симуляция, но в ней все гораздо сложнее. Вообще, Minecraft — один из лучших симуляторов реального мира. В этой игре можно добывать ресурсы, создавать с их помощью различные инструменты, и уже с ними создавать новые ресурсы, новые инструменты и даже сложные механизмы. И главное — благодаря сложной динамике и логике игры Minecraft становится симулятором, в котором можно создавать другие симуляции. Скажем, реалистичные экосистемы или работающие прототипы компьютерных процессоров.

Создать агента в симуляторе — это одно, а создать агента в симуляторе, в котором у него есть возможность создавать собственные симуляции, — это совсем другое. В первом случае агент ищет наилучший алгоритм решения задач, во втором — способы совершенствования поиска таких алгоритмов.

Агент Voyager, созданный в Nvidia, доказывает: сделать программу, которая может непрерывно исследовать окружающую среду, приобретать новые навыки и совершать открытия без вмешательства человека, вполне реально. А симуляция в исследовании Altera показала, что совместная работа таких агентов может приводить к максимальной эффективности. Делаем вывод: если агенты в игре смогли самостоятельно прийти к наиболее эффективной форме существования, то и в реальной жизни это возможно.

Использование совместной работы разных агентов — довольно старая идея, которая проистекает из таких древних наук как кибернетика и синергетика. Сейчас она известна как мультиагентная оптимизация — невероятно мощный и в тоже время крайне непопулярный метод. Причина медленного распространения кроется в трудоемкости и медлительности первого этапа оптимизации — создании агентов.

Формирование агентов выполняется с помощью онтологий — полного описания свойств, возможностей и способов взаимодействия агентов с окружающей средой и друг с другом. Но главное — необходимо описывать, к чему каждый агент стремится. Например, в гражданской авиации, таким агентом может быть самолет с указанием количества мест, потреблением топлива, дальностью полета и т.д. Как самостоятельный агент самолет может стремиться к тому, чтобы как можно больше летать, сжигать как можно меньше керосина и перевозить как можно больше людей.

В качестве агента способна выступать даже такая абстрактная сущность, как расписание полетов. Этот агент может стремиться к тому, чтобы быть безопасным, гибким, прибыльным и удобным для пассажиров.

Без участия и вовлечения множества специалистов создать сложного агента невозможно. Но исследование команды из Nvidia показало: благодаря большим языковым моделям, таким как ChatGPT, процесс создания агентов сильно упрощается. Простыми словами: достаточно объяснить модели, кто она и чего она хочет.

Аэропорты, экипажи, пассажиры, системы управления доходностью — все, что есть в гражданской авиации, может быть представлено в виде агентов, которые обладают своими целями, знаниями и возможностями. Поскольку все эти агенты взаимодействуют друг с другом, то их стремление к максимальному удовлетворению своих личных интересов приводит к оптимальному поведению всей системы. А оптимизация сложных систем — это философский камень оптимизации бизнеса.

И это не просто кликбейтный заголовок. Сейчас единственный способ оптимизации сложных систем подразумевает, что вы берете сложную задачу, разбиваете ее на подзадачи и оптимизируйте их по отдельности. Однако из-за такого дробления сильно снижается эффективность — лучшее решение одной подзадачи иногда оказывается провальным начальным условием для другой. Например, идеальное расписание полетов может привести к сильному увеличению затрат на организацию работы летного состава.

Сколько потенциальной прибыли теряется из-за такого подхода? Вероятнее всего, потери исчисляются десятками процентов. Это могут быть 10%, а могут и все 100%. Звучит немного абсурдно. Казалось бы, если все это правда, то почему же никто до сих пор не придумал, как положить эти деньги себе в карман?К сожалению, границы наших компетенций действительно существуют, и они-то нас и ограничивают. Например, в 70-х годах авиакомпании ежегодно перевозили миллионы пустых кресел, и это считалось нормой. Точнее, все понимали, что это ненормально и что все это надо как-то оптимизировать, но никто не знал, как это сделать. Но потом появились системы динамического ценообразования, количество пустых кресел сократилось в разы, а в карманы наиболее расторопных авиакомпаний потекли десятки процентов дополнительной прибыли.

Простые модели кооперативного взаимодействия авиакомпаний показывают: увеличение прибыли на 20-30% в текущих реалиях более чем возможно. Но что будет при кооперации всех участников трэвел-отрасли? Авиакомпании могут управлять пассажиропотоками с помощью цен на билеты, но на пассажиропотоки влияют аэропорты, отели, туристические агенства, агенства по продаже авиабилетов, метапоисковики.

Перевалит ли дополнительная прибыль за 100%, если решить задачу по оптимизации совместной работы всех перечисленных участников? Вполне возможно. Но главное — это то, что благодаря мультиагентной оптимизации решение задачи, которое раньше казалось фантастикой, теперь стало принципиально возможным. Это первый шаг, но за ним обязательно последуют и другие.

Мультиагентная оптимизация — это не просто очередной тренд, а фундаментальный сдвиг в подходе к управлению сложными системами. Благодаря большим языковым моделям и глубокому обучению с подкреплением создание агентов упростилось, а их возможности стали практически безграничными. Сейчас большинство ученых в области ИИ уверены, что будущее — за многоагентным подходом. В ближайшие годы мы обязательно увидим, как эти технологии начнут менять авиацию, логистику, энергетику и другие отрасли. И те, кто успеет адаптироваться, окажутся в авангарде новой экономической реальности.