AI: Архитектура качества ИИ-автоматизаций

Эта статья будет интересна тем, кто уже умеет делать ИИ-агентов, но заинтересован в качестве их работы и в качестве ИИ-автоматизации в целом.

Концепция архитектуры качества предлагает переход от наивного взаимодействия с ИИ к культурной инженерной дисциплине, от случайного качества к гарантированному. Это новое направление, которое объединяет разные аспекты ИИ-автоматизации: стабильность и качество инференса, технологичность поддержки ИИ-решений, технологичность управления знаниями, удобство пользователей.

Инженерная дисциплина управления ИИ – Deterministic Prompt Engineering является одним из самых значимых инструментов качества. DPE даст вам солидный прирост исполнительности, стабильности и качества.

Суть этого аспекта в том, чтобы запретить ИИ выбирать способ решения задачи на свое усмотрение и заставить ИИ действовать в рамках прозрачной логической модели. Этот подход превращает декларативные промпты в императивные, опирающиеся на Deterministic Prompt Engineering. Императивная парадигма позволяет задавать правильную логику, обращать внимание на каждую инструкцию и требование, управлять нюансами поведения на низком детальном уровне и многое другое. Конечно, полностью избавиться от декларативной составляющей невозможно, но она может быть опущена так низко, что способ решения микрозадачи уже не будет влиять на общее качество решения.

Этот аспект дает вклад в качество за счет грамотной формализации задачи. Процессная модель императивного промпта в сложной задаче опирается на модель предметной онтологии, поэтому, прежде, чем переходить к реализации предметного процесса в промпте, рекомендуется выполнить следующее:

Обратите внимание, для качественного извлечения артефактов в сложных задачах важна правильная последовательность извлечения.

Хорошо формализованная модель задачи положительно скажется не только на качестве результата, но и на конструкции процессной части промпта.

Этот аспект связан с технологическим качеством промпта, суть в том, чтобы максимально очистить предметный каркас, сделав промпт консервативным артефактом. Для этого рекомендуется выделить в отдельные компоненты:

Все это повышает возможность переиспользовать промпт, повышает удобство A/B тестирования, снижает нагрузку на тестировщика, делает код промпта лаконичнее и технологичнее.

Это еще один аспект, связанный с качеством организации контроля результатов и взаимодействием с человеком. Суть аспекта в том, чтобы для когнитивно-сложных процессов предпочитать автоматизированное решение вместо автоматического. Автоматизированное решение позволяет контролировать промежуточные результаты, что значительно снижает ошибки и когнитивную нагрузку на человека в моменте. Кроме этого, работа с промежуточными результатами не сводится только к контролю результата; критика, подсказки, явные упущения, полезные опции, возможность выбора и т.д. дают отличную возможность атаковать сложную задачу с разных направлений и получать качественную и консистентную постановку. Такой подход приводит к радикальной минимизации макроциклов, общего времени разработки и расхода токенов.

Этот аспект связан с подготовкой документов к максимально качественному восприятию их со стороны ИИ. Вот некоторые активности в рамках этого направления:

Все это позволит упростить промпт, ускорить и удешевить обработку документа, сделать более точным извлечение принципиальных знаний. Однажды адаптированный документ становится точкой доверия для ИИ, теперь документ не нужно тщательно исследовать каждый раз. Его проще изменять и поддерживать актуальность с помощью ИИ.

Этот аспект связан с качеством владения знаниями за счёт специальных ИИ-инструментов. Принципы Document First, Specification-Driven Development + Базовые принципы являются идейной основой аспекта, а специальные промпты – инструменты для актуализации знаний и документов. В идеальном варианте люди не должны самостоятельно исправлять документы, знания не должны теряться, а качество владения знаниями должно достичь уровня, когда ИИ сможет пересоздать любую систему без ошибок и потери функциональности.

Архитектура качества не ограничивается аспектами, включенными мной в свод, есть и другие дисциплины, например, Quality Engineering for AI, связанные с контролем иных аспектов. Я выбрал именно эти, так как в них скрыт огромный потенциал.