AI . Владение сложными комплексами знаний

В статье представлены рекомендации для формирования культуры владения сложными комплексами знаний, адаптированные под AI.

AI, как феномен, оказался мощным катализатором прогресса. Сейчас AI проходит фазу взросления, модели становятся надежнее, адекватнее, и через несколько лет основным препятствием на пути эффективной эксплуатации AI будут не её детские болезни, а низкое качество и культура организации знаний в компании. AI, как и человек, никогда не сможет хорошо выполнить задачу с низким качеством постановки или построить решение на знаниях, которых нет, которые врут, которые надежно зарыты или распылены.

Культурно организованные, качественные комплексы знаний являются фундаментальным и обязательным условием для успешного применения AI. Бизнес, который поймет, что вклад в культуру знаний = эффективное применение AI, сможет перейти к тотальному применению AI и сверхэффективной автоматизации.

Связывание является одним из самых полезных для потребителей принципов. Именно связывание позволяет сформировать полноценный граф знаний, преобразующий свалку в систему.

Чтобы AI видела и понимала зависимости знаний в огромном комплексе, необходимо образовать связи ...

Каждый документ должен иметь:

Граф знаний не ограничивается связыванием документов, в некоторых случаях нужно связывать знания более детально. Например, в документе Функциональные требования, по которому создается программа, каждое требование должно иметь уникальный код, а программные блоки (крупные и мелкие) и даже некоторые операции должны сопровождаться кодами требований, на основании которых они появились.

Применяется к знаниям, специфицирующим объект (система, сервис, модуль и т.д.). Объектное структурирование знаний выполняется в полном соответствии с принципами декомпозиции объекта. Структурной единицей является документ, представляющий компонент любого уровня. Глубина декомпозиции определяется требованием к уровню владения знаниями, при котором не происходит потеря возможности воспроизводить решения, принятые ранее. Структура объекта, выраженная связями документов, позволяет качественно улучшить возможность ориентироваться в его конструктивном аспекте, это особенно ценно для новых потребителей и AI.

Аспектное структурирование позволяет представить свалку знаний набором аспектов и субаспектов. Применяется к знаниям внутри документа. Тщательность выделения аспектов является важным качеством, которое делает комплекс знаний удобным.

Структура документа будет такой:

Форматирование знаний осуществляется с помощью шаблонов. Шаблон является мощным средством упаковки знаний. Для AI шаблоны действуют как схемы данных, они задают ожидаемую структуру, типы информации и обязательные моменты, что позволяет более надёжно интерпретировать контент.

Шаблоны дают такие преимущества:

Проблема: длинные документы неудобно читать, в них неудобно искать информацию, по ним неудобно разрабатывать, их неудобно исправлять, их версионирование избыточно нагружает систему.

Фрагментирование – это вынесение особо объемных и переиспользуемых аспектов в отдельные документы. Что это дает?

Рекомендуется использовать метку (символ или цвет) для визуального отличия документа-компонента от документа-фрагмента, если такая неоднозначность возникнет в пространстве иерархии.

В графе знаний какого-либо артефакта можно выделить две части: специфицирующую и фактическую (например, задачи в Jira). Из-за фактической части полный граф со временем может стать очень большим, что неизбежно приведет к проблемам его обработки (время, стоимость, ограничение контекстного окна и пр.). Поэтому все знания, специфицирующие артефакт, его контекст и состояния, указанные в фактической части, должны быть перенесены в специфицирующую часть.

Если при разработке программ специалисты уточняют требования и не сохраняют новые знания в источник, то владение артефактом будет прервано, так как код перестанет объясняться требованиями, а создание независимых тестов станет принципиально невозможным.

Вопрос ... Какой уровень детализации знаний необходим, чтобы владение решением (системой, сервисом, продуктом, инфраструктурой) не прерывалось?

Ответ ... Уровень детализации знаний должен гарантировать воспроизведение любого действующего решения.

Представим сухой технический текст, где в предложении может быть сразу несколько требований, например – "Микросервис должен быть отказоустойчивым, высокодоступным и поддерживать нагрузку не менее 100 запросов в секунду". Это плохой текст для AI, так как некоторые требования выражены всего одним словом. Дело в том, что одно слово не обладает достаточной лексической массой, поэтому требование получит мало внимания и может быть игнорировано. Стало быть ...

Любое утверждение должно быть выражено минимум одним предложением, а лучше двумя.
В некоторой степени исключением могут быть маркированные списки (они получают больше внимания).

Пример ... Высокая доступность: Микросервис должен обеспечивать доступ к своему API 99.99% времени. Максимальное время простоя 1 минута.

Есть случаи, когда текст составлен не очень удачно:

Во всех этих случаях рекомендуется применять парафраз или пояснение.
Переделывать оригинальный текст не нужно.

Пример ... Система использует асимметричное шифрование RS256 для подписи JWT (AUTH_JWT).

Внутри документов рекомендуется давать определение не только аббревиатурам, но и ключевым терминам. Если этого не сделать, то ожидайте, что AI может не угадать ситуативную коннотацию термина, заложенную автором.

Дополнительно можно реализовать механизм контекстного дополнения документа понятиями, найденными через ссылки в документе (при компиляции промпта). Это не отменит глоссарий, но минимизирует его благодаря включению принципа DRY.

Фразы типа "см. выше", "как указано ранее", "в соседнем разделе", "там" теряют смысл при фрагментации и RAG-поиске. AI обрабатывает тексты чанками, а на дейктических ссылках цепочка суждений рвется.

Замените грубые и относительные отсылки на абсолютные.

Есть еще несколько полезных, но трудоемких и/или обезображивающих документ техник. Адаптировать контент под AI можно и нужно, но затруднять восприятие документа человеком – недопустимо. Возможно, в будущем появятся теневые документы, насквозь переразмеченные под AI, ну а пока будем ограничиваться малым.