Как использовать генеративный искусственный интеллект юристу, преподавателю и РП: три кейса с хакатона
Всем привет! Напомню, мы с командой исследуем, дообучаем и тестируем локальные генеративные модели ИИ, а лучшие – встраиваем в систему Directum RX Intelligence. В ноябре у нас прошел хакатон, где наравне с нами участвовали представители компаний-партнеров. Общими усилиями мы апробировали еще несколько кейсов, как применять генеративный ИИ в бизнес-процессах. О том, что это за кейсы, какую ценность они несут бизнесу, сейчас расскажу.
Кейс 1. Юристу (и не только) на заметку: проверка полномочий из машиночитаемой доверенности (МЧД)
С 1 сентября 2023 года изменились правила подписания электронных документов сотрудниками организаций. Теперь каждый сотрудник, который имеет полномочие на подписание документов, должен получить сертификат физического лица и машиночитаемую доверенность. Как здесь может пригодиться генеративный ИИ?
При получении электронных документов от контрагента важно проверять права и обязанности указанного лица (подписанта), соответствуют ли они присланной доверенности. Для компаний, перешедших на МЧД, это действительно проблема, ведь таких проверок за день может быть несколько десятков, а то и сотен.
Мы с командой взяли в эксперимент 35 различных полномочий, проанализировали датасет и составили финальный промпт и перечень проверок. По доверенности проверяли следующие метаданные:
- головной документ, например, «к договорам услуг с драгоценными металлами»;
- группа документов, если указана группа документов без определенного документа;
- наименование контрагента;
- право на заключение;
- право подписи;
- ограничение по сумме договора.
В ходе коридорного тестирования проверили несколько LLM-моделей. В итоге качество поиска и сопоставления данных из доверенности и данных в документе составило от 73% до 88%. И это достаточно высокий показатель с учетом отсутствия дообучения и каких-либо «доработок напильником».
Отдельно провели работу над ошибками и зафиксировали те пункты, где генеративный ИИ ошибся. Например, он спутал понятия «Заключать» и «Подписывать». Можно понять, почему случилась путаница: право заключать распространяется только на договоры и соглашения, а право подписывать – на все документы (акты, счета и т.д.) либо на определенный перечень. И это важный юридический момент. Если заранее «на берегу» мы с заказчиком договоримся объединить эти понятия, то сможем повысить процент качества.
Кейс 2, который понравится ответственным за обучение: подготовка тестов для сотрудников
Сейчас всё чаще новых сотрудников обучают каким-то технологиям или продуктам. Особенно это распространено в промышленных и ИТ-компаниях. Один из партнеров Directum имеет свою платформу для тестирования компетенций сотрудников. В рамках хакатона генеративный ИИ помог создать обучающие тесты. И даже больше.
ГенИИ закрывает проблематику непредвзятости при подготовке, определении сложности теста (лирическое отступление: помню, еще в университете 10 лет назад мы высчитывали по модели Раша сложность тестов) и ускоряет сам процесс разработки теста.
Эффективность такого применения генеративного ИИ тоже понятна. Сокращается время на подготовку в разы. Как говорится, одна минута и тест готов.
В абсолютных цифрах коллеги получили качество подготовки теста на уровне 87%. Да, еще есть над чем работать, так как генеративный ИИ иногда выдает в формулировке вопроса сам ответ либо просто привносит что-то свое в вопрос/ответ. Чтобы поднять качество, коллеги пробуют сокращать выборку: «скармливают» искусственному интеллекту абзац или параграф текста и просят на их основе подготовить вопрос.
Кейс 3. Помощник РП, или Аналитика проектного управления
Последний кейс, тоже партнерский, касается анализа узких мест, рисков, просрочек и прочего в управлении проектами. Проблематика тоже понятна: у РП есть сроки, цели, этапы проекта, которые должны быть соблюдены, достигнуты, выполнены. Также у него есть команда, но зачастую нет помощника.
Генеративный ИИ может выступить как ассистент руководителя проектов и взять на себя многие рутинные задачи: анализ срыва сроков и узких мест, постановку задач, подготовку отчетов и протоколов по текущему статусу. По оценке команды, с появлением такого помощника эффективность работы РП повысится в разы.
Сейчас коллеги только в начале пути – собирают прототип, но уже несколько кейсов для проработки у них есть.
***
На этом небольшой обзор новых кейсов, которые мы с партнерами так или иначе успели проработать, подошел к концу. Если что-то из перечисленного вам откликнулось, напишите, обязательно обсудим, а может и сделаем с вами пилотный проект.