Всё ещё сравниваете документы вручную? А могли бы доверить это искусственному интеллекту

Продолжу знакомить сообщество vc.ru с прелестями и возможностями применения искусственного интеллекта в работе с документами. Пару постов назад я разбирал кейс по умному поиску штампов на документах. А в этом материале хочу осветить еще один интересный кейс – как перестать сверять версии документов вручную и доверить это искусственному интеллекту.

К нам обратился клиент, который столкнулся с проблемой: из-за того, что сотрудники договорного отдела вручную сверяли версии документов, процесс согласования затягивался, и компания рисковала потерять деньги.

Рассмотрим ситуацию подробно.

Решить проблему можно, выделив отдельного сотрудника на операцию по сверке. Но тогда придется увеличивать фонд оплаты труда, создавать рабочее место, настраивать процессы и т.д. Правда, и в этом случае не будет гарантии, что сотрудник не утомится и не сделает ошибку.

Наша команда по развитию AI-продуктов Directum обсудила с клиентом особенности ситуации, и вместе мы пришли к выводу, что нужно выбрать инновационный подход и передать сравнение документов искусственному интеллекту.

Кто-то скажет, что Word уже давно умеет сравнивать документы, и я соглашусь. Но Word не умеет сравнивать документы разного формата, например, текстовый .doc и скан в .pdf. А именно это было ключевым требованием клиента.

В общем, мы подобрали несколько инструментов для интеллектуального сравнения документов и запустили пилотный проект.

В первую очередь нужно было проверить, насколько качественно извлекается текстовый слой при сравнении документов. Мы взяли существующую модель из набора интеллектуальных сервисов Directum Ario. Не дорабатывая и не настраивая её, провели тестовое сравнение нескольких десятков документов. С учетом того, что мы не совершали лишних действий, результат получился хороший. Но общий показатель качества всё равно нас не удовлетворил 😀

Почему нам не понравилось качество сравнения?

Во-первых, верхний и нижний колонтитул попадали в текстовый слой, и это снижало итоговое качество сверки:

Во-вторых, в начале каждой страницы повторялись шапки таблиц:

Также было непонятно, какой документ из двух считать эталоном (первоначальной версией) и как сравнивать штампы и наличие подписей.

В общем, итоги первой итерации нашу команду и клиента не удовлетворили, и мы запланировали работы по улучшению.

1. Исключили использование колонтитулов. Для этого добавили правила и зоны по текстовому слою. В итоге качество сравнения выросло на 14%.

2. Над таблицами пришлось попотеть. Сложно было понять бизнес-потребность, так как в рабочей группе клиента были те, для кого важна шапка в длинных таблицах, и те, для кого ее наличие необязательно. В итоге пришли к соглашению: будем обрабатывать и передавать на сравнение только первое упоминание шапки в таблице, а на последующих страницах не учитывать ее и соответственно не извлекать из нее данные. В итоге качество сравнения улучшилось еще на 7%.

В процессе тестирования появилась гипотеза – некоторые сотрудники случайно могут сравнить совершенно разные документы. В итоге мы настроили так, чтобы при сравнении разных документов сервис отказывался это делать и выдавал уведомление «Данные документы абсолютно разные и не могут быть корректно сравнены».

Итогом наших работ по улучшению качества сравнения остались довольны клиент и команда.

1. Исходный документ находится в базе данных, пользователям доступны метаданные (текстовый слой и реквизиты) с его содержимым.

2. Новый документ, поступающий от контрагента, проходит процесс извлечения текстового слоя и классификации. Метаданные извлекаются из содержимого.

3. Теперь у двух сущностей есть метаданные для сравнения. Первый текст накладывается на второй.

4. В результате сравнения пользователь видит:

Применив наши стандартные модели сравнения к кейсу клиента, мы решили его задачу. В доказательство привожу метрики:

Для того чтобы оценить эффект, можно взять часовую ставку специалиста. По данным сервиса zarplan.com, в среднем, зарплата юриста по России – 59 тыс. рублей. Следовательно, при 168-часовом рабочем месяце часовая ставка специалиста – 351 рубль. Исходя из полученных данных и зная, как долго может занимать процедура по сверке документов, мы получаем:

И эти расчеты можно применить к любой рутинной операции.

В заключение хочу отметить, что сейчас сравнение документов — это полностью коробочное решение в варианте поставки Directum RX Intelligence. Сразу после установки вам уже доступен весь функционал для сравнения официальных писем, договоров, дополнительных соглашений, актов и прочих документов. Подробнее можно узнать по ссылке.

Если данная задача для вас актуальна, и вы видите в нашем подходе решение, свяжитесь со мной любым удобным способом.