Российские облачные интеллектуальные сервисы недооценивают. И зря

О том, как в условиях новой российской действительности «поживают» сервисы ИИ, я рассказал в интервью порталу TAdviser. Здесь опубликую сокращенную версию интервью, в которую вошли наиболее важные, на мой взгляд, вопросы и ответы.

— Есть ли в России системы распознавания, способные заменить решения на основе зарубежного ПО?

— Среди российских систем распознавания, которые находятся в Едином реестре отечественного ПО, могу назвать 5-7 достойных аналогов зарубежных решений. Среди них есть как лидеры рынка, так и стартапы. Все продукты хорошо распознают бухгалтерские первичные учетные документы, документы жестких форм типа паспортов, СНИЛС и прочих удостоверений личности. Но лишь немногие пока способны качественно извлекать данные из писем и другой входящей корреспонденции.

Не скрою, составить конкуренцию зарубежным вендорам, которые развивают системы распознавания с 80-х годов и обладают большими датасетами для машинного обучения, довольно сложно. Тем не менее, в России нарабатывается практика по замене такого ПО. Особенно активным импортозамещение иностранных систем распознавания стало в 2022 году.

— Насколько сложным был путь разработки интеллектуальных сервисов Directum?

— Предпосылки появления AI-решений в компании Directum были еще в 2015 году на проекте в одной из российских авиакомпаний, где мы делали обработку, извлечение данных и маршрутизацию платежных поручений с применением OCR-библиотеки Google Tesseract. Тогда же, в 2015-2016 годах, появилось несколько запросов от потенциальных клиентов. Стало понятно, что бизнес в России, пусть и выборочно, готов использовать ИИ в работе с документами.

Основная сложность, с которой сталкиваются все при разработке AI-решений, — это отсутствие датасетов для обучения. В России вообще с этим проблема. Но есть определенные подвижки. Как рассказал на конференции AI Journey 2022 вице-премьер РФ Дмитрий Чернышенко, в Госдуму уже внесли законопроект, который откроет доступ к данным, накопленным госучреждениями. Это поможет сформировать необходимые датасеты для обучения нейросетей.

— Как проходит процесс обучения интеллектуальных сервисов?

— В основе лежит Machine Learning – формирование у машины паттернов поведения человека. Для того чтобы обучить модели, нам нужно показать машине максимально репрезентативные примеры и сформировать у нее насмотренность.

Как это происходит на практике? Предположим, клиент хочет распознавать договоры. Чтобы научить интеллектуальные сервисы обрабатывать такие неформализованные документы, потребуется подготовить обучающую выборку. По опыту выполненных проектов, это минимум 400 примеров для неформализованных документов и 100-150 — для документов жестких форм. Дополнительно для тестирования можно взять еще 10% примеров.

Механика обучения следующая:

1. Загружаем 400 документов в определенную папку, ссылаемся на нее в сервисе классификации и запускаем обучение.
2. В фоновом режиме из документов извлекается текстовый слой, находятся часто повторяющиеся и, напротив, редко повторяющиеся слова, каждой группе присваивается вес.
   
3. После того как сервис классификации прогнал через себя 400 документов, формируется насмотренность.
   
4. Затем тестируем на 10% примеров от выборки и смотрим результат.
   
5. Сервис показывает, насколько качественно — в процентах — обученная модель готова идентифицировать новые документы этого типа. Если результат тестирования устраивает, двигаемся дальше. Если не устраивает – еще дообучаем, используя новые примеры.
   

После того как классификатор определит, что перед ним договор, сервис извлечения фактов должен выдать необходимые реквизиты. Для его обучения тоже используем Machine Learning. Предварительно с помощью внутренних инструментов AVIA размечаем нужные нам реквизиты в договорах из обучающей выборки. Выделяем реквизиты, называем их «Наименование организации», «Контрагент», «Сумма контракта» и т.д., сохраняем разметку и передаем в модель на обучение.

— Насколько эффективно интеллектуальные сервисы Directum распознают документы невысокого качества, например, ксерокопии и рукописные документы?

— Прежде чем ответить на этот вопрос, сделаю ремарку. Главное для технологии OCR — это качество скан-копии, возможность ее прочтения человеком. Если пользователь не может прочесть документ, разве можно ждать чего-то большего от машины?

На моей практике были кейсы, когда приходилось иметь дело с документами плохого качества. Например, были бумаги 40-50-х годов, напечатанные на машинке. В таких случаях сервисы искусственного интеллекта проводят предобработку исходных данных – корректируют положение, стабилизируют яркость, контраст, зачищают шумы. Благодаря этому достигается хороший процент распознавания. По нашему опыту, это 40-50% распознанного текста, а следовательно, и извлеченных реквизитов. Скорее всего, можно добиться лучших результатов, просто у нас еще не было подобных запросов.

Что касается интеллектуальных решений по распознаванию рукописных документов, на российском рынке сейчас их нет. По крайней мере, в реестре отечественного ПО подобных продуктов пока не зарегистрировано.

Зато есть разработки Сибирского федерального университета по распознаванию изображений рукописных букв русского алфавита, частные эксперименты по обработке рукописных текстов. Пока всё это на уровне исследований, в коммерческую реализацию это не ушло. А вот на зарубежном рынке решения по распознаванию рукописей уже давно есть – как платные, так и бесплатные.

Компания Directum тоже работает в этом направлении. Например, мы обучаем искусственный интеллект распознавать цифры, написанные от руки. Это актуально для писем, где номер и дата состоят из цифр, которые по-прежнему пишутся от руки. Сейчас мы находимся на стадии экспериментов, готовим модели и ищем желающих провести пилоты или тестирование.

Аналогичные предложения существуют и у многих коллег на рынке. Участия человека в верификации распознанных рукописных документов наша компания не скрывает, но, понимая тенденции и требования рынка, сейчас мы работаем над тем, чтобы переложить распознавание и рукописного текста полностью на плечи ИИ.

— Можете привести показатели эффективности интеллектуальных сервисов Directum на примере конкретных кейсов?

— Первый кейс – это обработка входящей корреспонденции. Если сегодня секретарь тратит в среднем 5 минут на регистрацию письма, то с применением умной системы распознавания можно сократить это время в два раза. Ускоряется и работа руководителя. Раньше он рассматривал письмо, выносил резолюцию либо согласовывал проект резолюции за 10-20 минут.

С приходом искусственного интеллекта многие шаги делаются без участия человека. Входящее письмо поступает в систему, обрабатывается с помощью AI-сервисов, классифицируется, из него извлекаются реквизиты, заполняется регистрационно-контрольная карточка. После этого на основании полученных данных определяется ответственный и готовится проект резолюции.

Руководитель, получив это письмо, видит контекст переписки, ссылки на предыдущие комментарии, предложенного исполнителя. Ему остается проверить результат работы сервисов искусственного интеллекта, при необходимости внести коррективы и отправить поручение. Только на работе с входящей корреспонденцией руководитель экономит до 30 минут в день. А стоимость обработки одного документа сокращается среднем в 2,5 раза – с 400 до 160 рублей.

Второй кейс – интеллектуальное сравнение версий договора. Когда от контрагента возвращается договор, важно проверить, не вносились ли в него изменения. Для этого сотрудник сравнивает исходный экземпляр, отправленный контрагенту, с полученным. Все согласятся, что вычитка документа – монотонная процедура, которая в среднем занимает 15-20 минут. Если за день через юриста проходит 15-20 договоров, глаз «замыливается», и есть риск пропустить несоответствие. Применение искусственного интеллекта помогает ускорить эту процедуру до 1-2 минут и исключить из нее человека.

Как это работает: AI-сервисы извлекают из договора текстовый слой и сравнивают его с текстовым слоем первой версии. Места, где изменились символы, подсвечиваются. Всё это происходит фоново, пока сотрудник выполняет другие задачи или обедает.

Еще один интересный кейс – проверка договора на риски. AI-сервисы извлекают текстовый слой, проводят семантический анализ и выявляют условия, которые может не пропустить юридический отдел, служба безопасности либо бухгалтерия. Также формируется аннотация о надежности контрагента. Это своего рода подсказка, с которой сотрудник работает дальше. Таким образом, искусственный интеллект сокращает время анализа документа в 2 раза.

Уже сейчас сервисы искусственного интеллекта способны на многое, в том числе они позволяют сэкономить время и деньги при обработке документов. Но впереди нас ждет еще больше сложных и интересных кейсов, поэтому в планах у Directum наращивать объемы «интеллектуализации» электронного документооборота.

Источник: www.tadviser.ru.