IDP для бизнеса: какую пользу компаниям приносит технология распознавания символов

IDP (Intelligent Document Processing) широко применяется для автоматизированной обработки документов и других источников данных — надписей, этикеток, номеров, рукописного текста и т. д. Рассказываем, что именно влияет на качество распознавания и какие преимущества эта технология приносит бизнесу.

Технологию оптического распознавания символов (OCR) можно сравнить с человеческим восприятием текста. С помощью органов зрения мы находим и выделяем в контексте нужные элементы, а затем сопоставляем с имеющимися знаниями. Если выделенный элемент, например слово, нам известен, то мы можем его правильно интерпретировать. В противном случае для полного понимания потребуются дополнительные инструменты (например, словарь). У программного продукта есть собственные «органы зрения» и хранилище знаний, при помощи которых он совершает схожие действия для поиска, распознавания и обработки различного вида информации.

IDP позволяет сократить ручную обработку входящих данных из различных источников, поскольку не просто распознают и извлекают информацию, но также классифицируют, маршрутизируют документы и передают сведения в различные конечные информационные системы.

Ключевая причина, по которой компании внедряют IDP-продукты, — необходимость существенно ускорить ручные трудоемкие процессы по распознаванию, выверке и внесению данных в различные информационные системы (соответственно, и сократить расходы на эту работу). Наиболее яркий пример, когда в бухгалтерии специалисты ежедневно переносят данных с бумажных документов или из документов, полученных в личном кабинете операторов ЭДО, в учетную программу, сравнивают номенклатуру, проверяют цены и т. д. Также очевидна польза для HR-департамента — IDP помогает им не только извлекать данные из документов соискателей, но и автоматически проверять комплектность пакета документов.

При этом возможности такой технологии выходят за рамки простой автоматизации процесса ручного ввода данных, позволяя решать более сложные задачи. Вот лишь небольшой перечень примеров:

Таким образом IDP позволяет автоматизировать работу юридической службы, бухгалтерии, департаментов логистики и кадров, а также инженерных подразделений.

Для понимания принципов работы IDP рассмотрим типовой сценарий, когда в организацию приходит PDF-файл — большой пакет документов, содержащий тексты, изображения, таблицы, печати и т. д. Каждый документ из этого файла необходимо распознать, классифицировать, в соответствии со сценарием извлечь из него информацию и разместить ее в системе.

Современные IDP-платформы способны распознавать символы с точностью близкой к 100%, но при условии, что изображение не имеет шумов, перекосов и т.п. В реальной жизни документы могут содержать дефекты. Поэтому первое, что делает система, получив исходный файл, — находит в изображении трудночитаемые элементы и пытается нормализовать их: повернуть, кадрировать, увеличить резкость и т. д.

Далее, если это текстовый документ, система распознает его целиком, то есть получает полный материал, пригодный для последующего контентного поиска. После этого в извлеченном тексте ищутся ключевые атрибуты (типы документов, входящий/исходящий номер, юрлица и др.), необходимые для быстрого поиска документа в архиве и применения фильтров.

На следующем этапе IDP-система трансформирует полученные данные в формат, необходимый для их передачи в системы — например, электронного документооборота или бухгалтерского учета, CRM.

Наряду с этим важна способность IDP информировать пользователя о проделанной работе. Например, в продуктах SL Soft реализованы функции сравнения двух документов (чаще всего, договоров), представленных в разных форматах (скажем, PDF и DOCX), а также автоматической проверки на наличие пунктов, содержащих заранее определенные риски и оговорки. Система выполняет задачу и отсылает пользователю письмо с необходимыми пометками в файлах.

Современные системы IDP могут работать опираясь на разные принципы, в том числе на детектирование области поиска целевой информации на изображении с помощью ML-моделей, а значит их нужно предварительно обучить. Длительность этого процесса и объем обучающей выборки зависят от задач заказчика. Например, если компании необходимо распознавать достаточно простые, структурированные документы, как паспорта или СНИЛС, достаточно выборки из 50-100 объектов. Оператор выполняет их разметку (выделяет значимые области, в которых располагаются символы для распознавания) непосредственно в графическом интерфейсе системы примерно за час-полтора, и приблизительно столько же учится модель (на CPU). После этого производится тестирование, и через день-два компания запускает систему в продуктивную эксплуатацию.

Если мы говорим о более сложных документах, например договорах, для обучения может применяться разметка не изображения, а уже распознанного текста. В наших продуктах мы используем для обработки таких документов преднастроенную LLM (большую языковую модель). Запросы к модели формируются в виде промптов и ставятся на поток.

Перед внедрением инструмента IDP компании важно понять, насколько он окажется для нее эффективным. Существуют объективные предпосылки для автоматизации того или иного бизнес-процесса. Например, когда сотрудники завалены рутинными задачами, перерабатывают, отказываются от выходных, отпусков и т. д. Или, если квалифицированного, высокооплачиваемого сотрудника нужно разгрузить от типовых задач без найма дополнительного персонала.

Самая простая оценка эффективности IDP — сравнение затрат на внедрение и поддержку решения с оплатой того количества человеко-часов, которые система сэкономит. Кроме того, следует принимать во внимание выгоду, которую может дать само ускорение автоматизируемого процесса (особенно это актуально при обработке заявок на страховки, кредиты и т.д.). При этом следует учитывать, что цифровой инструмент может трудиться в режиме 24 на 7, способен одновременно обрабатывать множество документов и не допускает ошибок, связанных с человеческим фактором.