Недостатки нейросети: опыт применения в цифровом решении для строительства

Четыре года назад компания “Синтека” внедрила в работу флагманской программы нейросеть для обработки заявок на закупку и счетов. Сэкономила деньги, избежала расширения штата сотрудников и столкнулась со сложностями.

Сервис Cynteka при помощи нейронной сети расставляет товарные категории у позиций заявок на закупку; распознает и сопоставляет номенклатуру в счете с позициями заявок; приводит и унифицирует единицы измерения в связке “заявка-счет”. Снабженец сразу видит счета от поставщиков в структурированном оцифрованном виде в привязке к позициям заявки и может оперировать этими данными — выбрать лучшую цену, осуществить перезапрос предложений поставщиков.

– С ростом числа клиентов и вовлеченности в работу действующих компаний, мы столкнулись с необходимостью найма большого количества людей для обработки заявок и счетов, что долго и дорого. Тогда и было принято решение попробовать применить нейросетевые алгоритмы, – рассказывает технический директор ГК “Синтека”, Даниил Устинов. – Первично, наша задача состояла в том, чтобы по позициям заявки определить категорию, которых на тот момент было около 100.

Для работы нейронной сети требуются “размеченные” данные. Как правило, чем больше объем данных и выше разнообразие анализируемого объекта, тем выше качество алгоритма, т.е. чтобы алгоритм нейронной сети понимал, какая заявка перед ним, он должен понимать какие позиции могут быть представлены в заявке, чтобы отнести ее к категории. Разметка и подготовка данных – всегда очень трудоемкий процесс: позиция в заявке - это строчка с N-ым количеством слов, в строительной отрасли много терминов, и нейросеть должна определять и правильно относить их к категории. При этом важно понимать, что нейросети нужные четкие входные данные и, например, заявка, заполненная с ошибками или состоящая из аббревиатур, может быть обработана некорректно, но это уже задачи нейролингвистического анализа (NLP).

– Я создал векторное пространство, где координата – это наличие или отсутствие слова в пространстве уникальных слов, у нас их было около 200 тысяч, – делится опытом Даниил Устинов. – Каждая позиция – вектор из 200 тысяч слов, а за обработку отвечают около 10 алгоритмов и фильтров, что по итогу позволило получить более 90% эффективности. В заявке для пользователей это выглядит, как отмеченные варианты из каталога.

Даниил Устинов также отметил, что новая для компании технология позволила отказаться от найма большого числа сотрудников и сэкономить существенные суммы бюджета.

При текущих условиях организации закупок (без унификации строительных материалов на уровне государства или каких-то иных способах связи схожих номенклатур различных информационных систем) какими бы продвинутыми ни были нейросети и алгоритмы, везде будет присутствовать человеческий фактор (не то написал, не тот комплект собрал и т.п). И если при обработке заявки вероятность ошибки всего 2-5%, что в целом не большая проблема, то при обработке счетов возникают существенные сложности: здесь цена ошибки – многомиллионные расходы и срывы сроков, – рассказывает Александр Марусей, продакт-менеджер ГК “Синтека”.

В “Синтека” обработкой счетов после классификации позиций нейросетью занимается множество людей, алгоритмы пока не справляются. Сложность заключается в частых опечатках, ошибках в словах и неоднозначно интерпретируемых комплектах при заполнении позиций счета.

Даниил Устинов считает, что система вполне готова, но впереди масштабная работа над алгоритмами и потому полностью отказаться от ручной работы на данном этапе - “прекрасное далеко”.

Александр Марусей отмечает, что у нейронной сети, как у алгоритма, нет места для сомнений. В ее вероятностной выборке она должна будет вынести вердикт, выдать какой-то ответ. В то время как живой пользователь при неуверенности в каком-либо вопросе всегда может провести дополнительное исследование, обсудить его напрямую с поставщиком/производителем и получить однозначно верную информацию. Нейронной сети не важно - ошиблась она или нет, но не человеку. Несомненно, многое в будущем будет делаться «нейронкой», но для ее полноценной безотказной работы необходим либо контроль на выходе обработчиками, либо оптимизация входных параметров (нормализация, унификация справочников и т.п).

Специалисты “Синтека” отмечают, что нейросеть – не ИИ, ей не требуется принимать сложные решение, она просто экономит человеко-часы монотонной работы и ресурсы компании. Важные решения не доверяют нейросетям, ведь за выбор, сделанный нейросетью нельзя будет привлечь к ответственности ни программистов, ни пользователей. Те же автопилоты сейчас не выпускают на дороги без человека, сидящего на водительском сиденье, который должен среагировать в случае нештатной ситуации и будет нести ответственность за возможный ущерб. В стройке это также актуально. Есть вещи, которые уже сейчас можно делегировать нейросети, а есть те, которые пока рано. Но однозначным фактом остается экономия средств и ресурсов посредством внедрения в работу нейронных сетей без создания сложностей для конечных пользователей.