Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

Давно не делились успехами наших нейросеточек. Кажется, что последний день в 2022 году — подходящее время. Собрали фичи, которыми уже пользуются клиенты, а Ваня, наш дизайнер нарисовал, чтобы вы сразу могли представить как это работает.

Со штампами всегда было сложно. Потому что в большинстве своём это неунифицированные документы. У них разные поля, рукописный или печатный текст, разные места. Чтобы обучить детектор, нужна разметка, но структурировано разметить штампы, было почти нереально. Нашли решение там, где не искали — end to end модель. Как она работает мы и сами не понимаем. Шутка. Или нет.
Ваня, ML Engineer

Чтобы вы представили, почему это так важно, расскажем, как проверка паспортов проходит сейчас во многих компаниях. Допустим, что вы верификатор. Кроме переноса данных, вам нужно внимательно посмотреть на фото паспорта и решить: фотошоп или нет. Первый документ отсмотрели внимательно. Ничего странного не увидели. Десятый документ ещё сосредоточенно, но времени потратили больше. Тысячный паспорт уже на автомате. Глаза устали, спина болит. И так каждый день. Может быть, спустя время у вас появятся дополнительные инструменты, приложения и сайты. Но вероятность человеческой ошибки всё равно высокая.

Бывают случаи, когда отфотошопленный документ видно сразу. Над таким улыбаешься в первое время. А если работал профессионал и определить подделку можно только по шуму оригинальной фотографии и вставленных кусочков?

Нейросети не устают, взгляд не замыливается, не отвлекаются. Она видит, что паспорт отредактирован, когда человек не справляется. Мы проверяли. Иногда играем в игру, когда всей командой отгадываем «фрод или не фрод».

Нейросети стабильно выдают результаты на 20% точнее, чем человек. Вот несколько вариантов того, что сеть пометит как отредактированный документ:

Текст набран поверх «пустой» картинки паспорта и шрифт не совпадает с оригиналом.
Шумы части изображения не совпадают с шумами самого изображения. Например, на фото, сделанное на один тип камеры наложили кусок с фото, сделанного на другую камеру.
Не совпадает степень jpeg сжатия части изображения. Аналогично, когда вставляют части из другого изображения, количество и степень jpeg-сжатий может отличаться от того изображения, куда вставляют.
На изображении виден сплайсинг — это когда, например, цифру из серии поменяли на цифру из номера паспорта.

И на десерт:

С рукописным текстом начали работать в 2020 году. К началу 2022 года добились качества посимвольного распознавания — 89%. Сейчас — 98%. И это не рост на 9% — это уменьшение ошибок в 5 раз.

Теперь можно следить за качеством фотографии в режиме съёмки. В реальном времени отслеживаем 5 параметров:

Тип изображения. Например, паспорт.
Размытость. Если на камере есть пыль или вы снимаете документ в движении.
Засветы. Например, вы снимаете на солнце, и блик закрывает данные.
Удалённость. Важно, чтобы документ вместился весь, а не только его часть.
Полнота. Не закрыта ни одна часть изображения. Вашими пальцами, например.

За счёт нормализации по этому словарю у нас получилось поднять качество распознавания поля «Кем выдано».

Зачем вообще создавать словарь? Нас не устраивала нормализация места выдачи к обобщённому виду, нужна была посимвольная точность. Сейчас алгоритм работает так: он смотрит на распознанный код и место выдачи с первой страницы паспорта, затем на код подразделения из машиночитаемой зоны, сверяет полученные данные с нашим словарём, затем предлагает вариант поля «кем выдано». Дальше алгоритм смотрит "похожесть" распознанных данных и словаря и берет лучший ответ.
Артём, Team Lead Project Management

Бухгалтерская первичка, электронные ПТС, разные формы клиентов, уставы, приказы и много чего ещё.

Спасибо всем вам, что читаете нас, следите за новостями. Мы упустили много классного контента про культуру, продукт и наши изменения в этом году. Будем догонять в следующем.

И вместо обычного поздравления «счастья, здоровья и удачи», мы пожелаем так: распознавайте добрых людей и извлекайте радость из моментов.