Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

Давно не делились успехами наших нейросеточек. Кажется, что последний день в 2022 году — подходящее время. Собрали фичи, которыми уже пользуются клиенты, а Ваня, наш дизайнер нарисовал, чтобы вы сразу могли представить как это работает.

Алгоритмы научились распознавать штампы прописок из паспорта РФ, в том числе рукописные

Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

Со штампами всегда было сложно. Потому что в большинстве своём это неунифицированные документы. У них разные поля, рукописный или печатный текст, разные места. Чтобы обучить детектор, нужна разметка, но структурировано разметить штампы, было почти нереально. Нашли решение там, где не искали — end to end модель. Как она работает мы и сами не понимаем. Шутка. Или нет.

Ваня, ML Engineer

Обучили детектор отфотошопленных паспортов РФ

Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

Чтобы вы представили, почему это так важно, расскажем, как проверка паспортов проходит сейчас во многих компаниях. Допустим, что вы верификатор. Кроме переноса данных, вам нужно внимательно посмотреть на фото паспорта и решить: фотошоп или нет. Первый документ отсмотрели внимательно. Ничего странного не увидели. Десятый документ ещё сосредоточенно, но времени потратили больше. Тысячный паспорт уже на автомате. Глаза устали, спина болит. И так каждый день. Может быть, спустя время у вас появятся дополнительные инструменты, приложения и сайты. Но вероятность человеческой ошибки всё равно высокая.

Бывают случаи, когда отфотошопленный документ видно сразу. Над таким улыбаешься в первое время. А если работал профессионал и определить подделку можно только по шуму оригинальной фотографии и вставленных кусочков?

Нейросети не устают, взгляд не замыливается, не отвлекаются. Она видит, что паспорт отредактирован, когда человек не справляется. Мы проверяли. Иногда играем в игру, когда всей командой отгадываем «фрод или не фрод».

Нейросети стабильно выдают результаты на 20% точнее, чем человек. Вот несколько вариантов того, что сеть пометит как отредактированный документ:

  • Текст набран поверх «пустой» картинки паспорта и шрифт не совпадает с оригиналом.
  • Шумы части изображения не совпадают с шумами самого изображения. Например, на фото, сделанное на один тип камеры наложили кусок с фото, сделанного на другую камеру.
  • Не совпадает степень jpeg сжатия части изображения. Аналогично, когда вставляют части из другого изображения, количество и степень jpeg-сжатий может отличаться от того изображения, куда вставляют.
  • На изображении виден сплайсинг — это когда, например, цифру из серии поменяли на цифру из номера паспорта.

И на десерт:

Рукописный текст

Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

С рукописным текстом начали работать в 2020 году. К началу 2022 года добились качества посимвольного распознавания — 89%. Сейчас — 98%. И это не рост на 9% — это уменьшение ошибок в 5 раз.

Создали онлайн модель контроля качества съемки

Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

Теперь можно следить за качеством фотографии в режиме съёмки. В реальном времени отслеживаем 5 параметров:

  • Тип изображения. Например, паспорт.
  • Размытость. Если на камере есть пыль или вы снимаете документ в движении.
  • Засветы. Например, вы снимаете на солнце, и блик закрывает данные.
  • Удалённость. Важно, чтобы документ вместился весь, а не только его часть.
  • Полнота. Не закрыта ни одна часть изображения. Вашими пальцами, например.

Составили уникальный словарь соответствия кода подразделения и места выдачи в паспорте РФ

Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

За счёт нормализации по этому словарю у нас получилось поднять качество распознавания поля «Кем выдано».

Зачем вообще создавать словарь? Нас не устраивала нормализация места выдачи к обобщённому виду, нужна была посимвольная точность. Сейчас алгоритм работает так: он смотрит на распознанный код и место выдачи с первой страницы паспорта, затем на код подразделения из машиночитаемой зоны, сверяет полученные данные с нашим словарём, затем предлагает вариант поля «кем выдано». Дальше алгоритм смотрит "похожесть" распознанных данных и словаря и берет лучший ответ.

Артём, Team Lead Project Management

Научились распознавать больше 100 новых типов документов

Бухгалтерская первичка, электронные ПТС, разные формы клиентов, уставы, приказы и много чего ещё.

Итоги 2022 года: классные фичи, которым обучились нейросети Dbrain

Вместо итогов

Спасибо всем вам, что читаете нас, следите за новостями. Мы упустили много классного контента про культуру, продукт и наши изменения в этом году. Будем догонять в следующем.

И вместо обычного поздравления «счастья, здоровья и удачи», мы пожелаем так: распознавайте добрых людей и извлекайте радость из моментов.

9898
62 комментария

Круто!

12
Ответить

спасибо! ♥

2
Ответить

“добились качества посимвольного распознавания — 89%. Сейчас — 98%. И это не рост на 9% — это уменьшение ошибок в 5 раз.”

Отличный пример относительных и абсолютных сопоставлений в статистике!;)

7
Ответить

мы старались!

3
Ответить

Очень круто, ребят. Всяческих успехов в новый год, пишите чаще

7
Ответить

мы будем очень стараться! с наступающим)

1
Ответить

С рукописным текстом начали работать в 2020 году. Круто. А врачебный почерк распознаете? Гугл вон даже отдельную технологию для этого пилит.

2
Ответить