ReHand – распознавание рукописного текста
Всем привет! Недавно создал экспериментальный проект по распознаванию рукописного текста.
На сайте используется связка из трех нейросетей. Сайт способен обнаруживать и распознавать рукописные слова, исправлять ошибки в тексте, при этом сохраняя смысл.
Сайт: rehand.ru
Дополнительные настройки помогут значительно улучшить результат. Вы можете включить автоматическое выравнивание текста, корректировку орфографии и умную обработку текста.
В будущем, планируется возможность создание пользователем шаблонов для сегментации отдельных областей различных категорий изображений. Пользователь сможет выбрать какие места изображения нужно распознать и получать на выходе структурированные данные.
*мы можем обработать, много различных изображений с различным рукописным почерком, но бывают исключения, где наш прототип программы до сих пор не справляется и может выдать плохой результат.
Ниже приведу примеры распознаваний школьных тетрадей и бланков ЕГЭ/ОГЭ
Пример 1:
Пример 2:
Распознай:
лишь, дымишь, дышишь, лишишься, слышишь, симпшлялы, шиания.
Херово распознало. Лилии, ..., шиншиллы, ишемия.
нормально распознало, больше 60% проблемных слов. В реальных текстах не все слова такие. А с этими и людям будет сложно, тем более учитывая вариативность почерков. Априори результат очень даже хороший. Хотелось бы посмотреть на сервис, работающий лучше или на человека, который может это делать с лучшей (или хотя бы той же) скоростью и точностью
Человек в отличие от сервиса способен интуитивно угадывать написанное по смыслу контекста.
Все подобные сервисы под капотом используют вероятности последовательностей как букв (чтобы выбрать оптимальную букву из кандидатов букв), так и слов (чтобы выбрать оптимальное слово из кандидатов слов в предложении).
Такие вероятности берут из огромных объёмов текста. Так что, что что, а интуиция у машины куда сильнее, чем у кожаного мешка.
Единственная проблема, что это все даёт сбой, когда машина не знакома с контекстом (к примеру, обучена на корпусе классики, и начинает исправлять "айтишники" на "артишоки")
Возможно, вы знакомы с вопросом глубже, чем я, однако, вынужден заметить, что перебор программой вероятностей последовательностей букв и слов не имеет ничего общего с интуицией (догадкой, озарением etc) человека. Это то же самое, что сравнивать магнитную плёнку и сидюк, т.е. последовательный доступ (sequential access) с прямым (direct access).
Почему же? Как раз 1-в-1. Человек, смотря на почерк, условно, видит, что слово похоже на лилия и лишь, а перед ним видит слово "осталось", и понимает, что "осталось лишь" звучит норм, и он такое видел кучу раз, а "осталось лилия" - дичь, и на автоматизме делает для себя вывод, что "лишь". Компьютер делает тоже самое. У него есть кандидаты (лилия, лишь), и окружающие слова. Он не будет перебирать все слова, а случайным доступом посмотрит, как часто встречалось "осталось лишь" и "осталось лилия", сравнит, и сделает вывод.
Всё так. За исключением одного: "осталось лилия" и в самом деле дичь, поэтому человек в отличие от машины продолжит соображать))
Где Вы там "лишь" увидели? Как можно спутать "И" с "Ь"?