Всем привет! Недавно создал экспериментальный проект по распознаванию рукописного текста.
На сайте используется связка из трех нейросетей. Сайт способен обнаруживать и распознавать рукописные слова, исправлять ошибки в тексте, при этом сохраняя смысл.
Сайт: rehand.ru
Дополнительные настройки помогут значительно улучшить результат. Вы можете включить автоматическое выравнивание текста, корректировку орфографии и умную обработку текста.
В будущем, планируется возможность создание пользователем шаблонов для сегментации отдельных областей различных категорий изображений. Пользователь сможет выбрать какие места изображения нужно распознать и получать на выходе структурированные данные.
*мы можем обработать, много различных изображений с различным рукописным почерком, но бывают исключения, где наш прототип программы до сих пор не справляется и может выдать плохой результат.
Ниже приведу примеры распознаваний школьных тетрадей и бланков ЕГЭ/ОГЭ
Пример 1:
Данную мысль можно обосновать еще одним аргументом.В произведении К.Г.Паустовского Настя, главная героиня Настя, сама занята и не может навещать старую мать.Что касается Катерины Петровны, то она не винит дочь.Удивительно, насколько безгранично любящим может быть сердце матери.Когда же Настя, осознав величину возможной потери, приезжает в деревню, оказывается слишком поздно. Нужно. Таким образом, можно сделать вывод, что проявлять свои чувства и говорить слова любви своим родителям вовремя, что потом может быть слишком поздно.
Пример 2:
Почему важно сохранять памятники архитектуры? Этой проблеме посвящён текст Владимира Алексеевича Солоухина.Отвечая на вопрос, автор пишет о разрушении множества исторических сооружений в Москве, Спасовой башни и Страстного монастыря Христа Спасителя. Писатель сравнивает, какие грандиозные постройки украшали столицу раньше и какие унылые, обыкновенные здания стоят там сейчас. Этот пример показывает, что город теряет одну из важнейших удивительных частей, когда исчезают В. В.ст.Солоучин делает вывод из своих рассуждений: «На месте уникального города Москвы построен город, город среднеевропейского типа, не выделяющийся ничем особенным.Смысл этого высказывания в том, что памятники, сооружения старины хранят в себе историю и украшают улицы, поражая воображение людей. Позиция автора очевидна.Писатель считает, что памятники архитектуры — это наша гордость. Они являлись важной частью жизни наших предков. В. В.п.Солоучин пишет: «Разружая старину, мы всегда обрываем корни.
Распознай:
лишь, дымишь, дышишь, лишишься, слышишь, симпшлялы, шиания.
Херово распознало. Лилии, ..., шиншиллы, ишемия.
нормально распознало, больше 60% проблемных слов. В реальных текстах не все слова такие. А с этими и людям будет сложно, тем более учитывая вариативность почерков. Априори результат очень даже хороший. Хотелось бы посмотреть на сервис, работающий лучше или на человека, который может это делать с лучшей (или хотя бы той же) скоростью и точностью
Человек в отличие от сервиса способен интуитивно угадывать написанное по смыслу контекста.
человек в принципе от сервиса много чем отличается и глупо ожидать что одно сможет полноценно заменить другое. Но даже если этот момент опустить, ты на этом примере видишь контекст? Я вот не вижу и сам все слова разобрать не смог. Точно не знаю как работает сервис, но, возможно, если бы текст был о медицине, то "ишемия" распозналась бы корректно.
Этот инструмент, как и многие другие на основе нейросетей, имеют цель помочь человеку и облегчить его работу, а не полностью заменить его
Это херовый инструмент, если он херово работает.
работает он не хуже человека, если брать в расчёт время, за которое выдаётся результат. Вы себе неправильно понимаете назначение инструмента, ждёте что он полностью собой заменит какие-то действия со стороны человека, в то время как он не создан для того чтобы человека заменять, а для того, чтобы облегчить его работу. В текущем виде он уже многим бы помог.
А так, удачи вам дождаться инструмент, который сможет всё лучше человека и без его участия. Только вот зачем вы тогда будете нужны, та ещё загадка)
Я всё понимаю. Но это лишь свидетельствует о том, что полагаться на сервис полностью нельзя. Придётся проверять результат и где нужно корректировать.
Также понятно, что точность сервиса с прогрессом должна расти.
Все подобные сервисы под капотом используют вероятности последовательностей как букв (чтобы выбрать оптимальную букву из кандидатов букв), так и слов (чтобы выбрать оптимальное слово из кандидатов слов в предложении).
Такие вероятности берут из огромных объёмов текста. Так что, что что, а интуиция у машины куда сильнее, чем у кожаного мешка.
Единственная проблема, что это все даёт сбой, когда машина не знакома с контекстом (к примеру, обучена на корпусе классики, и начинает исправлять "айтишники" на "артишоки")
Возможно, вы знакомы с вопросом глубже, чем я, однако, вынужден заметить, что перебор программой вероятностей последовательностей букв и слов не имеет ничего общего с интуицией (догадкой, озарением etc) человека. Это то же самое, что сравнивать магнитную плёнку и сидюк, т.е. последовательный доступ (sequential access) с прямым (direct access).
Почему же? Как раз 1-в-1. Человек, смотря на почерк, условно, видит, что слово похоже на лилия и лишь, а перед ним видит слово "осталось", и понимает, что "осталось лишь" звучит норм, и он такое видел кучу раз, а "осталось лилия" - дичь, и на автоматизме делает для себя вывод, что "лишь". Компьютер делает тоже самое. У него есть кандидаты (лилия, лишь), и окружающие слова. Он не будет перебирать все слова, а случайным доступом посмотрит, как часто встречалось "осталось лишь" и "осталось лилия", сравнит, и сделает вывод.
Всё так. За исключением одного: "осталось лилия" и в самом деле дичь, поэтому человек в отличие от машины продолжит соображать))
Где Вы там "лишь" увидели? Как можно спутать "И" с "Ь"?
Проблемных слов? Это обычные слова, проблема в сервисе, который их не распознает.
нет, с точки зрения распознавания (как человеком, так и машиной), слова совсем не обычные, так как в них подряд стоят несколько символов которые записываются очень похоже. В реальности такие слова в текстах не так часто встречаются, да и сервис не претендует на 100% точность и замену человека. Проблему вы сами себе придумали.
Сервис не направлен на широкое повседневное применение. Это инструмент, который в определённых областях поможет освободить человека от ЧАСТИ рутинной работы. Решений, которые бы со 100% точностью распознавали рукописные тексты не существует и никогда не будет существовать. И человек не всегда на такое способен, с некоторыми словами и особенно запущенными случаями с почерками вам никакой контекст не поможет
Вы высасываете аргументы из пальца. То слова неправильные, то буквы похожие - знаете, как говорится, плохому танцору и ноги мешают... И это вы еще не видели рецептов от некоторых врачей, чей стиль рукописного письма не может распознать никто, кроме особо одаренных фармацевтов. Зачем потребителю сервис, который не может корректно распознать текст?
Может потому что это не для потребителя, а B2B/B2G? Направление ресурса как бы подсказывает.
Зачем - уже описал, чтобы сократить рутинный ручной труд. Сократить, а не избавится от него, потому что избавиться невозможно
Ну как можно было распознать "мышь" вместо "лилии"? Там и близко нет мягкого знака, есть подобия рукописных букв "л", "и", "ш". Следовательно, ваш алгоритм распознавания работает криво, его стоит поправить, а не препираться в комментах.
Во-вторых:
это не для потребителя, а B2B/B2GКак раз для B2C сегмента периодические ошибки были бы некритичны, а в B2B/B2G каждая ошибка - уже очень серьезно. Тем более стоит привести в порядок алгоритм. Вот впарят этот сервис какому-нибудь министерству, у него неправильно распознается, документ некорректный, как следствие юридические коллизии, как следствие проблемы - и кто за эти проблемы будет отдуваться на швабре, догадайтесь с трех раз?
как это получилось объяснить могу, но не буду, ибо как об стенку горох. Скажу за себя: я свой почерк месячной давности разобрать не всегда могу и контекст не всегда помогает, чего в таком случае ждать от машины? Почерк у меня не худший, такая проблема изредка с отдельными словами наблюдается.
Сегменту B2C такая технология в целом не нужна. А если кому-то и нужна, то точность не будет играть критичной роли. А касательно B2B и B2G ещё раз повторяю: этот сервис (как и любой другой аналогичный) не гарантирует 100% точности и не сможет её гарантировать. Машины пока не способны так многослойно мыслить и разбирать контекст, сколько алгоритмы не дорабатывай. Эта технология призвана не заменить человека, а облегчить ему работу. Или тебе с нуля нужно сидеть и текст читать, разбирать что там куда и перепечатывать, или просто сверить готовое и при необходимости пару ошибок поправить - это колоссальная экономия времени в промышленных масштабах.
Со шваброй аналогия так вообще тупая. Решения принимать должен не этот сервис распознавания текста, а человек. И на человеке лежит ответственность за это решение. Его проблемы проверить как распозналось, ибо распознавалось для того чтоб ему не надо было это печатать руками
Скорее всего нейросеть не так много шиншил и ишемий с лилиями схавала, чтобы не запинаться на таких редких словах. А так в целом очень достойно
К слову - системы распознавания рукописного текста были и раньше, до появления нейросетей, и работали они не в пример лучше. Ну а так - ниче поделка, с пивом (смузи) потянет.
А так в целом очень достойноДа, особенно слово "симпшлялы" - любопытно, в каком наркоманском бреду их нейросетка нашла это достойное слово ) Даже словарь русского языка не подключили в сервис, ппц.
Справедливости ради, не все слова есть в словаре, получим обратную проблему с подменой слов на известные.
Справедливости ради, надо использовать нормальные словари, а не кое-какие.
симпшлялы!!