Распознавание рукописного текста – это огромная проблема, так как существует всего 10 цифр, а почерк человека может сильно варьироваться. И порой с задачей распознания рукописного текста не справляется даже сам человек, что уж говорить о почерке врача 😊
А Вы не пробовали использовать PANN? Легкая сеть, которую можно настроить даже на распознавание цифр написанных рукой в воздухе. Я бы посмотрел, думаю это в Вашей теме.