«Для многих людей, использующих языковые модели для работы с текстами, возникает одна и та же проблема. Предположим, в исходном тексте содержится десять ошибок, вы передаете его модели, а в результате получаете практически полностью переписанный текст. Модель работает по принципу «нет слова - нет ошибки». Очевидно, что это не то, чего вы хотели.

Для начала мы проверили самую важную гипотезу: возможно ли, чтобы эта модель не переписывала текст вообще. Это была наша первоочередная проверка. Мы взяли тексты, удалили из них все знаки препинания и заглавные буквы - именно это мы передавали модели для обработки. В результате получили оригинальные тексты. Мы обучили модель на основе этих данных. Затем мы подали на вход модели 100 текстов из нашего валидационного датасета и попросили расставить знаки препинания. Она прекрасно справилась с поставленной задачей и не добавила ничего лишнего (разница по Левенштейну была равна нулю), и это - наша победа.»