Несмотря на то, что при токенизации текста (отдельных слов) на русском языке при помощи LegalitySyllableTokenizer встречаются ошибки (слова разбиваются с нарушением норм русского языка, например, [‘г’, ‘уашь’], [‘з’, ‘вез’, ‘ды’], [‘ид’, ‘ея’]), в целом, токенизатор отрабатывает достаточно неплохо, и его применение может быть оправдано для решения задач обработки текста. Также не следует забывать, что при подготовке токенизатора можно использовать другие словари, содержащие большее количество слов с более качественной очисткой, что, теоретически, должно привести к улучшению работы токенизатора.