6 нейросетей для проверки пунктуации: анализ сервисов для знаков препинания

Может ли искусственный интеллект найти пропущенные запятые в тексте так же хорошо, как ваша учительница по русскому языку? Я заставила нейросети сдать ЕГЭ. В статье расскажу, с какими задачами пришлось столкнуться популярным граммарчекерам. И покажу, кто из них справился лучше всех.

Все испытуемые - специализированные нейросети для проверки текста на наличие пунктуационных и иных ошибок.

Для проверки способностей нейросетям были даны вопросы ЕГЭ по русскому языку из сборника заданий И.П. Цыбулько 2023. Те самые, которые даются школьникам на экзамене. Суть задания - правильно расставить знаки препинания в предложениях. Но во всех вопросах применяются разные правила пунктуации. Вот эти правила:

Я взяла по одному вопросу каждого типа. Таким образом сервисы получили каждый по 5 задач на расстановку знаков препинания, в которых работало разное правило. Но предложения (примеры) всем давались одни и те же. Это поможет определить, с какими пунктуационными ошибками нейросети справляются лучше всего, а с какими пока всё сложно. Итак, начнем наш экзамен. Всем ни пуха ни пера!

1. ReText.AI - нейросеть, специализирующаяся на работе с текстом. Для него функция проверки пунктуации и орфографии на ноябрь 2023 года является молодой и зеленой. Тем интереснее будет сравнивать. С него и начнем.

Результат меня удивил и порадовал. Для бета-функции не ожидала такой мощи! ReText.AI нашел все ошибки верно и обосновал их. Кроме 18 вопроса. Уж не знаю, проблема у нейросети со знаками препинания при словах и конструкциях, не связанных с членами предложения или именно со стихами. Следствие покажет.

2. Мистер корректор - бесплатный сервис, который проверяет орфографию и расставляет знаки препинания, используя нейросети Google. Как заверяют авторы, прошел множество тестов. Надеюсь, пройдет и мой. Очень маленькое окно редактора, поэтому пришлось разделить на 3 скриншота, чтобы было видно весь пример. Ошибки никак не выделяются в тексте, сразу получаешь исправленный текст. На момент проверки режим показа различий не работал.

Ошибка в последнем предложении 16 вопроса скорее всего связана с трудностями перевода. На английском, наверное, было бы лучше. Но это, конечно, не оправдывает Мистера корректора.

В 20 вопросе зачем-то убрал правильно стоящую запятую и разделил предложение на два. Считаю, что это не является ошибкой, если предложения разделены грамматически верно и не искажен смысл написанного. Но недопустимо убирать из текста слова. А Мистер корректор просто убрал “если”, потому что видимо ему так больше нравится. Это привело к потере ключевой мысли. Какую оценку поставим? Описание инструмента давало мне большие надежды.

3. Online GPT - сервис от study24.ai, который заточен на работу с текстом и помощь в разных учебных вопросах. Использует нейросеть GPT-3. Для проверки на ошибки в знаках препинания нужно добавить текст, нажать “Проверка пунктуации” и подождать ответа в формате чата. Ограничение для зарегистрированных пользователей в 500 символов, поэтому проверка была разбита на несколько этапов.

Online GPT допустил в 16 задании ту же ошибку, что и Мистер корректор. Думаю, что все англоговорящие нейросети будут допускать такие ошибки, так как очень плохо понимают русский язык. В других заданиях были допущены те же самые ошибки, что и у Мистера корректора, поэтому не стала перегружать статью скриншотами. Идем дальше.

4. Chatgptweb.ru - сервис, который проверяет текст на пунктуацию, используя нейросеть ChatGPT в версии “Chat GPT 3.5 4K context” в бесплатном режиме с ограничением в 5000 символов. Есть инструкция, как пользоваться, чтобы результат получился максимально хорошим. Видимо, здесь задан действительно эффективный промт. Написано, что нейросеть:

Далее пользователю необходимо изучить информацию, внести требуемые корректировки. Попробуем!

Во-первых, этот сервис гораздо удобнее, чем два предыдущих. Он действительно имеет интерфейс, пригодный для работы с текстом. Не такой комфортный и продуманный, как ReText.AI, но гораздо удобнее, чем предыдущие два. Хочу сказать спасибо Chatgptweb, что не удаляет слова из текста. В остальном ошибки, как у двух предыдущих, крутой промт, к сожалению, не помог.

Теперь очевидно, что лучше всего проверяет пунктуацию ReText.AI. Возможно, потому что лучше понимает свой родной язык. Но мне очень хочется найти нейросеть, которая справится со всеми ошибками. Я сразу же начну ей пользоваться!

Проверять ChatGPT и его производные больше нет никакого смысла. Попробую еще протестировать российские сервисы.

5. Текстовод - старый добрый сервис для текста, который тоже уже вовсю использует нейросети.

Текстовод я точно не рекомендую. Он налепил точек посреди предложения. Его работа не поддается логике. Посмотрите сами на скриншот выше, если еще этого не сделали.

6. Орфограммка - это веб-сервис для автоматической проверки правописания текстов на русском языке с использованием машинного обучения. Очень популярен, знает более 300 правил правописания. Надеюсь, справится с заданиями ЕГЭ.

Орфограммку сложнее оценивать, потому что в простых случаях она дает конкретные решения. А в более сложных лишь предлагает ряд правил, руководствуясь которыми, человек должен сам понять, где ему поставить запятую, а где нет. Исходя из всех предложенных поправок и рекомендаций, получился такой результат. В каждом задании есть ошибки. Этот сервис точно бы не сдал госэкзамен по русскому языку. Интересный факт: Орфограммка единственная из всех сервисов смогла правильно обособить запятыми слово “верно” в 18 вопросе. При этом завалила самые простые вопросы.

На этом экзамен подошел к концу. Результаты такие:

ReText.AI - 4/5

Мистер корректор - 2/5

Online GPT - 2/5

Chatgptweb.ru - 2/5

Текстовод - 2/5

Орфограммка - 0/5