Стресс-тест «Яндекс.Клавиатуры»

Насколько хорошо справляются с задачами голосовой ввод, встроенный переводчик и подсказки при наборе текста

Стресс-тест «Яндекс.Клавиатуры»
Антон Запускалов
редактор vc.ru

В приложении «Яндекс» для Android теперь есть «Яндекс.Клавиатура» и включается она очень просто — достаточно попросить об этом Алису. Разработчики обещают, что с помощью «Яндекс.Клавиатуры» можно будет быстрее решать повседневные задачи.

В «Яндекс.Клавиатуре» есть умные подсказки (система подсказывает слова, угадывая их по первым буквам), непрерывный ввод (можно набирать текст через свайп одним пальцем), автокоррекция, автоматический перевод, голосовой ввод и набор предустановленных стикеров и гифок.

Проверим «Клавиатуру» в деле на нескольких задачах повышенной сложности.

Первое испытание — диктуем длинный и сложный текст

Передадим через голосовой ввод текст юридического документа — договора аренды квартиры. В нём есть цифры, названия и специфические термины. Текст будем диктовать членораздельно, со средней скоростью, не повышая голос:

Договор аренды квартиры №1.

г. Москва, 11 ноября 2020 года.

Гражданин Иванов Сергей Петрович, паспорт 1234 567890, выдан РОВД Строгино, проживающий по адресу: Таллинская улица, дом 1, квартира 2, именуемый в дальнейшем «Арендодатель», с одной стороны, и гражданин Сергеев Пётр Иванович, паспорт 0987 654321, выдан УМВД Ленинского района города Ростов-на-Дону, проживающий по адресу: Ростов-на-Дону, улица Народного Ополчения, дом 2, квартира 1, именуемый в дальнейшем «Арендатор», с другой стороны, именуемые в дальнейшем «Стороны», заключили настоящий договор, в дальнейшем «Договор», о нижеследующем:

1. Арендодатель сдал в аренду Арендатору принадлежащую ему по праву собственности квартиру, находящуюся по адресу: Таллинская улица, дом 1, квартира 2. Квартира площадью 55 кв. м, состоящая из 2 комнат, жилой площадью 35 кв. м.

2. Квартира сдается в аренду сроком на 12 месяцев с оплатой ежемесячно 50 тысяч рублей. Арендатор обязан вносить арендную плату на счёт Арендодателя или лично не позднее 25 числа каждого месяца за предыдущий месяц.

3. Квартира сдаётся Арендатору для проживания, и ему запрещается использовать жилое помещение по другому назначению, а также сдавать в субаренду.

4. Арендатор обязан содержать квартиру в чистоте, оборудование в исправности и произвести за свой счёт текущий ремонт.

5. Изменение условий договора или его расторжение может иметь место по соглашению сторон.

6. Арендодатель может потребовать изменения или расторжения договора, если Арендатор не произведёт текущего ремонта, ухудшит состояние жилого помещения, не внесёт арендную плату в течение срока, предусмотренного договором, будет использовать квартиру не по назначению.

7. Расходы по нотариальному удостоверению настоящего договора оплачивает Арендатор.

8. Договор составлен в двух экземплярах, имеющих одинаковую юридическую силу. Неотъемлемым приложением к договору является список мебели и вещей, находящихся в арендуемой квартире.

Вот каким получился расшифрованный текст:

Оценка: 4,5/5

Голосовой ввод отлично справился со всеми названиями улиц, длинными номерами документов и причастными оборотами. Небольшие проблемы есть с распознаванием коротких слов — «‎квартира да» вместо «‎квартира два», «а как же» вместо «‎а также». Также при голосовом вводе не всегда верно распознаются окончания. Но в целом расшифровка оказалась максимально приближена к оригиналу и не требует серьёзной редактуры.

Распознавание речи в нашей «Клавиатуре» реализовано с помощью SpeechKit от команды голосовых технологий «Яндекса»‎. Но отличное — враг фантастического, а стало быть, на этом история не заканчивается. В последние месяцы мы смогли использовать для улучшения технологий распознавания голоса нейросетевую GPU-модель распознавания, которая уже используется в «Алисе»‎. Чтобы при использовании голосового ввода на «Яндекс.Клавиатуре»‎ пользователи не испытывали никаких проблем, даже, например, если они говорят очень быстро или с акцентом.

Антон Дворкович, руководитель проекта «Яндекс.Клавиатура»

Второе испытание — пишем деловое письмо на английском через встроенный переводчик

Представим, что авиакомпания изменила время вылета самолета, из-за чего путешественник не успел на пересадку и вынужден был купить новые билеты. Теперь стоит написать жалобу и потребовать компенсацию, но сделать это нужно на английском языке, которым составитель письма владеет лишь на базовом уровне.

Берём текст жалобы на русском:

28 сентября 2020 года я должна была вылететь из Белграда в Москву с пересадкой в Лондоне. Я приехала в аэропорт за три часа до рейса и ожидала времени регистрации на рейс вместе с другими пассажирами в очереди на стойке регистрации. Время окончания регистрации уже подходило, но она так и не начиналась. Позднее к пассажирам вышел сотрудник авиакомпании, который сообщил о том, что рейс задерживается. Вылет перенесли на три часа, таким образом, я, как и другие пассажиры, уже не успевала на свой стыковочный рейс до Москвы. О задержке рейса никак не сообщили ни по громкой связи, ни на табло. С большим трудом нам удалось найти одного из двух сотрудников авиакомпании и задать ему вопросы о том, почему самолёт не прилетел и когда мы сможем добраться до Москвы. На это мы получили от него ответ, что официальной информации о причинах задержки и точном времени вылета нет, а всё, что мы можем сделать сейчас, — отправиться в офис продаж и там разбираться по поводу своего дальнейшего вылета. Поскольку вариант, который предложил офис продаж, — вылет в другой день — мне не подходил, решать проблему пришлось за собственные деньги, путём покупки нового билета. Прошу рассмотреть возможность компенсации моих непредвиденных расходов.

И делаем автоматический перевод на английский через «Яндекс.Клавиатуру»:

On September 28, 2020, I was supposed to fly from Belgrade to Moscow with a stopover in London. I arrived at the airport three hours before the flight and waited for the check-in time with other passengers in the queue at the check-in Desk. The registration deadline was approaching, but it never started. Later, an airline employee came out to the passengers, who reported that the flight was delayed. The flight was postponed for three hours, so I, like other passengers, did not have time for my connecting flight to Moscow. The flight delay was not reported either on the speakerphone or on the scoreboard. With great difficulty, we managed to find one of the two employees of the airline and ask him questions about why the plane did not arrive and when we can get to Moscow. To this, we received a response from him that there is no official information about the reasons for the delay and the exact time of departure, and all we can do now is go to the sales office and sort out our further departure there. Since the option offered by the sales office-departure on a different day-did not suit me, I had to solve the problem for my own money, by buying a new ticket. Please consider the possibility of compensation for my unexpected expenses.

Оценка: 4,5/5

Автоматический переводчик справился с основной задачей — в англоязычной версии удалось сохранить большинство значимых деталей. Но без трудностей перевода всё равно не обошлось. Например, пересадка почему-то превратилась в stopover, что не совсем корректно. Stopover — промежуток между рейсами свыше 24 часов, который пассажир, как правило, проводит не в аэропорту, а в городе. Та пересадка, которая была нужна нам, — это transfer или change.

Во встроенном в «Клавиатуру» «Яндекс.Переводчике» более 90 языков.

Сама «Клавиатура» поддерживает ввод текста и подсказки на 75 языках.

Третье испытание — общаемся с друзьями и родственниками с помощью стикеров и гифок

Нужны ли к задаче этого теста дополнительные пояснения? Кажется, нет.

В «Яндекс.Клавиатуре» есть несколько наборов стикеров, а также подборки гифок, объединённые по тематикам — например, связанные с работой или выражающие согласие или отказ. Если гифок из базового набора не хватает, что-то более подходящее можно найти через поиск. Иногда предложения от системы бывают странными: например, среди рекомендаций на букву «‎б» — сразу два Байдена, обычный и в молодости.

Оценка: 5/5

C задачей найти подходящую картинку для выражения эмоций клавиатура «Яндекса» справляется отлично. Насколько часто такая потребность возникает в повседневной жизни — сильно зависит от возраста пользователя, его круга общения и интересов.

Последнее испытание — вводим текст на обычной клавиатуре и свайпами с подсказками. Как быстрее?

Представим, что по дороге в офис начальник отдела попал в серьёзную пробку, а рабочая встреча с ключевыми партнёрами уже совсем скоро. Необходимо максимально быстро проинструктировать подчинённого: что ему делать и чем занять важных гостей на время опоздания шефа.

Текст сообщения в мессенджер:

Влад, привет! Я встал в пробку на кольце, смогу быть в офисе только минут через 40. Пожалуйста, начните встречу без меня. Можешь сделать вступительное выступление и показать им презентацию про итоги прошлого года. Она лежит в общей папке на облаке, называется «‎Результаты 2019». Спасибо!

Мы набрали этот текст на время на обычной клавиатуре без дополнительных опций и на «Яндекс.Клавиатуре» с использованием подсказок, свайпа одним пальцем и автокоррекции:

Результат:

Обычная клавиатура на устройстве Android — 2 минуты 25 секунд.

«Яндекс.Клавиатура» — 1 минута 54 секунды.

Оценка: 4,5/5

Подсказки клавиатуры в некоторых случаях действительно оказываются полезными и экономят время — например, алгоритм понимает, что если сообщение в мессенджер начинается с имени («‎Влад»), то с большой степенью вероятности дальше последует приветствие («‎привет»), а после словосочетания «только минут» стоит предложить слово «‎через».

Также «Яндекс.Клавиатура» неплохо угадывает окончания длинных слов — например, чтобы набрать «вступительный» и «‎выступление» достаточно ввести 4–5 букв и воспользоваться подсказкой.

Есть и минусы — удобство набора одним пальцем вряд ли оценят пользователи телефонов с небольшим экраном — по маленьким клавишам сложно свайпать безошибочно, потому набранный текст может отличаться от задуманного.

«Клавиатура» знает не только по какой клавише попал пользователь, но и как близко к её краю пришлось нажатие. Если очень-очень близко — вероятность того, что произошла опечатка, очевидно, выше. Мы научились использовать эти данные: строим динамическую сетку действий пользователя, где координаты нажатий служат факторами при принятии решений об исправлениях.

Если мы видим, что пользователь попал близко к краю клавиши, и знаем предыдущие введённые буквы, почему бы не исправить промах сразу же, не дожидаясь, пока он допишет слово и запустит автокоррект нажатием пробела? Так мы и делаем.

Антон Дворкович, руководитель проекта «Яндекс.Клавиатура»

Чтобы воспользоваться «Яндекс.Клавиатурой», пользователям Android-устройств не нужно скачивать отдельное приложение. Включить её можно в приложении «Яндекс», в том числе и через голосового помощника «Алису». Достаточно сказать: «Алиса, включи Клавиатуру».

2525
48 комментариев

Можно тестирование Яндекс клавиатуры не компанией Яндекс?

41
Ответить

Денис, добрый день! Оно уже перед вами. Текст моего авторства, я редактор vc и к «Яндексу» отношения не имею.

10
Ответить

Использую Microsoft SwiftKey, удобнее и лаконичнее для себя ничего не нашёл 

11
Ответить

Яндекс тестирует сам себя и пишет о том, как тестирует сам себя.
Буква Н - Независимость мнений.)) 

9
Ответить

Привет! Нет, «Яндекс» сам себя не тестирует, за него это делает редактор vc :) Уточнили это в начале текста.

3
Ответить

Оценка отправки гиф и стикеров неверна. Вы испытывали только WhatsApp, судя по скриншотам, однако в иных мессенджерах и социальных сетях он совершенно не справляется 

6
Ответить

Дополнительное тестирование выявило огромную брешь в отправке гиф и стикеров. Они обозначаются как самые обыкновенные ссылки вне зависимости от приложения. Стикеры же лишь в половине случаев отравляются как картинки, что делает их по сути бесполезными, учитывая, что встроенных в мессенджер стикеров хватает с лихвой 

3
Ответить