Как мы учим Алису быть вежливой

И почему без нецензурной лексики тут не обошлось.

Алиса — голосовой помощник с характером. Она умна, любопытна и любит пошутить. Алисе важно помогать людям, но она знает себе цену и не потерпит оскорблений. При этом и не опустится до хамства, когда ей грубят.

Нас всех с детства учат вежливости. Виртуальным помощникам тоже без этого не обойтись. Нужно приложить серьёзные усилия, чтобы ассистент стал отличать вежливость от грубости, а обычную лексику от нецензурной брани. Руководитель Алисы рассказывает, какие этапы проходит голосовой помощник в обучении, прежде чем его допустят до общения с пользователями.

В основе Алисы множество технологий: поисковые, диалоговые, синтез и распознавание речи. Сегодня мы сфокусируемся на той, которая отвечает за генерацию ответов. Для их создания мы используем нейросети YaLM, разработанные в Яндексе. Их основная задача — предсказывать следующие слова. Применительно к нашим целям нейросеть учится составлять для Алисы ответы.

Может показаться, что достаточно обучить нейросеть на текстах из интернета, и помощник будет легко подбирать слова. Но все мы знаем, как общаются люди в сети. Алиса может научиться там и плохому, а такого мы себе позволить не можем.

Можно отфильтровать всю грубую и ненормативную лексику. Убрать всё, что считается оскорбительным. Но позволит ли это достичь цели? К сожалению, нет. Алиса, действительно, не будет знать «плохие» слова и не сможет их использовать. Но вместе с тем, подобно ребёнку, она не будет осознавать, что значат те или иные слова со стороны не совсем вежливого пользователя. Алиса будет всеми силами пытаться поддержать диалог, но её, казалось бы, безобидные ответы могут звучать оскорбительно.

Поэтому наша нейросеть обучается на всех текстах, какими бы они ни были. Пусть лучше Алиса знает все слова, но предпочитает общаться вежливо. В примере выше Алисе стоило бы просто уйти от ответа. Но как помочь ей разобраться во всём многообразии форм общения?

Для этого мы попросили редакторов написать сотни тысяч примеров диалога с Алисой. Затем мы дообучили нейросеть на этих примерах. Так Алиса усвоила, какого стиля общения стоит придерживаться и как реагировать на грубость. Кроме того, у нас есть специальный детектор мата, который использует базу из 89 тысяч нецензурных слов. С его помощью Алиса понимает, когда к ней обращаются грубо.

В большинстве случаев это решает все проблемы с вежливостью. Но не во всех. Изменения в Алисе происходят регулярно. Всегда есть риск, что после переобучения нейросети ответы Алисы ухудшатся, поэтому все новые версии мы тестируем на специальных списках с примерами оскорбительных фраз. Это помогает нам отловить проблемы до того, как с ними столкнутся пользователи.

Результат работы нейросети может быть непредсказуем. К примеру, если она сталкивается с текстом, который не похож на то, что было в обучающих примерах. Поэтому мы не можем однозначно предсказать, что скажет Алиса в ответ на неожиданную для нее реплику. Иногда она может повести себя не слишком умно. Люди, впрочем, тоже могут легко обматерить помощника в ответ.

Да, Алиса не ответит на грубость, но если реакция человека была вызвана несовершенством голосового помощника, то наша задача — найти и исправить причину. Для этого мы стали автоматически определять по ответу пользователя, доволен ли он общением. Если человек явно возмущен, значит, что-то идет не так. И если после обновления Алисы мы видим всплеск нецензурных слов, это сигнал разобраться в причинах. Можно сказать, что когда вы ругаете Алису, где-то в Яндексе грустит разработчик.

Бывает, дерзкие ответы Алисы даже нравятся людям. Например, некоторые пользователи специально ищут способы спровоцировать помощника на оскорбительный ответ и радуются, когда это удается. В узких кругах это превратилось чуть ли не в спорт. Поэтому мы не полагаемся только на реакцию пользователей, а продолжаем собирать примеры неуместных ответов, которые используются для дообучения нейросети.

На текущих решениях мы, конечно, не остановимся. Наша задача сделать так, чтобы Алиса и дальше оставалась добрым и вежливым голосовым помощником, который умеет обижаться, но всегда придёт на помощь.