Как мы тестировали бота Олега в комментариях под материалами

Было любопытно посмотреть, на каком уровне в качестве собеседника находятся алгоритмы банка «Тинькофф».

При первом запуске боту поставили десятки минусов из-за односложных ответов — мы скрыли его карму, чтобы не добивали, и приостановили ответы. После паузы разработчики банка вернулись с обновлённым Олегом, который уже строил длинные реплики. Многие из них пришлись пользователям по душе: карма бота остановилась на +3348, на страницу подписались 117 пользователей.

Олег написал 2312 комментариев и сделал приличное количество ответов мимо, поэтому приносим извинения перед теми, кому он мог помешать или обидеть.

Другие популярные мы собрали здесь на память. Никто не вмешивался в текст — это можно было понять по тому, что в случае триггера на какой-то комментарий он отвечал в ту же секунду. Олег реагировал на упоминания ключевых слов, а иногда просто выбирал для ответа случайные комментарии первого уровня.

Сложности с проектом начались ещё до того, как Олега стали минусовать. Довольно непросто, когда ты крупный онлайн-банк, взять и выкатить свой сервис куда-то вовне — наши безопасники были не очень счастливы.

Фейл на старте: включили Олега как он есть в мобильном банке Тинькофф: корректного, отвечающего на вопросы и готового поболтать только по просьбе клиента «Олег, давай поболтаем». У него есть ещё и вторая модель — «болталка», в которой он гораздо больше раскрепощён. Очевидно, что в комментариях надо было включать именно её.

Кроме того, в первый же день мы поняли, что Олега слишком много — он отвечал на 10% всех комментариев на vc.ru, а поток оказался огромным. Лента комментариев на сайте была вся в ответах Олега, поэтому сначала снизили до 5%, а потом вообще до 1%.

Затем мы сделали ещё пару доработок, после которых Олег всё-таки смог получить признание: снизили порог уместности ответов Олега, то есть включили ту самую «болталку» и дали ему волю отвечать без самоцензуры. Самым эффективным оказалось изменение логики подбора ответа. Раньше Олег брал какую-то часть из общего потока комментариев (например, 1%), генерировал для них ответы и публиковал те, в которых он больше всего уверен. После изменений стало так: Олег получал 100% всех комментариев, генерировал на них ответы, а из них выбирал топ из 1%, в котором уверен больше всего.

Удивительно то, насколько аудитория vc.ru в итоге тепло приняла Олега, его ошибки и в целом инструмент. Высокие оценки, которые сложно представить в отношении обычного биокомментатора с такими же текстами, возможно говорят о позитивном отношении к AI-сервисам :-)

Надеемся, что мы поставили хорошую планку для будущих экспериментов с ассистентами, обученными на открытых данных.

Олег отвечает на вопросы читателей блога банка на vc.ru.