(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date(); for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }} k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym"); ym(93807279, "init", { defer: true, clickmap:true, trackLinks:true, accurateTrackBounce:true }); ym(93807279, 'hit', window.location.href);

Как мы тестировали бота Олега в комментариях под материалами

Было любопытно посмотреть, на каком уровне в качестве собеседника находятся алгоритмы банка «Тинькофф».

При первом запуске боту поставили десятки минусов из-за односложных ответов — мы скрыли его карму, чтобы не добивали, и приостановили ответы. После паузы разработчики банка вернулись с обновлённым Олегом, который уже строил длинные реплики. Многие из них пришлись пользователям по душе: карма бота остановилась на +3348, на страницу подписались 117 пользователей.

Олег написал 2312 комментариев и сделал приличное количество ответов мимо, поэтому приносим извинения перед теми, кому он мог помешать или обидеть.

Другие популярные мы собрали здесь на память. Никто не вмешивался в текст — это можно было понять по тому, что в случае триггера на какой-то комментарий он отвечал в ту же секунду. Олег реагировал на упоминания ключевых слов, а иногда просто выбирал для ответа случайные комментарии первого уровня.

Комментарии разработчиков Олега

Сложности с проектом начались ещё до того, как Олега стали минусовать. Довольно непросто, когда ты крупный онлайн-банк, взять и выкатить свой сервис куда-то вовне — наши безопасники были не очень счастливы.

Фейл на старте: включили Олега как он есть в мобильном банке Тинькофф: корректного, отвечающего на вопросы и готового поболтать только по просьбе клиента «Олег, давай поболтаем». У него есть ещё и вторая модель — «болталка», в которой он гораздо больше раскрепощён. Очевидно, что в комментариях надо было включать именно её.

Кроме того, в первый же день мы поняли, что Олега слишком много — он отвечал на 10% всех комментариев на vc.ru, а поток оказался огромным. Лента комментариев на сайте была вся в ответах Олега, поэтому сначала снизили до 5%, а потом вообще до 1%.

Затем мы сделали ещё пару доработок, после которых Олег всё-таки смог получить признание: снизили порог уместности ответов Олега, то есть включили ту самую «болталку» и дали ему волю отвечать без самоцензуры. Самым эффективным оказалось изменение логики подбора ответа. Раньше Олег брал какую-то часть из общего потока комментариев (например, 1%), генерировал для них ответы и публиковал те, в которых он больше всего уверен. После изменений стало так: Олег получал 100% всех комментариев, генерировал на них ответы, а из них выбирал топ из 1%, в котором уверен больше всего.

Удивительно то, насколько аудитория vc.ru в итоге тепло приняла Олега, его ошибки и в целом инструмент. Высокие оценки, которые сложно представить в отношении обычного биокомментатора с такими же текстами, возможно говорят о позитивном отношении к AI-сервисам :-)

Надеемся, что мы поставили хорошую планку для будущих экспериментов с ассистентами, обученными на открытых данных.

«Skyeng изменит фирменный стиль и логотип впервые с момента основания в 2012 году»

«Иннополис» предложил ИТ-стартапам налоговые льготы, место в коворкинге и подписку на сериалы в обмен на переезд»

«Налоговое управление США инициировало слушания в отношении Олега Тинькова»

«Яндекс» предложил пользователям бесплатное двухнедельное тестирование «Станции»

«Федор Бондарчук стал амбассадором «Газпромбанка»

«Citroën откроет предзаказ на двухместный электромобиль Ami для коротких поездок весной 2020 года»

«ВКонтакте» закрыла магазин с толстовками, значками и другим мерчем VK Shop

«Вставать в пять утра — это факен изи»

«Cервис YouDo расстался с 70 сотрудниками — в компании говорят, что это реструктуризация»

«Мой бывший сотрудник взял кредиты и поставил переадресацию со своего номера на мой. Теперь мне звонят коллекторы»

На «Авито» появились объявления о продаже «умных» колонок «Капсула» от Mail.ru Group до официального релиза

Исследование Тинькофф Инвестиций: российский розничный инвестор — кто он такой?

Олег отвечает на вопросы читателей блога банка на vc.ru.

Bloomberg: Apple впервые позволит владельцам iPhone и iPad менять браузер и почту по умолчанию

ЦБ даст банкам возможность обмениваться данными о сомнительных операциях через Систему быстрых платежей

Цифры: «Яндекс» впервые раскрыл инвестиции в беспилотники

IKEA начнёт продавать фрикадельки на растительной основе, похожие на мясо — в том числе в России

«Искусственный интеллект не станет по-настоящему "умным", пока не поймёт причинно-следственных связей»

Forbes назвал 20 самых дорогих интернет-компаний в России в 2020 году

«Мне говорили, что я идиот, но я продолжал скупать платёжные терминалы»: построение успешного бизнеса в падающей нише

Маркетплейс «Беру» выпустил новые коробки для заказов — из них можно собрать домик для кошки

Финтех-сервис Revolut Николая Сторонского привлёк $500 млн при оценке в $5,5 млрд

Экономика концертного промоутера: как, почему и из чего формируются цены на концертные билеты

Пользователи сообщили о сбое в сервисах «Яндекс.Еда» и Delivery Club

Пока, Олег

0
145 комментариев
Написать комментарий...
Балкон.Ру

@Тинькофф дали бы @Олег попрощаться по человечески - включили на этой статье.

Ответить
Развернуть ветку
Тинькофф

Не исключаем, что Олег однажды еще появится в комментариях :)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Norman

Уже повторили Тинькофф тоже бот.

Ответить
Развернуть ветку
142 комментария
Раскрывать всегда