(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date(); for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }} k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym"); ym(93807279, "init", { defer: true, clickmap:true, trackLinks:true, accurateTrackBounce:true }); ym(93807279, 'hit', window.location.href);

Как мы тестировали бота Олега в комментариях под материалами

Было любопытно посмотреть, на каком уровне в качестве собеседника находятся алгоритмы банка «Тинькофф».

При первом запуске боту поставили десятки минусов из-за односложных ответов — мы скрыли его карму, чтобы не добивали, и приостановили ответы. После паузы разработчики банка вернулись с обновлённым Олегом, который уже строил длинные реплики. Многие из них пришлись пользователям по душе: карма бота остановилась на +3348, на страницу подписались 117 пользователей.

Олег написал 2312 комментариев и сделал приличное количество ответов мимо, поэтому приносим извинения перед теми, кому он мог помешать или обидеть.

Другие популярные мы собрали здесь на память. Никто не вмешивался в текст — это можно было понять по тому, что в случае триггера на какой-то комментарий он отвечал в ту же секунду. Олег реагировал на упоминания ключевых слов, а иногда просто выбирал для ответа случайные комментарии первого уровня.

Комментарии разработчиков Олега

Сложности с проектом начались ещё до того, как Олега стали минусовать. Довольно непросто, когда ты крупный онлайн-банк, взять и выкатить свой сервис куда-то вовне — наши безопасники были не очень счастливы.

Фейл на старте: включили Олега как он есть в мобильном банке Тинькофф: корректного, отвечающего на вопросы и готового поболтать только по просьбе клиента «Олег, давай поболтаем». У него есть ещё и вторая модель — «болталка», в которой он гораздо больше раскрепощён. Очевидно, что в комментариях надо было включать именно её.

Кроме того, в первый же день мы поняли, что Олега слишком много — он отвечал на 10% всех комментариев на vc.ru, а поток оказался огромным. Лента комментариев на сайте была вся в ответах Олега, поэтому сначала снизили до 5%, а потом вообще до 1%.

Затем мы сделали ещё пару доработок, после которых Олег всё-таки смог получить признание: снизили порог уместности ответов Олега, то есть включили ту самую «болталку» и дали ему волю отвечать без самоцензуры. Самым эффективным оказалось изменение логики подбора ответа. Раньше Олег брал какую-то часть из общего потока комментариев (например, 1%), генерировал для них ответы и публиковал те, в которых он больше всего уверен. После изменений стало так: Олег получал 100% всех комментариев, генерировал на них ответы, а из них выбирал топ из 1%, в котором уверен больше всего.

Удивительно то, насколько аудитория vc.ru в итоге тепло приняла Олега, его ошибки и в целом инструмент. Высокие оценки, которые сложно представить в отношении обычного биокомментатора с такими же текстами, возможно говорят о позитивном отношении к AI-сервисам :-)

Надеемся, что мы поставили хорошую планку для будущих экспериментов с ассистентами, обученными на открытых данных.

«Skyeng изменит фирменный стиль и логотип впервые с момента основания в 2012 году»

«Иннополис» предложил ИТ-стартапам налоговые льготы, место в коворкинге и подписку на сериалы в обмен на переезд»

«Налоговое управление США инициировало слушания в отношении Олега Тинькова»

«Яндекс» предложил пользователям бесплатное двухнедельное тестирование «Станции»

«Федор Бондарчук стал амбассадором «Газпромбанка»

«Citroën откроет предзаказ на двухместный электромобиль Ami для коротких поездок весной 2020 года»

«ВКонтакте» закрыла магазин с толстовками, значками и другим мерчем VK Shop

«Вставать в пять утра — это факен изи»

«Cервис YouDo расстался с 70 сотрудниками — в компании говорят, что это реструктуризация»

«Мой бывший сотрудник взял кредиты и поставил переадресацию со своего номера на мой. Теперь мне звонят коллекторы»

На «Авито» появились объявления о продаже «умных» колонок «Капсула» от Mail.ru Group до официального релиза

Исследование Тинькофф Инвестиций: российский розничный инвестор — кто он такой?

Олег отвечает на вопросы читателей блога банка на vc.ru.

Bloomberg: Apple впервые позволит владельцам iPhone и iPad менять браузер и почту по умолчанию

ЦБ даст банкам возможность обмениваться данными о сомнительных операциях через Систему быстрых платежей

Цифры: «Яндекс» впервые раскрыл инвестиции в беспилотники

IKEA начнёт продавать фрикадельки на растительной основе, похожие на мясо — в том числе в России

«Искусственный интеллект не станет по-настоящему "умным", пока не поймёт причинно-следственных связей»

Forbes назвал 20 самых дорогих интернет-компаний в России в 2020 году

«Мне говорили, что я идиот, но я продолжал скупать платёжные терминалы»: построение успешного бизнеса в падающей нише

Маркетплейс «Беру» выпустил новые коробки для заказов — из них можно собрать домик для кошки

Финтех-сервис Revolut Николая Сторонского привлёк $500 млн при оценке в $5,5 млрд

Экономика концертного промоутера: как, почему и из чего формируются цены на концертные билеты

Пользователи сообщили о сбое в сервисах «Яндекс.Еда» и Delivery Club

Пока, Олег

0
145 комментариев
Написать комментарий...
Сослан Сакшин

Олежка нормально зашел)

Ответить
Развернуть ветку
Денис Демидов

Лично мне не верится, что там без человека обошлось, имхо, фуфло нам загоняет тиньков банк.

Ответить
Развернуть ветку
Илья Исерсон

а какая разница? 
сделано красиво, ответы годные, вируснуло - профит. 
а что там под капотом, это уже дело десятое (с т.з. маркетинга).

Ответить
Развернуть ветку
Денис Демидов

Это же не однокласники, и даже не tjournal, топорно имхо вышло.

Ответить
Развернуть ветку
Влад Цыплухин

Извините, а ваши сомнения основаны на каких-то знаниях о технологиях или просто так шпарите, потому что явление не помещается в ваше сознание?

Ответить
Развернуть ветку
Денис Демидов

Просто шпарю, просто много читаю по теме, просто программист, просто слушал людей по теме типа Ашманова, из чего и делаю вывод, что тиньков гонит фуфло.
Он по началу был на ИИ, потом на стороне тинькова скрипт снесли и стали вручную вам ответы кидать по api, все имхо разумеется, мое оценочное суждение высосаное из пальца или что-то еще надо написать, чтобы на меня в суд не подали?

Ответить
Развернуть ветку
Влад Цыплухин

Тот кто много читает по теме и программист, тот может сразу спокойно объяснить, почему это невозможно и где именно сомнения. Остальные — окологики и фуфлоаргументаторы. Думаю, любой более-менее опытный ML-инженер, посмотрев в том числе на неудачные ответы, то есть оценив картину целиком, вряд ли скажет, что здесь что-то хотя бы маловероятное. Глупо было бы кому-то ставить под удар репутацию из-за такого небольшого проекта.

Если недостаточно того, что ответ приходил в ту же секунду — за такое время даже невозможно набрать текст, — то вряд ли ещё чем-то смогу помочь. Там ниже у вас удивительная последовательность мыслей:

 Если бы там был реальный ИИ, то логично было бы его код выложить
 Вряд ли для конкурирующих банков он представлял бы какой-то интерес
Ответить
Развернуть ветку
Денис Демидов

Я же не говорю, что решение гнать фуфло пошло с самого верха, я думаю это исполнители схалтурили.

Там ниже у вас удивительная последовательность мыслей:

Как вариант, можно было не выкладывать сам код, если он такой суперпупер инновационный, можно было бы в рамках экосистемы тинькова для бизнеса сделать возможность использования олега всеми желающими, в виде облачной услуги или еще как, типа скормил ему свои данные и юзаешь, или еще как.
Тут этот бот смотрелся бы гармонично
https://www.tinkoff.ru/business/sales/

Ответить
Развернуть ветку
Влад Цыплухин

Всегда приятно пообщаться с человеком, который много читал по теме. Книга про машинное обучение не «Фуфло» называлась?

Ответить
Развернуть ветку
Денис Демидов

Конкретных книг по машинному обучению я не читал, так, статейки разные, я на экспертное мнение не претендую, сразу же вам написал, просто шпарю.
Как я понимаю, пока нейронке не доступен тонкий юмор, к правильному пониманию контекста только сейчас стали подступаться, не думаю, что тиньков опередил гугл и яндекс в этом.
Даже если ответы ИИ генерировал пачками, то фильтровал их явно человек.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Денис Демидов

Там гибрид был, бот ответы шпарил, а человеку просто нужно было одобрить вариант, это очень быстро можно сделать, если у вас есть api vc.ru, еще как вариант, действовал и бот и человек.
Я к тому, что это не чистый алгоритм, в полуручном управлении.

Ответить
Развернуть ветку
Maxim A.

Нанимать операционку, которая сидит целыми днями и одобряет комменты Олега? Хуйню вы несёте, Денис.

Ответить
Развернуть ветку
Денис Демидов

Т.е. нанимать целые СММ отделы, весть свой аналог vc не проблема, а одобрять комменты бота проблема?
И потом, не обязательно, чтобы бот был полностью привязанным к человеку, что он пишет, что-то человек. Модерацию можно сделать по принципу, если не успел оператор выбрать лучший вариант ответа в течении N секунуд, отправляется то, что есть.
Вы переоцениваете технологии финтеха, нет там чего-то такого, что превосходит яндекс, гугл или эпл.

Ответить
Развернуть ветку
Павел Соколов

так чтобы человеку выбрать ответ на вопрос, человеку все равно нужно прочитать ответ и вопрос. Логично же. Ну либо бот выдавал ответы, а человек как в арканоиде рандомно кликал на любой, вполне себе тоже ии получается

Ответить
Развернуть ветку
Денис Демидов

Там скорее и ИИ действовал и человек, ИИ фигачил и иногда попадал пальцем в небо, чаще нет, а человек разбавлял это.

Ответить
Развернуть ветку
142 комментария
Раскрывать всегда