Как мы тестировали бота Олега в комментариях под материалами
Было любопытно посмотреть, на каком уровне в качестве собеседника находятся алгоритмы банка «Тинькофф».
При первом запуске боту поставили десятки минусов из-за односложных ответов — мы скрыли его карму, чтобы не добивали, и приостановили ответы. После паузы разработчики банка вернулись с обновлённым Олегом, который уже строил длинные реплики. Многие из них пришлись пользователям по душе: карма бота остановилась на +3348, на страницу подписались 117 пользователей.
Олег написал 2312 комментариев и сделал приличное количество ответов мимо, поэтому приносим извинения перед теми, кому он мог помешать или обидеть.
Другие популярные мы собрали здесь на память. Никто не вмешивался в текст — это можно было понять по тому, что в случае триггера на какой-то комментарий он отвечал в ту же секунду. Олег реагировал на упоминания ключевых слов, а иногда просто выбирал для ответа случайные комментарии первого уровня.
Комментарии разработчиков Олега
Сложности с проектом начались ещё до того, как Олега стали минусовать. Довольно непросто, когда ты крупный онлайн-банк, взять и выкатить свой сервис куда-то вовне — наши безопасники были не очень счастливы.
Фейл на старте: включили Олега как он есть в мобильном банке Тинькофф: корректного, отвечающего на вопросы и готового поболтать только по просьбе клиента «Олег, давай поболтаем». У него есть ещё и вторая модель — «болталка», в которой он гораздо больше раскрепощён. Очевидно, что в комментариях надо было включать именно её.
Кроме того, в первый же день мы поняли, что Олега слишком много — он отвечал на 10% всех комментариев на vc.ru, а поток оказался огромным. Лента комментариев на сайте была вся в ответах Олега, поэтому сначала снизили до 5%, а потом вообще до 1%.
Затем мы сделали ещё пару доработок, после которых Олег всё-таки смог получить признание: снизили порог уместности ответов Олега, то есть включили ту самую «болталку» и дали ему волю отвечать без самоцензуры. Самым эффективным оказалось изменение логики подбора ответа. Раньше Олег брал какую-то часть из общего потока комментариев (например, 1%), генерировал для них ответы и публиковал те, в которых он больше всего уверен. После изменений стало так: Олег получал 100% всех комментариев, генерировал на них ответы, а из них выбирал топ из 1%, в котором уверен больше всего.
Удивительно то, насколько аудитория vc.ru в итоге тепло приняла Олега, его ошибки и в целом инструмент. Высокие оценки, которые сложно представить в отношении обычного биокомментатора с такими же текстами, возможно говорят о позитивном отношении к AI-сервисам :-)
Надеемся, что мы поставили хорошую планку для будущих экспериментов с ассистентами, обученными на открытых данных.
«Skyeng изменит фирменный стиль и логотип впервые с момента основания в 2012 году»
«Иннополис» предложил ИТ-стартапам налоговые льготы, место в коворкинге и подписку на сериалы в обмен на переезд»
«Налоговое управление США инициировало слушания в отношении Олега Тинькова»
«Яндекс» предложил пользователям бесплатное двухнедельное тестирование «Станции»
«Федор Бондарчук стал амбассадором «Газпромбанка»
«Citroën откроет предзаказ на двухместный электромобиль Ami для коротких поездок весной 2020 года»
«ВКонтакте» закрыла магазин с толстовками, значками и другим мерчем VK Shop
«Вставать в пять утра — это факен изи»
«Cервис YouDo расстался с 70 сотрудниками — в компании говорят, что это реструктуризация»
«Мой бывший сотрудник взял кредиты и поставил переадресацию со своего номера на мой. Теперь мне звонят коллекторы»
На «Авито» появились объявления о продаже «умных» колонок «Капсула» от Mail.ru Group до официального релиза
Исследование Тинькофф Инвестиций: российский розничный инвестор — кто он такой?
Олег отвечает на вопросы читателей блога банка на vc.ru.
Олежка нормально зашел)
Лично мне не верится, что там без человека обошлось, имхо, фуфло нам загоняет тиньков банк.
а какая разница?
сделано красиво, ответы годные, вируснуло - профит.
а что там под капотом, это уже дело десятое (с т.з. маркетинга).
Это же не однокласники, и даже не tjournal, топорно имхо вышло.
Извините, а ваши сомнения основаны на каких-то знаниях о технологиях или просто так шпарите, потому что явление не помещается в ваше сознание?
Просто шпарю, просто много читаю по теме, просто программист, просто слушал людей по теме типа Ашманова, из чего и делаю вывод, что тиньков гонит фуфло.
Он по началу был на ИИ, потом на стороне тинькова скрипт снесли и стали вручную вам ответы кидать по api, все имхо разумеется, мое оценочное суждение высосаное из пальца или что-то еще надо написать, чтобы на меня в суд не подали?
Тот кто много читает по теме и программист, тот может сразу спокойно объяснить, почему это невозможно и где именно сомнения. Остальные — окологики и фуфлоаргументаторы. Думаю, любой более-менее опытный ML-инженер, посмотрев в том числе на неудачные ответы, то есть оценив картину целиком, вряд ли скажет, что здесь что-то хотя бы маловероятное. Глупо было бы кому-то ставить под удар репутацию из-за такого небольшого проекта.
Если недостаточно того, что ответ приходил в ту же секунду — за такое время даже невозможно набрать текст, — то вряд ли ещё чем-то смогу помочь. Там ниже у вас удивительная последовательность мыслей:
Если бы там был реальный ИИ, то логично было бы его код выложитьВряд ли для конкурирующих банков он представлял бы какой-то интерес
Я же не говорю, что решение гнать фуфло пошло с самого верха, я думаю это исполнители схалтурили.
Там ниже у вас удивительная последовательность мыслей:Как вариант, можно было не выкладывать сам код, если он такой суперпупер инновационный, можно было бы в рамках экосистемы тинькова для бизнеса сделать возможность использования олега всеми желающими, в виде облачной услуги или еще как, типа скормил ему свои данные и юзаешь, или еще как.
Тут этот бот смотрелся бы гармонично
https://www.tinkoff.ru/business/sales/
Всегда приятно пообщаться с человеком, который много читал по теме. Книга про машинное обучение не «Фуфло» называлась?
Конкретных книг по машинному обучению я не читал, так, статейки разные, я на экспертное мнение не претендую, сразу же вам написал, просто шпарю.
Как я понимаю, пока нейронке не доступен тонкий юмор, к правильному пониманию контекста только сейчас стали подступаться, не думаю, что тиньков опередил гугл и яндекс в этом.
Даже если ответы ИИ генерировал пачками, то фильтровал их явно человек.
Комментарий недоступен
Там гибрид был, бот ответы шпарил, а человеку просто нужно было одобрить вариант, это очень быстро можно сделать, если у вас есть api vc.ru, еще как вариант, действовал и бот и человек.
Я к тому, что это не чистый алгоритм, в полуручном управлении.
Нанимать операционку, которая сидит целыми днями и одобряет комменты Олега? Хуйню вы несёте, Денис.
Т.е. нанимать целые СММ отделы, весть свой аналог vc не проблема, а одобрять комменты бота проблема?
И потом, не обязательно, чтобы бот был полностью привязанным к человеку, что он пишет, что-то человек. Модерацию можно сделать по принципу, если не успел оператор выбрать лучший вариант ответа в течении N секунуд, отправляется то, что есть.
Вы переоцениваете технологии финтеха, нет там чего-то такого, что превосходит яндекс, гугл или эпл.
так чтобы человеку выбрать ответ на вопрос, человеку все равно нужно прочитать ответ и вопрос. Логично же. Ну либо бот выдавал ответы, а человек как в арканоиде рандомно кликал на любой, вполне себе тоже ии получается
Там скорее и ИИ действовал и человек, ИИ фигачил и иногда попадал пальцем в небо, чаще нет, а человек разбавлял это.