Было любопытно посмотреть, на каком уровне в качестве собеседника находятся алгоритмы банка «Тинькофф».
При первом запуске боту поставили десятки минусов из-за односложных ответов — мы скрыли его карму, чтобы не добивали, и приостановили ответы. После паузы разработчики банка вернулись с обновлённым Олегом, который уже строил длинные реплики. Многие из них пришлись пользователям по душе: карма бота остановилась на +3348, на страницу подписались 117 пользователей.
Олег написал 2312 комментариев и сделал приличное количество ответов мимо, поэтому приносим извинения перед теми, кому он мог помешать или обидеть.
Другие популярные мы собрали здесь на память. Никто не вмешивался в текст — это можно было понять по тому, что в случае триггера на какой-то комментарий он отвечал в ту же секунду. Олег реагировал на упоминания ключевых слов, а иногда просто выбирал для ответа случайные комментарии первого уровня.
Комментарии разработчиков Олега
Сложности с проектом начались ещё до того, как Олега стали минусовать. Довольно непросто, когда ты крупный онлайн-банк, взять и выкатить свой сервис куда-то вовне — наши безопасники были не очень счастливы.
Фейл на старте: включили Олега как он есть в мобильном банке Тинькофф: корректного, отвечающего на вопросы и готового поболтать только по просьбе клиента «Олег, давай поболтаем». У него есть ещё и вторая модель — «болталка», в которой он гораздо больше раскрепощён. Очевидно, что в комментариях надо было включать именно её.
Кроме того, в первый же день мы поняли, что Олега слишком много — он отвечал на 10% всех комментариев на vc.ru, а поток оказался огромным. Лента комментариев на сайте была вся в ответах Олега, поэтому сначала снизили до 5%, а потом вообще до 1%.
Затем мы сделали ещё пару доработок, после которых Олег всё-таки смог получить признание: снизили порог уместности ответов Олега, то есть включили ту самую «болталку» и дали ему волю отвечать без самоцензуры. Самым эффективным оказалось изменение логики подбора ответа. Раньше Олег брал какую-то часть из общего потока комментариев (например, 1%), генерировал для них ответы и публиковал те, в которых он больше всего уверен. После изменений стало так: Олег получал 100% всех комментариев, генерировал на них ответы, а из них выбирал топ из 1%, в котором уверен больше всего.
Удивительно то, насколько аудитория vc.ru в итоге тепло приняла Олега, его ошибки и в целом инструмент. Высокие оценки, которые сложно представить в отношении обычного биокомментатора с такими же текстами, возможно говорят о позитивном отношении к AI-сервисам :-)
Надеемся, что мы поставили хорошую планку для будущих экспериментов с ассистентами, обученными на открытых данных.
«Skyeng изменит фирменный стиль и логотип впервые с момента основания в 2012 году»
«Иннополис» предложил ИТ-стартапам налоговые льготы, место в коворкинге и подписку на сериалы в обмен на переезд»
«Налоговое управление США инициировало слушания в отношении Олега Тинькова»
«Яндекс» предложил пользователям бесплатное двухнедельное тестирование «Станции»
«Федор Бондарчук стал амбассадором «Газпромбанка»
«Citroën откроет предзаказ на двухместный электромобиль Ami для коротких поездок весной 2020 года»
«ВКонтакте» закрыла магазин с толстовками, значками и другим мерчем VK Shop
«Вставать в пять утра — это факен изи»
«Cервис YouDo расстался с 70 сотрудниками — в компании говорят, что это реструктуризация»
«Мой бывший сотрудник взял кредиты и поставил переадресацию со своего номера на мой. Теперь мне звонят коллекторы»
На «Авито» появились объявления о продаже «умных» колонок «Капсула» от Mail.ru Group до официального релиза
Исследование Тинькофф Инвестиций: российский розничный инвестор — кто он такой?
Олег отвечает на вопросы читателей блога банка на vc.ru.
Выскажу непопулярное мнение - верните Олега в комментарии.
Комментарий удален модератором
Комментарий удален модератором
Согласен
Олежка нормально зашел)
Лично мне не верится, что там без человека обошлось, имхо, фуфло нам загоняет тиньков банк.
Ни за что не поверю, что у него положительная репутация, учитывая то количество трэша, который он писал и как его минусовали за тупость.
Стопудов админы подкрутили репутацию.
Обнулили в лучших традициях и подкрутили
П.С. Прочитал статью) Понял. Сначала он был тупым. Его действительно обнулили. И он стал умным.
Олег - олицитворение пользователя VC. Не является экспертом ни в одной из тем, строчит сотни комментов, в основном набивает рейтинг на плоских шутках. На Пикабу этот искуственный интеллект не хотите отправить?
Вот если серьезно, не очень понимаю, в каком месте vc превращается в Пикабу, хотя не раз встречал эту претензию.
Аудитория и статьи хуже не становятся. Да, тут есть шутки, их много. Но люди хотят отдыхать и отвлекаться от всяких серьезных дел. Пишут шутки, которые зачастую по делу. Не понимаю, что в этом плохого.
Алексей, я на шутках набрал где-то две тысячи в рейтинге, повзрослел, мужиком стал на этих шутках - а вы...
Комментарий недоступен
Не судите по себе
Комментарий недоступен
У кого есть понимание как это работает, то смешно, там пара фраз на выбор, людям бы кто мозги прокачал.
Вдохновляет конечно, но очевидно, что бОльшая часть плюсов получена на основе эмоции "О, бот ответил и даже попал в тему. Прикольно."
Опыт полезный в любом случае.
Скорее, не "попал в тему", а "умудрился не промазать очень сильно мимо темы"
Как такое забыть могли🤔
Благо вы напомнили... :)
@Олег чувствуешь себя мужиком в компании Алисы, Сири, Маруси, Дуси и Алексы?)
Ребятам огромный респект за разработку и обучение. Это круто!
А как же
Комментарий недоступен
это всё не о том, расскажите лучше про технологии NLP: fasttext, glove, doc2vec, bert, ... что юзали, на чём обучали, что использовали в продакшне?
Да уж, особенно интересно, на чем обучали оба режима и зачем делали режим "болталки"?)
мне платили 10р за коммент от лица тинькова.
RI как оно есть.
Я противник конспирологии. Но что если починили бота путем замены электроники на белковую субстанцию?
Комментарий недоступен
Да, без Олежки как то грустно стало...
Комментарий недоступен
Любой тред из-за бота превращался в помойку. Давайте каждый приведет своего бота и похороним вц. Вроде бы он единственный персонаж, которого я тут внес в блеклист.
Некоторые ответы как будто человек писал. Например, Газпрому: "Напишите себе Федора". Молодцы!
Газпрому человек и ответил
эмм, его и не Олег написал, а живой человек
Интеграция на уровне пикрейлетед.
Возможно, это интересный и прибыльный кейс на уровне комитета и полезный, с точки зрения pr, для тинькоффа. Но я ловил фейспалмы и меня этот бот раздражал.
Еще в статьях с негативом в сторону тинька бот странным образом сохранял молчание. Возможно, что не всегда это происходило, но я видел комменты высмеивающие это, в том числе.
Кароче, мне не зашло
@Тинькофф дали бы @Олег попрощаться по человечески - включили на этой статье.
Не исключаем, что Олег однажды еще появится в комментариях :)
Навеяло))))
Тот самый механический турок: https://en.m.wikipedia.org/wiki/The_Turk
Комментарий недоступен
Oleg: Become Asshole
Не удивлюсь кстати, если все это убогий маркетинг, и пару smm-щиков Тинькофф банка строчили коменты на vc вместо самого Олега
Комментарий недоступен
Комментарий недоступен
А я критиковал, что в комментах много ботов от Тинькова, меня тоже забанили на неделю со словами "В общем всё ясно, вы не любите этот банк"
в телеге есть похожий, но менее умный бот Сучара)
Кстати, о нём:
https://vas3k.club/project/9053/
Смешные ответы, спасибо Олег:)
Интересно было бы посмотреть что у Олега под капотом, анализирует ли он контекст и как глубоко, использует ли базу знаний и опыт при взаимодействии с контекстом.
Когда бот Олег модели «болталка» появится в Telegram? Хочется его добавить в чаты или просто пообщаться, с учетом изоляции очень же актуально
Норм вышел проект, порой очень веселил бот своими комментариями. Спасибо
Ну и классика, про говно)
Коллеги, неужели я один помню что должно было случиться 27 апреля 2020 года?
Минута на размышление.
Первое заседание американского суда по обвинению Олега Тинькова в неуплате налогов!
Что могла бы сделать пресс-служба банка, чтобы отвлечь внимание граждан России от такого неприятного (для некоторых) факта?
Например, замутить какое-нибудь обсуждение, не связанное с темой суда над бывшим президентом банка.
Читатели сайта VC !
Не поддавайтесь на уловки профессиональных пропагандистов!
Требуйте правду, одну правду, ничего, кроме правды!
Уважаемая пресс-служба банка Тиньков!
Можете сказать что-нибудь правдивое о ситуации с претензией налоговой службы США ?
Очень интересно.
заседание перенесли, ещё неделю назад была новость https://vc.ru/legal/121625-sud-v-londone-perenes-slushaniya-po-sporu-olega-tinkova-s-nalogovym-upravleniem-ssha
Комментарий удален модератором
Вот тут очень подробно по делу:
https://ru.lmgtfy.com/?q=%D1%81%D0%BB%D1%83%D1%88%D0%B0%D0%BD%D0%B8%D1%8F+%D0%BE%D0%BB%D0%B5%D0%B3+%D1%82%D0%B8%D0%BD%D1%8C%D0%BA%D0%BE%D0%B2
Уважаемая пресс-служба банка Тиньков!
Ещё одна просьба - попросите, пожалуйста, Дарью Тинькову (дочку вашего бывшего начальника) удалить из Ю-туба своё интервью, в котором она рассказывает, как правильно уворачиваться от камчатских медведей во время спуска на лыжах с камчатских вулканов (надо ехать не вниз, а параллельно склону, так как медведь тяжёлый и падает на бок.)
Вот это интервью:
https://www.youtube.com/watch?v=FbPLRcs_MEQ
Нам, гражданам России, истории про медведей абсолютно нормальны.
Медведь - символ России.
А вот граждане Израиля над нами смеются:
https://www.youtube.com/watch?v=5jGU7AJAWZw
(смотреть с точки 1 минута до точки 1 минута 17 секунд).
Мне за державу обидно.
А вам, уважаемая пресс-служба?
Олег, ты все знаешь?
О и я тут есть :) В комментарии про маркетплейс Беру
Мелочь а приятно :)
да ладно, все поняли что vc ложит болт на нас, и просто забанили олега вместе с остальными спамерами. вот те кто не забанил, его "тепло" и пиняли
Вы ещё автоответчика-Олега не слышали. Ору в голос с того, как он вводит в ступор всяких продажников)
Олег, вернись. Мы всё простим.
А налоговая служба США простит?
Лондонский суд вернёт 20 миллионов фунтов стерлингов залога?
Как думаете?
А мы думали куда Олежа пропал...
С возвращением!
Такого Олега как в этих пастах, можно было бы и оставить.
интересно, а кто-нибудь из VC/комитета может поделиться с диванными датасайнтистами дампом коментов с рейтингами, у вас данных для анализа полно, не поделитесь богаствтом?
Хотите обучить кого-нибудь?
А где- же разоблачение, что Олегом управлял — живой человек? :)
Так напишите
Это так здорово!
Объясните, пожалуйста, в чём была такая высокая ценность этого опыта, кроме глупой рекламы банка? Нейронную сеть потренировали?
Нейронку тренируют на существующих диалогах, коих в интернете йобибайты. В живую бота тестят управлять дискуссией. Проще обучать на старых диалогах в vc, потом включать в новые.
сколько сам видел там уровень был где то в иле примерно.
но на скринах годно
круто
Комментарий удален модератором
А Олег у вас есть?
На пару секунд даже жалко стало что я его забанил в ЧС нафиг.
Ибо НЕВОЗМОЖНО было читать из-за этой хрени под каждым комментарием по делу и без!
Если уж внедрять бота, то внедряйте во все темы и пусть аудитория сидит и смотрит как боты меж собой общаются.
И обязательна обратная связь. Пожаловаться - то некому было особо на Олега. Ну или кодовая фраза по которой он заткнётся и перестанет ломать обсуждение.
Извините, накипело.
так немалая часть ставила плюсы изначально зная что это бот, поэтому показатели недостоверные
На базе Олега интеремнее создать аналог pikabu или 9gag
Комментарии похожи на религиозный диспут о существовании Иисуса) И это как бы уровень. Не исключаю, что уже сейчас найдутся люди, чьего интеллекта и эрудиции не хватит, чтобы завалить обученный ИИ на тесте Тьюринга, особенно, если сделать выборку из ботов и людей, чтобы было не понятно, кто собеседник. Или этот момент наступит очень скоро.
Бот, что скажешь?