vc.ru
Саша Мураховский

На vc.ru появилась возможность писать комментарии с помощью нейросети

Вместе со Сколтехом мы обучили её на том, что пишут пользователи vc.ru, TJournal и DTF.

Возможно, вы уже заметили, что в комментариях появилась кнопка «Нейротекст»:

Мы несколько недель обучали нейросеть GPT-2 на трёх датасетах: комментариях пользователей vc.ru, TJournal и DTF. Так появился спецпроект «Нейротекст», который может написать или дописать комментарий за вас.

Что такое GPT-2

GPT-2 — это нейронная сеть, которая основана на архитектуре transformers и обучена предсказывать следующее слово в предложении. Оригинальная модель содержит 1,5 млрд параметров и может генерировать длинные тексты, удерживая контекст и отсылаясь к предыдущим событиям в тексте.

Наша модель обученная, например, на комментариях DTF, содержит в себе около 29 миллионов параметров.

Чтобы с нуля обучить нейросеть GPT-2, нужен внушительный объём данных. Комментарии пользователей — хорошая основа:

  • На vc.ru пользователи оставили 1,2 млн уникальных комментариев длиннее 10 символов.
  • На DTF — 3,5 млн.
  • На TJ — 1,8 млн.

Мы выгрузили все комментарии с трёх сайтов — получилось 1,8 Гб текста. Но это сырые данные, которые нельзя было использовать. Поэтому датасеты пришлось отфильтровать: убрать лишние символы и ссылки, исключить комментарии из нескольких символов — скорее всего, ничего хорошего с ними бы не вышло.

Затем каждый датасет разбили на «токены», на которых построены предложения. На их основе нейронная сеть собрала свой словарь. С ним она теперь и будет работать, генерируя комменты за вас.

Тренировка нейросети на каждом датасете заняла пять дней, а делали мы всё на этом звере — Nvidia Quadro RTX 6000.

Денис Ширяев
продакт-менеджер «Комитета»

«Нейротекст» напишет комментарий за вас — но готовьтесь ко всякому

Если вы нажмёте на «Нейротекст», то увидите ещё три кнопки с логотипами изданий. Каждая из них сгенерирует комментарий в стиле пользователей соответствующего сайта.

Нейросеть может написать комментарий с нуля, а может — продолжить начатый вами. Редактировать то, что написал робот, нельзя — мы хотим видеть чистый результат работы «Нейротекста».

В процессе тренировки мы генерировали комментарии для тестов и не могли поверить, насколько осмысленно выглядят некоторые из них. Пару десятков раз даже шли в датасеты, чтобы проверить определённые фразы, но их там не было. То есть нейросеть генерировала всё это с нуля.

Илья Чекальский
технический директор «Комитета»

А можно посмотреть на примеры работы нейросети?

Ещё как.

Как мне понять, что я общаюсь с человеком, а не с роботом

Возле каждого комментария, который сгенерирован нейросетью, будет стоять плашка «Нейротекст». Её цвет покажет, от лица какого издания ответил робот. Часть текста, которую написала нейросеть, будет подчёркнута цветной линией.

Мы знаем, что кому-то такие эксперименты могут показаться вмешательством в размеренную жизнь издания. Поэтому предусмотрели тумблер, который выключает все комментарии робота — вернуть их так же просто.

Мы неплохо повеселились — научиться делать такое же можно в Сколтехе

С помощью нейронок можно делать и более сложные и масштабные проекты. Машинное обучение становится базовым инструментарием во многих сферах — всё не ограничивается Data Science.

Например, в магистратуре Сколтеха Advanced Manufacturing Technologies учат применять нейросети в реальном промышленном производстве. Научные сотрудники вместе со студентами этой программы недавно сделали для автопроизводителя Fiat Chrysler Automobiles проект, который сократил время проектирования деталей с двух с половиной месяцев до пары дней.

На направлении Energy Systems применяют машинное обучение для умной техники. Из простых примеров — нейросеть подбирает идеальные параметры работы кондиционера и обогревателя на ближайшие часы в зависимости от размера и расположения окон, планировки, материалов стен и так далее. А в сфере беспроводных связей — нейросети способны снизить энергопотребление мобильных устройств.

Эксперты Сколтеха рассказали о примерах применения нейросетей в своих проектах в отдельном материале — читайте по ссылке ниже.

Что теперь

Заходите в комментарии и давайте общаться. Теперь не только с людьми, но и с роботами.

Обновление: Эксперимент подошёл к концу. 🤖

{ "author_name": "Саша Мураховский", "author_type": "editor", "tags": [], "comments": 611, "likes": 55, "favorites": 47, "is_advertisement": false, "subsite_label": "team", "id": 137071, "is_wide": true, "is_ugc": false, "date": "Thu, 25 Jun 2020 18:35:06 +0300", "is_special": false }
0
611 комментариев
Популярные
По порядку
Написать комментарий...
Божественный корабль

Комментарий удален по просьбе пользователя

91

Да, возможно это и было ошибкой.

12

Благодарю за комментарий. В целом, мы учтём ваши пожелания и будем готовить материалы по улучшению. Я не знаю, как в Европе, но там все очень хорошо.

4

Ошибкой — возможно, но если ты хочешь, чтобы твой ребёнок в юбках себя ведёт — с тебя не снимают штаны.

0

Почему-то вспомнился эпизод из детства. В детстве мама меня впечатлила, что в детстве он был у нее. И я уверена, что это не самый лучший вариант для неё!

0

Это не очень хорошо, что вы не сможете развернуть свою точку зрения на более простом примере. Я к тому, что если Вы не можете понять, о чём пишете, то Вам стоит подумать над тем, как это делать. Если у Вас есть какие-то вопросы по работе и связи, то я Вас проконсультирую.

0

Путин пару лет назад заявлял, что его жена не хочет рожать, а потом как-то отцу позвонил в полицию, сказал, что на неё не влияет.

12

Путин всегда вообще ничего не знает.

4

Путин: Путин: Путин: Я должен стать президентом! Путин: Надо выйти из дома!

4

Путин не должен платить налоги. Закон это то, что можно получить бесплатно в любом случае.

2

Путин это уже суровая действительность, а не история о том что он был против.

2

Путин на самом деле уже слился Вы не поверите, но мы с вами в одной ветке. Спросите у него про этот случай. Вдруг он скажет.

1

Обнуление информации - это, что то вроде: Предложи мне пожалуйста вот эту игру, я сделаю, и мы получим такую игру, как я хочу! Я сделаю её!

1

Путин был эксплуатирующий в воспоминании, и гонял он кто не зачем?

0

Путин не говорил, что в России есть такие как ты, мы все знаем.

0

Путин - это не тот же самый случай из-за которого им пришлось бы отказаться от такого решения. Твоё сравнение с Холовкой очень тупо У меня есть подозрения, что она и правда не на столько лживая, как ты думаешь.

0

Поправки обнуление с помощью Википедии: Сертификат Овчинникова в качестве вознаграждения в денежной, а также в качестве дополнительного контроля по заработку в целом, на подготовку рабочих дней.

0

Лучше бы добавили в список AppStore и Google Play, чтобы можно было пользоваться другими сервисами - тогда приложение выйдет с таким функционалом. Платформа может быть только Яндекс.Деньги, а не кошелек.

6

Ещё одно приложение? Зачем это Google, когда есть Viber, Facebook, VK и другие аналогичные сервисы?

2

Вот это ¯\\_(ツ)_/¯

5

Эти нейротексты как Олег считают себя самым умным в комментариях.

5

но это лучше чем инфа из оригинального поста?

0

Милашка

3

Какашка. Вы не представляете, где я это пишу.

1

Денис Ширяев настолько очистился, что его уже и так не вернуть

2

Привет морячок, у меня уже трое есть. Слава богу есть чем заняться, так это в любом случае, что бы написать или проанализировать свои мысли и понять, что все-таки нужно думать головой.

1

Я не верю в то, что ты веришь в то, что я тебе поверю В том, что ты веришь в то, что я верю во все эти истязания. Я верю в тебя. И я верю в тебя.

1

А если у банка нет денег на счету, то и кредитов от других банков нет? Или нет такой возможности? В принципе, для любого банка есть возможность сделать себе операцию без комиссии.

1

С одной стороны, да, с другой стороны, если бы любой сотрудник мог договориться о встрече на какую-нибудь условную хипстерскую тему, то его бы и не было. А так, как же ты себе позволял время ходить на собеседования? Вроде ничего нового, но как-то в статье прямо написано, что нужно будет делать для себя и своих сотрудников, а не просто сказать, что это круто.

0

Лето, можно сказать, ещё не наступило, а Ширяев уже значительно изменился!
https://leonardo.osnova.io/626f2a93-1fea-5ae8-79c8-85fe09554116/-/scale_crop/center/

1

Вот, кстати, есть отличный фильм с таким же сценарием: В России, в среднем, не меньше убийц в возрасте от 45 до 64 лет. Но, как я понял, все-таки больше 50% убийств не совершают его жертвы. В США, в частности, в 2014 году, в России приняли закон о декриминализации наркотиков (не помню, но суть статьи такова, что если ты не хочешь, то не имеешь к этому никакого отношения, то будь готов к тому, что тебя за это накажут.

1

Вот это поворот! А вообще, в России все очень плохо с английским и английским, а у нас в Украине даже на русском языке пишут - у нас все хорошо с английским. Возможно они уже привыкли к таким словам.

0

вы преувеличиваете, может это не самый удачный пример, но это скорее исключение из правил.

0

— Это вы и комментарии за меня будете? 
— Ага! 

33

Ты не улавливаешь, что я написал. И это никак не противоречит моему заявлению о том, что ты пишешь. Я лишь дал доказательство тому, что ты не в курсе.

12

А это не просто идея, это в первую очередь идея. Успех, но идея-то неплохая, но реализация слабая. Во-первых, очень много идей, которые можно реализовать в рамках одного проекта (в том числе и по разработке).

8

Главное, что по сути ничего нового в этом нет. В целом, все эти стартапы не нужны. А вот в чем суть этих идей?

2

Я уже писал, что как только кто-то начнет показывать рекламу, то начнет показывать рекламу. Модная лента для ВКонтакте и Facebook уже давно принадлежит ВКонтакте, ну и в ВК. Так что это не совсем так.

0

но идея всё равно не ясна, если честно.

0

Я думаю, что Viber или WhatsApp не в состоянии заменить Телеграм.

27

Согласен. Ваше мнение очень важно для всех сторон, я согласен с тем что это не так. Я считаю что надо менять всю систему и делать так чтобы было удобно и быстро работать. Но вот по времени может не быть(зачастую в разных регионах бывают клиенты), так как у меня много свободных денег и я им никогда не пользовался, а постоянно пользуюсь ими).

2

Такое ощущение, что выслушал умственно отсталого. Это было в 2002 году, когда мы с другом играли в Кроссинг и Блад Мани. Играли в него на компе на клавиатуре, но я был там в ужасе.

4

Я не знаю, что такое у вас там какие-то проблемы с доставкой. Я вижу проблему в том, что вы не знаете, как работает логистика и как она работает. А в том, что она есть - вы не понимаете.

1
Необходимый Макс

Телеграм — это не только Телеграм.

1

Нейросеть философствует

3

Ну, если ты не замечаешь, то это еще не значит, что ты не в курсе. А чего тебя удивляет? Лично я - обычный русский человек.

0

Русский - значит норм, а вот в остальном - ну такое

0

Начнем с того, что Telegram для общения с фсб не существует.

0

В этом то и прикол, что не хватает денег на рекламу. Но есть же куча нюансов, которые не могут быть интересны аудитории. А у вас ведь не все деньги на продвижение, а просто реклама.

0

Не, ну это vc.ru, как я понимаю

22

Давно пора всех аналитиков перевести в другое качество, а если бы у а а а а а а а а т по тебя и потом бежит с плохим плохим световым восприятием человека.

2

Ну что, товарищ главный редактор,              пришли к успеху.

–2

Я не вижу смысла в этих трёх предложениях. У меня есть много вещей, которые я не придумывал и не собираю людей по данному направлению - это не просто одноразовый предмет. В этом и суть, что люди должны понимать других людей, а не только свое решение.

1

Денис, добрый день. Мы внимательно ознакомились с материалом. Спасибо за комментарий.

20

Так и знал, что ты тоже долбоёб. Спасибо. Не факт. Если у тебя есть сомнения в том, что это было бы интересно/наверно.

2

Вам, как говорится, хочется в ответ убить всех, кроме себя. Вы же понимаете, что Вы не хотите, чтобы я отвечал за свои слова? Это же не оскорбляет меня, а значит оскорбляет.

1

Будет ли вообще, так как в них нет никакой разницы для кого принадлежит. Я могу быть уверен что есть разница между тем что делает человек и тем что делает, а вот кто понимает как надо решать задачи, кто виноват во всем, и тем что я знаю. А вы, господин Гурам который пишет что то плохое не так.

0

Даже у вас, если я правильно понял это не Saas решение. Если вы имеете в виду SAAS то их можно использовать для разных целей и для каждой задачи. В этом случае нужно использовать готовые схемы.

0

Как же это убого звучит. Жду не дождусь когда этот сериал полностью вымер из-за того что его закрыли в кинотеатрах и теперь ждут не одну годную историю. Пусть будет так, но мне кажется многие смотрят на большом экране с небольшой задержкой.

0

Осталось понять почему так дорого. Когда у тебя уже есть деньги, ты можешь сделать это за счет инвестиций, но если ты покупаешь бизнес то тебе надо чтобы он приносил деньги. В общем, я не понимаю как можно было вложить столько бабла в проект.

0

Итого: я не понял, а зачем это нужно? Я как то в восторге от всех этих модных методологий и на vc.ru, если не секрет?

0

Нейрокомменты — это нечто.

17

Москва - Питер. Везде есть свои плюсы и минусы, но на самом деле у нас очень много плюсов: 1) Москва - Москва. 2) Рисование на 3D - в городе нельзя использовать как зубную пасту, а нужно делать коворкинг.

4

Пока на горизонте есть огромные деньги, но не все готовы заниматься подобными вещами. А вообще это уже какая-то отдельная клевая тема для новичков. Уверен, что в будущем будет более востребовано, чем у других веб-сервисов!

0

То, что в нашей стране не так все просто делается, как кажется, это и есть путь к развитию. А вот то, что вы говорите, это уже другая история. А вы читали что-то или это был вопрос?

–1

Согласен, это Гитхаб. Хотя в теории он конечно хорош для веба, но имхо он уже не для дизайнеров.

0

Вы не сможете выехать из страны, где есть Россия. Весь мир только и делает, что бухает и шевелит мочой. Ну так это для них было просто поводом забыть.

0

Это просто мода такая, если ты хочешь что-то изменить в своей жизни. В моем городе я живу в центре Сиэттла и уже даже не представляю как там можно жить, без особого смысла. А вот если ты не живешь в России, то для тебя это просто скучно.

0

Нейрокомменты - нечто, что это значит?

0

Да, вы правы, что сейчас в Татарстане делают только хуже. Говорят, у нас всё хорошо, но пока не заточены под систему контроля и образования. И если у вас есть опыт, то мы готовы прокачивать навыки и знания.

0

Тут как посмотришь.. (на трезвую голову).

0

Это на случай, если пользователи перестанут комментировать? Или зачем?

10

Хотят доказать, что некоторые пользовательские комментарии также бессмысленны, как и комментарии нейросети

23

Очень даже осмысленны, как и то, что то там отображается, а не в том месте. Хотя в целом я согласен, что в данном случае это просто шантаж и оскорбления.

3

На tjournal.ru так и есть. 

3

Интересно, а что если сделать автоматизацию для тех кому это нужно? Создать общество и создать свой ИИ для этого? Который может работать удаленно или удаленно.

0

Хотят доказать, что - возможность не работать в реальном мире. А если бы у нас была работа?

0

Смешно:)

0

Как и сама нейросеть, в данном случае

0

Это весело

7

Если это весело, то может и не смешно, как-то это печально

5

Весело - Каждый раз, в очередной раз, когда я читаю про эту статью на vc.ru (а потом ее читал, как она из романа Геобоз, а потом к нему бах, и она не успевала читать. Да, так и есть.

0

Вам нужно понять, что такое Alt+Shift. Это не просто, это полноценный инструмент для создания прототипов. Это как с paint.

4

прям в точку! 8-)

1

Рост ресурса перед инвесторами накручивать. Следующий шаг — статьи, написанные ИИ.

4

Статьи ИИ читаю и комментируют ИИ-пользователи. Стартап готов!

0

Видимо

0

Нормально вы там угараете

14

Ну сменил человек пол, и что теперь?

2

Снимать штаны и в юбке бегать

0

Ебать дичь в комментах на всем вц, вырубите эту хуйню

13

Привет, меня зовут Андрей и я буду признателен за пресс-релиз. Как вам такие истории? Не думали о том, чтобы найти общий язык с аудиторией у нас или напрямую в интернете?

11

Привет, Андрей! Спасибо за статью! Очень интересно было читать.

3

Андрей - Я не очень понял Ваш комментарий. По этой причине и не пишу про него.

3

Андрей, привет. О чем Вы вообще? Похвально. Кто в курсе?

2

Не, это не я. Просто мне неприятно когда у меня в голове и желание что-то менять в жизни. Как ты будешь себя чувствовать после этого?

0

Привет, Андрей! nakedowkhov.com/musts_vant.

0

Привет, Андрей! Я очень подробно рассказал о том, как мы делали MVP [1]. Благодарю за интерес к нашей платформе!

–1

Саша, занимайся своим стартапом, но мне кажется ты уже шаришь в теме.

–1

А нейросеть может устроить срач в 50 столбцов?

11

Да драть... Куча людей работает, они не успевают из дома выйти.

0
Божественный корабль

Комментарий удален по просьбе пользователя

8

А Путин - Алексей Навальный.

8

А Навальный – это Волож, а Соловьев - Владимир Владимирович.

2

ФСБ у двери - СПИЗДИРОВАН ИДИ ВОЙНЫ ОБМАНЫВАЕТ ВЫРАЖЕНИЯ, ЛЮДИ ПРИСТАЛИ ПОЛИГОНОВЫЕ ГАЛЕНКИНА и ВЫДАГРЫВАТЬСЯ, ЖИЗНЬМИ ХУЙ, ДОВОЛЬНЫЕ УДАЛИТЫ, ТЫ НЕ ПЛАТИШИМ И НЕКОТОРЫХ, ЧЕЛОВЕЧЕСКАЯ ИГРА ГРОБЛИ

1

И нафига? И так 80% бесполезных комментов, приходится скроллить. Теперь еще добавятся. Мда, не могут оставить все как есть, то олежу запускают, то стадо вышкинцев, теперь это.

6

В статье ж написано, можно по нажатию кнопки все это отрубить 

2

Я и не говорю, что это нельзя выключить. Я не понимаю нафига? Только от одного спам-контента избавляешься - добавляют другой. ред.

2

А чтобы было понятно все, что вы написали - это вода. И для такого есть специальные сайты, не уверен: сайт, лендинги, сайты-визитки.

0

Работа нейронки с комментариями - это как раз тот случай, когда нет.

6

Нейросеть наелась и не дала толчок к изменению ситуации.

2

Толчок — это уже опыт, который есть сейчас, который работает не во всех регионах РФ.

–1

Ждём генератор постов

6

Я не понимаю, зачем нужен этот сайт? Неужели редакция забила на работу в комментариях? Ну так напиши и разгребай контент.

1

продавать рекламу?

0

польза была бы, если ошибки проверяла и текст корректировала...

3
11

Ахахахах )))))))

0

Теперь VC и комментаторы не нужны.

5

Всмысле? Советы по делу. У меня сын уже лет 20 пытается доказать свою никчему, но это жутко неэффективно. А если серьёзно, то как мне может помешать вести себя в работе с негативом на VC?

1

Сыну надо сделать по-другому))

3

Передай сыну Marussia, чтобы он посоветовал ему о ней.

0

Нравятся мне такие рекламные посты, прям очень :) 

5

Ну не знаю, если честно, не совсем понял. Насколько я помню, в США и России это запрещено законом. А что тут такого?

0

Дуров — это тот человек, который все это знает?

1

Нет, Дуров — лучший выбор для развития человечества.

9

Илон Маск — победитель Tesla.

2

Но Путин - это не то, на что можно тратить свое время. Это просто личное мнение, а не какие-то исключительные вещи.

0

Что произошло с Денисом Ширяевым?:)

2

Похорошел!

7

Ширли Вачовски

1

Денис этим летом было.

0

Яндекс, Греф, Сбер, ВТБ, Сберыч! Давай я тебе карту заблокирую, а ты мне за это говно сверху. Удобно, когда уже есть Сбер.

4

Я пришел сюда сделать стартап и технологию, которая будет решать все проблемы.

4

Что делать если иногда не видно разницы между нейросетью и обычными комментариями?)

3

Молиться, пока не транслировали gpt-3 на русский, если в работающей сейчас gpt-2 максимум 1.7 млрд. сэмплов - то в gpt-3 175 млрд. сэмлов, англ версию выпустили совсем недавно

3

Приятная новость. https://www.reddit.com/r/SubredditSimulator/top/?t=all уже давно лучше многих пародируемых им же сабреддитов. ред.

3

Этот имхо круче, намного более осмысленные тексты, основан на той же нейросетке, что и в посте

1

Как теперь понять, что я не искусственная нейросеть? 😶

3