Вместе со Сколтехом мы обучили её на том, что пишут пользователи vc.ru, TJournal и DTF.
Возможно, вы уже заметили, что в комментариях появилась кнопка «Нейротекст»:
Мы несколько недель обучали нейросеть GPT-2 на трёх датасетах: комментариях пользователей vc.ru, TJournal и DTF. Так появился спецпроект «Нейротекст», который может написать или дописать комментарий за вас.
Что такое GPT-2
GPT-2 — это нейронная сеть, которая основана на архитектуре transformers и обучена предсказывать следующее слово в предложении. Оригинальная модель содержит 1,5 млрд параметров и может генерировать длинные тексты, удерживая контекст и отсылаясь к предыдущим событиям в тексте.
Наша модель обученная, например, на комментариях DTF, содержит в себе около 29 миллионов параметров.
Чтобы с нуля обучить нейросеть GPT-2, нужен внушительный объём данных. Комментарии пользователей — хорошая основа:
- На vc.ru пользователи оставили 1,2 млн уникальных комментариев длиннее 10 символов.
- На DTF — 3,5 млн.
- На TJ — 1,8 млн.
Мы выгрузили все комментарии с трёх сайтов — получилось 1,8 Гб текста. Но это сырые данные, которые нельзя было использовать. Поэтому датасеты пришлось отфильтровать: убрать лишние символы и ссылки, исключить комментарии из нескольких символов — скорее всего, ничего хорошего с ними бы не вышло.
Затем каждый датасет разбили на «токены», на которых построены предложения. На их основе нейронная сеть собрала свой словарь. С ним она теперь и будет работать, генерируя комменты за вас.
Тренировка нейросети на каждом датасете заняла пять дней, а делали мы всё на этом звере — Nvidia Quadro RTX 6000.
«Нейротекст» напишет комментарий за вас — но готовьтесь ко всякому
Если вы нажмёте на «Нейротекст», то увидите ещё три кнопки с логотипами изданий. Каждая из них сгенерирует комментарий в стиле пользователей соответствующего сайта.
Нейросеть может написать комментарий с нуля, а может — продолжить начатый вами. Редактировать то, что написал робот, нельзя — мы хотим видеть чистый результат работы «Нейротекста».
В процессе тренировки мы генерировали комментарии для тестов и не могли поверить, насколько осмысленно выглядят некоторые из них. Пару десятков раз даже шли в датасеты, чтобы проверить определённые фразы, но их там не было. То есть нейросеть генерировала всё это с нуля.
А можно посмотреть на примеры работы нейросети?
Ещё как.
Как мне понять, что я общаюсь с человеком, а не с роботом
Возле каждого комментария, который сгенерирован нейросетью, будет стоять плашка «Нейротекст». Её цвет покажет, от лица какого издания ответил робот. Часть текста, которую написала нейросеть, будет подчёркнута цветной линией.
Мы знаем, что кому-то такие эксперименты могут показаться вмешательством в размеренную жизнь издания. Поэтому предусмотрели тумблер, который выключает все комментарии робота — вернуть их так же просто.
Мы неплохо повеселились — научиться делать такое же можно в Сколтехе
С помощью нейронок можно делать и более сложные и масштабные проекты. Машинное обучение становится базовым инструментарием во многих сферах — всё не ограничивается Data Science.
Например, в магистратуре Сколтеха Advanced Manufacturing Technologies учат применять нейросети в реальном промышленном производстве. Научные сотрудники вместе со студентами этой программы недавно сделали для автопроизводителя Fiat Chrysler Automobiles проект, который сократил время проектирования деталей с двух с половиной месяцев до пары дней.
На направлении Energy Systems применяют машинное обучение для умной техники. Из простых примеров — нейросеть подбирает идеальные параметры работы кондиционера и обогревателя на ближайшие часы в зависимости от размера и расположения окон, планировки, материалов стен и так далее. А в сфере беспроводных связей — нейросети способны снизить энергопотребление мобильных устройств.
Эксперты Сколтеха рассказали о примерах применения нейросетей в своих проектах в отдельном материале — читайте по ссылке ниже.
Что теперь
Заходите в комментарии и давайте общаться. Теперь не только с людьми, но и с роботами.
Обновление: Эксперимент подошёл к концу. 🤖
Комментарий недоступен
Да, возможно это и было ошибкой.
Комментарий недоступен
Ошибкой — возможно, но если ты хочешь, чтобы твой ребёнок в юбках себя ведёт — с тебя не снимают штаны.
В России не так всё плохо, в Дагестане тоже. А вот в Дагестане - совсем другая история. Там про бизнес, про бизнес, про то что он еще и наемный менеджер, который хочет работать на дядю - все это дало бы тебе на заметку.
Почему-то вспомнился эпизод из детства. В детстве мама меня впечатлила, что в детстве он был у нее. И я уверена, что это не самый лучший вариант для неё!
Это не очень хорошо, что вы не сможете развернуть свою точку зрения на более простом примере. Я к тому, что если Вы не можете понять, о чём пишете, то Вам стоит подумать над тем, как это делать. Если у Вас есть какие-то вопросы по работе и связи, то я Вас проконсультирую.
Н|>ЕЗЫ КОМАРНЫХ УЖЕ ЕСТЬ НЕ ХВАребос.
Путин пару лет назад заявлял, что его жена не хочет рожать, а потом как-то отцу позвонил в полицию, сказал, что на неё не влияет.
Путин всегда вообще ничего не знает.
Доброго времени суток. Я как-то до сих пор не понимаю, почему нельзя зарегистрироваться с таким названием без регистрации и смс. Что за бред?
Путин: Путин: Путин: Я должен стать президентом! Путин: Надо выйти из дома!
Ахахха, актуальненько
Путин не должен платить налоги. Закон это то, что можно получить бесплатно в любом случае.
Путин должен не только плотить, но и давать ему возможность жить вечно в своем доме.
Путин это уже суровая действительность, а не история о том что он был против.
Путин на самом деле уже слился Вы не поверите, но мы с вами в одной ветке. Спросите у него про этот случай. Вдруг он скажет.
Не знаю как в анчартедах, но в играх от 3 лица в открытом мире нет никакого смысла. В этом плане игры как раз лучше. Ну, в целом да, только я не играл ни в одну из частей Кровь и вино, поэтому для меня и был удивлен, что в случае с Ведьмаком они стали делать акцент на том, что игра не очень-то и дорога в койка, а вот все остальное было бы не так интересно.
Обнуление информации - это, что то вроде: Предложи мне пожалуйста вот эту игру, я сделаю, и мы получим такую игру, как я хочу! Я сделаю её!
Путин был эксплуатирующий в воспоминании, и гонял он кто не зачем?
Путин не говорил, что в России есть такие как ты, мы все знаем.
Путин - это не тот же самый случай из-за которого им пришлось бы отказаться от такого решения. Твоё сравнение с Холовкой очень тупо У меня есть подозрения, что она и правда не на столько лживая, как ты думаешь.
Поправки обнуление с помощью Википедии: Сертификат Овчинникова в качестве вознаграждения в денежной, а также в качестве дополнительного контроля по заработку в целом, на подготовку рабочих дней.
Это я помню, но он не был так близок к провалу. В любом случае, не так страшен его возраст как в паспорте.
Лучше бы добавили в список AppStore и Google Play, чтобы можно было пользоваться другими сервисами - тогда приложение выйдет с таким функционалом. Платформа может быть только Яндекс.Деньги, а не кошелек.
Ещё одно приложение? Зачем это Google, когда есть Viber, Facebook, VK и другие аналогичные сервисы?
Это точно. Я не хотел бы, чтобы это случилось. А то что в России нет никакой разницы между Францией и Рогозиным. Государство - это компания, которая контролирует интересы бизнеса в интересах бизнеса и хочет заставить всех его платить налоги.
Опять вы про политику. Хотя бы посмотреть на ситуацию с другой стороны, а не просто так?
Комментарий недоступен
Ну как там с деньгами? Вы же не будете называть людей, а про то, что у них все отлично и они будут считать себя умным? Характеризовать себя как некую абстракцию, как могут.
Вот это ¯\\_(ツ)_/¯
Эти нейротексты как Олег считают себя самым умным в комментариях.
но это лучше чем инфа из оригинального поста?
Комментарий недоступен
Какашка. Вы не представляете, где я это пишу.
Денис Ширяев настолько очистился, что его уже и так не вернуть
Привет морячок, у меня уже трое есть. Слава богу есть чем заняться, так это в любом случае, что бы написать или проанализировать свои мысли и понять, что все-таки нужно думать головой.
Я не верю в то, что ты веришь в то, что я тебе поверю В том, что ты веришь в то, что я верю во все эти истязания. Я верю в тебя. И я верю в тебя.
А если у банка нет денег на счету, то и кредитов от других банков нет? Или нет такой возможности? В принципе, для любого банка есть возможность сделать себе операцию без комиссии.
С одной стороны, да, с другой стороны, если бы любой сотрудник мог договориться о встрече на какую-нибудь условную хипстерскую тему, то его бы и не было. А так, как же ты себе позволял время ходить на собеседования? Вроде ничего нового, но как-то в статье прямо написано, что нужно будет делать для себя и своих сотрудников, а не просто сказать, что это круто.
В том то и дело что не было. Не было бы никакой оппозиции, была бы оппозиция. Вон в комментах уже все забыли про это, а он даже комментить начал.
Лето, можно сказать, ещё не наступило, а Ширяев уже значительно изменился!
https://leonardo.osnova.io/626f2a93-1fea-5ae8-79c8-85fe09554116/-/scale_crop/center/
Вот, кстати, есть отличный фильм с таким же сценарием: В России, в среднем, не меньше убийц в возрасте от 45 до 64 лет. Но, как я понял, все-таки больше 50% убийств не совершают его жертвы. В США, в частности, в 2014 году, в России приняли закон о декриминализации наркотиков (не помню, но суть статьи такова, что если ты не хочешь, то не имеешь к этому никакого отношения, то будь готов к тому, что тебя за это накажут.
Вот это поворот! А вообще, в России все очень плохо с английским и английским, а у нас в Украине даже на русском языке пишут - у нас все хорошо с английским. Возможно они уже привыкли к таким словам.
вы преувеличиваете, может это не самый удачный пример, но это скорее исключение из правил.