Нейронная сеть генерирует заголовки статей для vc.ru

На выходных стало скучно, и я решил поиграться с моделью GPT-3 для русского языка, которую опубликовал «Сбер» в 2020 году. Результаты порадовали, читайте ниже подробнее о результатах и потестируйте сами ;)

Стоит сказать спасибо Сберу, что инвестировал вообще в это направление и сделал результаты работы общедоступными.

Оригинальная модель от OpenAI(Основателем которой является Илон Маск) показывает впечатляющие результаты. Думаю, все уже слышали, что она может писать стихи, код, но также её во всю применяют для решения бизнес задач. Модель у Сбера меньше по количеству параметров. Но, судя по опубликованным результатам, она тоже что-то может. И можно даже попробовать применить её для решения какой-нибудь серьезной задачи.

Но начать я решил с не такой уж и серьезной задачи.

Как постоянный читатель vc.ru, подумал, что будет интересно поиграться c его контентом. Решил собрать заголовки статей. Сделать это просто, потому что контент-ориентированные сайты публикуют sitemap со всеми ссылками на статьи. Собрал ~100K статей, подготовил обучаю выборку и запустил обучение модели на AWS. Ну и чтобы можно было тестировать, сделал бота для Telegram.

Чтобы сгенерировать тексты, достаточно передать категорию статьи(по другому Название подсайта). Также можно задать "затравку" для названия статьи.

Результат оценивайте сами :) Проект был сделан ради фана, а заголовки, на мой взгляд, иногда получаются интересные.

Самое интересное, что если выбрать подсайт "Трибуна" (где часто рассказывают про свои проекты) и ввести какое-нибудь название, можно получить описание

Вот ссылка: Бот

Чтобы сгенерировать заголовок нужно передать категорию статьи(Название подсайта) первой строкой, а второй строкой передать затравку для заголовка.

Если у вас возникли вопросы, можете связаться со мной здесь.

Ну и на всякий случай: Бот обучен на материалах из интернета без фильтрации контента. Генерируемый текст не должен восприниматься всерьез и интерпретироваться как оскорбление. Торговые знаки и слоганы принадлежат правообладателям и не используются для коммерческих целей.

Варианты продолжения фана: