Как я сделал свои «Яндекс.Новости»

История создания агрегатора на базе технологий искусственного интеллекта «Новостной робот».

Вместо вступления

В этой статье речь пойдёт о новостном агрегаторе Newsbot.press. Почему этот агрегатор я сравниваю именно с «Яндекс.Новостями»? Потому что он полностью автономный, все решения принимает сам. Внутри — машинное обучение, нейронные сети. Он намного сложнее традиционных агрегаторов. Но обо всём по порядку. Начну с того, кто разработал эту систему и зачем.

Я программист, пишу на C++ и Python, знаю ещё пару языков. Работаю в небольшой фирме в Москве. Это далеко не «Яндекс» и не Google. Но я очень люблю своё дело. По этой причине в свободное время я изучаю фреймворки, пробую новые сервисы, пишу свои пет-проекты.

Именно из такого пет-проекта и вырос «Новостной робот», агрегатор с ИИ. Весь проект от фронтенда до бэкенда, от микросервисов до алгоритмов машинного обучения, от работы с облаками до интеграции в соцсети — всё это написал один человек. Это не продукт компании или команды людей. И я не рекламирую и не пытаюсь продать вам свой продукт. Я хочу рассказать интересную историю.

Новостной робот

Новостной робот — это автоматизированная система сбора и анализа новостной информации. Задача робота: собрать информацию с сайтов СМИ, выделить главные новости в разных категориях и сгруппировать их по темам.

Новостной робот никогда не публикует фото или видеоматериалы, не публикует инфографику и исследования, авторские статьи и мнения. Я попытался исключить любое возможное нарушение авторских прав. Поэтому робот работает только с сообщениями о новостях дня.

Чтобы сайты СМИ получали прибыль от показа рекламы, полные тексты новостей тоже никогда не публикуются. Описание новости всегда ограничено одним или двумя предложениями. Название источника и прямая ссылка на новость в источнике всегда присутствуют.

Новостной робот не создаёт новую информацию. Все заголовки и цитаты представлены в том виде, в котором они были получены из источников.

Робот полностью автономен. Ни я, ни кто-либо ещё не принимает участия в его повседневной работе. Он всё делает самостоятельно, в том числе выбирает главные темы дня или срочные новости последних часов. Аналогично работают и «Яндекс.Новости». Хотя их часто и винят в том, что «ручное» управление всё-таки имеет место. Но я в это слабо верю.

Внешне сервис достаточно прост, вряд ли стоит описывать что-то ещё. Лучше перейти к деталям реализации и мотивам, побудившим меня на создание «Новостного робота».

Проблема в рекламе

Помните 19 сезон «Южного парка»? Реклама проникает во все сферы жизни и начинает манипулировать людьми. Надеюсь, мы далеки от такого. Но уже сейчас интернет полон рекламы, кажется, что её больше, чем на телевидении и в газетах.

В дело вступают компании-гиганты: Google и Facebook. Компании, которые сами зарабатывают на рекламе. От этого рождаются очень странные решения. Процитирую Григория Бакунова: «Рубрика пчёлы против мёда: в текущем обновлении Chrome для Android появился встроенный блокировщик рекламы. Это выигрышная стратегия компании — блокировщик рекламы будет блокировать всё, кроме рекламы от Google. Все проиграли, Google выиграла».

Facebook пытается предложить модель партнерства со СМИ, но что из этого выйдет, пока неясно. Зато война Facebook с AdBlock с переменным успехом идёт уже давно.

До того, как я стал пользователем «Новостного робота», меня в новостях не устраивало следующее. Я люблю быть в курсе происходящего, но большинство новостей, особенно политических, мне не интересны.

Мой обычный кейс: захожу на свой любимый сайт СМИ (зачастую со смартфона), сразу появляется баннер, который закрывает мне весь экран телефона. Убираю баннер. Под ним уже ждёт вторая реклама, её можно просто пролистать. Иногда без предупреждения страница разъезжается, и в центре появляется рекламное видео, которое сразу начинает играть.

Когда я наконец-то вижу список новостей, оказывается, что там для меня нет ничего интересного и читать дальше я не буду. Получается, я потратил трафик, посмотрел рекламу, а пользы для себя не извлёк. И этот кейс повторяется несколько раз за день. Поэтому я и создал «Новостного робота».

Я готов посмотреть любое количество рекламы в материале, который мне хочется прочитать подробно. Но это должен быть осознанный выбор. И выбирать я хочу без рекламы. Только когда я выбрал тему и источник, я перехожу на сайт, где читаю статью подробнее уже с рекламой. Особенно если речь идёт о событиях дня.

На сайте «Новостного робота» реклама полностью отсутствует. И так будет всегда. Это для меня теперь основная точка входа, когда речь идёт о новостях.

Почему не AdBlock

Есть те, кто качает фильмы и музыку только с торрентов. Те, кто использует софт в коммерческих целях и не платит за него. И много тех, кто ставит себе AdBlock в браузере. И не только себе. «Продвинутый гик» непременно установит AdBlock и своей маме, и всем её знакомым. И те будут ему благодарны. Но я уверен, в глубине души вы понимаете, что это воровство. Конечно, есть ужасные сайты, на которые лучше не попадать. Но если у вас сейчас «режется» реклама сайта vc.ru, то добавьте в исключения хотя бы его.

Детали реализации

Теперь о «Новостном роботе» с технической стороны. Вдруг это будет кому-то полезно. Всю систему можно разбить на три большие части: это краулер, семантический анализатор и сам сайт.

Краулер занимается сбором информации. И тут есть интересный момент. Например, «Яндекс» собирает информацию с сайтов с помощью специальных регламентируемых RSS-потоков. При этом ресурс-источник должен предоставить «Яндексу» несколько потоков: один — для «Новостей», другой — для «Дзена». А вот для Google News, кажется, не нужно ничего делать, главное, чтобы новостной сайт индексировался Google.

Я не имел доступа к RSS-потокам «Яндекса». Поэтому пошёл по пути Google. Создать универсальный эвристический алгоритм мне не удалось. Тогда я просто научил краулера забирать данные и из RSS, и с сайта. При этом я практически вручную подключаю источники. Чтобы делать это в пару кликов, мне пришлось написать отдельный сайт для краулера, подобие админки.

Краулер не нагружает сайты, на которые ходит. Так как делает он это в три раза реже, чем, к примеру, робот «Яндекса». Он берёт не всё, а только новые данные. Краулер написан на Python. Веб-сайт Краулера сделан на Django. Этот сайт намного сложнее, чем основной, который практически полностью состоит из генерируемой статики.

На фронтенде везде используется React от Facebook, состоянием управляет Redux. Я мог бы всё это сделать и на Angular. Вот только первый уже не актуален, а ко второму нужен TypeScript. Его я пока не знаю. Вообще я не большой специалист по фронтенду. Зато очень недурно готовлю Django.

«Новостной робот» использует облака: несколько виртуальных серверов, облачное хранилище и прочее. С самого начала я решил, что робот должен быть максимально экономичен в плане ресурсов. Ведь содержать его придётся мне.

Пришлось переписать некоторые библиотеки, отказаться от многих удобных облачных услуг. В итоге вся инфраструктура обходится в пару тысяч рублей в месяц, что для меня не составляет труда оплачивать самому. Но жаль, что мой бюджет был ограничен. Из-за этого программировать пришлось больше.

Что общего у «Новостного робота» и «Палеха»

Семантический анализатор Новостного робота использует библиотеку fastText, которую разрабатывает Facebook. В одно прекрасное утро Facebook просто опубликовала в открытый доступ построенный массив векторов fastText для двухсот языков!

Снова процитирую Григория Бакунова: «По моим оценкам, на тренировку одного языка вроде русского с 300 измерениями у меня уходило две недели машинного времени. Это очень щедрый подарок для всех, кто работает с сущностями языка и строит сервисы, понимающие людей».

Я понял, что эта штука может мне сильно помочь в работе. А то, что fastText ещё и идёт вместе с готовой моделью, даёт возможность сразу приступить к экспериментам. Я не эксперт в машинном обучении и точно им не стану. Но тренд очевиден всем.

Здорово, что компании-лидеры в этой области публикуют исходники готовых решений: TensorFlow от Google, fastText от Facebook, CatBoost от «Яндекса». За это нужно сказать «спасибо», а потом брать и пробовать. И не важно, занимались ли вы до этого искусственным интеллектом и машинным обучением или нет. Неизвестно, к чему всё придёт в итоге. Быть может, «развесистые» фреймворки скроют от нас всю магию, а мы просто будем пользоваться всей мощью машинного интеллекта.

FastText позволил мне строить семантические векторы слов и даже целых фраз, а затем сравнивать их и делать выводы о том, насколько похожи сами слова между собой. «Новостной робот» стал понимать, к примеру, что «импичмент» и «отставка» близкие в определённом контексте слова.

Совсем недавно «Яндекс» объявил о запуске нового поискового алгоритма «Палех», который позволит точнее понимать запросы людей. Цель «Яндекса» — получить на основе нейронных сетей модели, способные «понимать» семантическое соответствие запросов и документов на уровне, сравнимом с уровнем человека. Для этого они развивают применение семантических векторов.

Посмотрите на то, как работает «Новостной робот», который использует семантические векторы самым прямолинейным образом. А теперь представьте, что сможет сделать «Яндекс» с его сотнями специалистов и исследователей в этой области.

Работают ли «Яндекс.Новости» с семантическими векторами, мне точно неизвестно. Я также ничего не знаю и об их алгоритмах кластеризации. Новостной робот использует для кластеризации алгоритмы из библиотеки scikit-learn.

Что будет дальше

«Новостной робот» был создан за пять месяцев. Я получил огромный опыт. Сейчас система работает самостоятельно, без моего участия. Лишь иногда я исправляю ошибки, которые нахожу. Робот очень экономичен, и я могу сразу оплатить все расходы на его инфраструктуру в течение 10 лет. Никакие инвестиции мне для этого не нужны, равно как и заработок от рекламы на сайте.

Кроме меня сайтом пользуются мои знакомые и друзья. Насколько я знаю, они рассказывают о нём другим людям. «Новостной робот» хорошо подходит людям старшего поколения, которым сложно «бороться» с баннерами на телефонах.

У меня есть ещё много идей по развитию сервиса. К примеру, я обдумывал что-то вроде серверного AdBlock. «Новостной робот» мог бы рендерить сайты СМИ на сервере и понимать, где рекламы больше. А затем оценивать каждый источник в соответствии с этим показателем. Тогда пользователь мог бы выбирать источник исходя из того, где меньше рекламы. Если ему не принципиально, на каком сайте знакомиться с темой.

Есть задачи и более простые, например, интерфейсные. Я знаю, что некоторым хотелось бы иметь возможность применить фильтр на сайте и вовсе скрыть некоторые СМИ из выдачи.

«Новостной робот» слабо связан с морфологией русского языка. Мне потребуется немного времени, чтобы запустить робота для другого языка.

Однако на данном этапе я пока остановлюсь. Направлений движения слишком много, чтобы быстро выбрать правильное. Возможно, и не стоит больше ничего делать. Если аудитория робота останется прежней, то и сам робот останется таким, как сейчас. Какой бы ни была аудитория, робот продолжит свою работу и будет свободным от рекламы.

Про собственный опыт

В заключение хотел бы рассказать о Telegram-канале «Новостного робота». Для меня такой способ информирования о событиях дня оказался самым удобным. Я отключил уведомления в канале, чтобы они не мешали подписчикам. В день приходит около 20 коротких сообщений, каждое из которых посвящено какой-то важной теме последних часов.

В свободное время, например, в метро я открываю канал и за 15 секунд узнаю о событиях этого дня. Перехожу ли я после этого на сайт, чтобы почитать? Редко, только в тех случаях, когда тема мне интересна.

0
28 комментариев
Написать комментарий...
Влад Цыплухин

Давайте познакомимся.

Ответить
Развернуть ветку
Ярослав Акулов

Привет! Команда Яндекс.Новостей посмотрела на ваш сервис, и все ребята в восторге! И хотят с вами познакомиться. Поэтому перед тем, как зайти к Владиславу, пожалуйста, приходите к нам. :) (мы серьезно)

Ответить
Развернуть ветку
Влад Цыплухин

Сейчас забаним!

Ответить
Развернуть ветку
Дима Лесин

:D

Ответить
Развернуть ветку
Дима Лесин

Похоже скоро на одного долларового миллионера станет больше...

Ответить
Развернуть ветку
Костя Савельев

Вся команда яндекс новостей в ах.е, ой, в восторге! и косты нуль, афтар пили ещё!! поддержим талант?

Ответить
Развернуть ветку
topovyj

#. Все пишут "свяжитесь с нами" - так вы сами свяжитесь, в чём проблема-то?
#. Такая поделка без своего портала типа yandex.ru не справится с конкуренцией.
#. Можно рассматривать это как резюме :). Отличное резюме.

Ответить
Развернуть ветку
Дима Лесин

А почему так мало рубрик? Лично я мониторю тот же яндекс и меил чисто из-за новостей о hi-tech.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
rocket rocket

Интересно. Захотелось посмотреть как будет выглядеть новостная лента но без бана политики.

Ответить
Развернуть ветку
Mikhail Kashkin
Но я уверен, в глубине души вы понимаете, что это воровство.

Нет конечно. Это элементарное выставление собственных границ и азы безопасности.

Ответить
Развернуть ветку
Александр Поляшов

Чувак - это круто! Часто думал о чем то подобном и ты это реализовал! Спасибо, уже пользуюсь! Добавь темы, регионы и Hi-tech.

Ответить
Развернуть ветку
Алексей Сазиков

+1 за хай-теч и авто

Ответить
Развернуть ветку
Sergey Sarychev

| > «Но если у вас сейчас „режется“ реклама сайта vc.ru, то добавьте в исключения хотя бы его.»
- никогда и ни за что. Если они по другому не сообразят как монетизировать такой проект, то пусть загибаются.

Ответить
Развернуть ветку
Аналитика на Диване

Когда-то мне нравился TJ за наличие ленты твиттера, которую можно было загибать под себя. Открыл - 5 минут и ты в курсе новостей, где кто кому на спину плюнул. Потом туда пришли фронтендеры с "комментарии теперь загружаются 🚅 " и все. Все пошло по 🍑

Ответить
Развернуть ветку
Виталий Воробьев

Почему так мало подписчиков в telegram?

Ответить
Развернуть ветку
Александр Поляшов

точит с нуля, с чего то ведь все начинается когда-то. У него сегодня, с публикации на vc, у другого 5 лет назад...

Ответить
Развернуть ветку
Alexander Nevedovsky

Все это здорово и интересно, с несколькими НО:

1). Коллективный разум (популярность) выбирает бесполезную чушь.
2). Отсутствие фидбека от пользователя (хотя бы релевантно или нет).
3). Невозможность кастомизировать (от тем или тегов до ресурсов, вплоть до бана).

Я бы никогда не стал пользоваться в текущей итерации. Но автору удачи :)

Ответить
Развернуть ветку
Капибара

слишком много критики) я думаю он это "запилил" чтобы тут статью написать и его заметили с долей интереса к творению, ничего особенного.

Ответить
Развернуть ветку
Антон Усов

Привет! Мы тут с командой поисковика Спутник, в шоке со сборки, поэтому (совершенно серьезно) НЕ ходите к Цыплухину и Акулову! Приходите к нам! (абсолютно серьезно (правда (100%))).
ps: я уж не буду рассказывать про наши бюджеты (намекаю на то, что перебьем любой оффер (реально (!))).

Ответить
Развернуть ветку
Kirill Lokhmatov

На не самом старом firefox 30 поломалося(

Ответить
Развернуть ветку
theMIXER

А как добавить свой новостник в этот сервис?

Ответить
Развернуть ветку
Kirill Lokhmatov

Только ручками в админке

Ответить
Развернуть ветку
Степан Яковенко

Нет персонализации под личные предпочтения.

Ответить
Развернуть ветку
Илья Лукашук
> Направлений движения слишком много, чтобы быстро выбрать правильное.

Думаю, приоритетнее то, которое даст наибольший результат по приросту какой-либо метрики, по вашему предположению. Или какую гипотезу интереснее всего проверить :)

P.S.: не останавливаться )) только вперёд!! ;)

Ответить
Развернуть ветку
Alexey Vaytsekauskas

Интересный проект получился! Респект вам;)
Получается вы на основе семантического анализа определяете индекс цитируемости и на его основе популярность новости? Как работает алгоритм сортировки?
5 лет назад решал для себя точно такую же задачу, но более простыми методами, выбрал вручную 68 источников для 19 категорий и парсил на виртуалке с php, популярность новостей получал из коэффициента цитируемости в соц. сетях. За несколько лет собрал 2,5 млн новостей)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Anton Zhitarev

Очень круто. Фичереквесты принимаете?

Ответить
Развернуть ветку
Zoibana

Круто. Только название лично я бы заменил на что-то более простое и запоминающееся. Зоны типа .press для подавляющего большинства еще в новинку и могут пугать.

Ответить
Развернуть ветку
25 комментариев
Раскрывать всегда