Лого vc.ru

«Браузер будущего обязан рекомендовать контент»

«Браузер будущего обязан рекомендовать контент»

8 июня 2016 года в «Яндекс.Браузере» появилась персональная лента с рекомендованным контентом, основанная на собственной технологии «Дзен». Руководитель разработки рекомендательной системы «Яндекса» Виктор Ламбурт рассказал vc.ru о работе «Дзена», монетизации сервиса и планах по развитию.

Поделиться

Как вы оказались в «Яндексе» и чем именно занимаетесь в компании, Виктор?

В основном я сфокусирован на сервисе «Дзен». Также я отвечаю за рекомендательную систему, которая используется в ряде других продуктов «Яндекса» — например, «Яндекс.Музыке» и «Яндекс.Радио», в «Яндекс.Маркете». До этого года три назад я работал в «Афише-Рамблер», до этого просто в «Афише», в РБК, а ещё раньше я учился на на механико-математическом факультете.

Эта рекомендательная система под вашим руководством появилась? Или она уже была, когда вы пришли в «Яндекс»?

Она появилась под моим продуктовым руководством. Впрочем, математической стороной заведуют свои специалисты.

А сколько вообще человек у вас работает над этими рекомендательными сервисами?

Это зависит от того, как считать — наша система рекомендаций, к примеру, работает в сервисе «Яндекс.Музыка». Итоговый продукт является результатом работы двух команд — нашей и музыкальной.

Дело в том, что наша рекомендательная система «Диско» стоит на плечах гигантов — многих команд и технологий. Можно сказать, что «Дзен» — продукт отчасти всего «Яндекса». В частности, внутри «Диско» используется «Матрикснет» ( метод машинного обучения, с помощью которого строится формула ранжирования «Яндекса» — прим. ред.), за разработкой которого стоит ещё пара десятков человек. То есть если бы те несколько десятков человек, которые сделали «Диско», собрались где-то вне «Яндекса», то они бы «Диско» не сделали.

Наш «Дзен» надстраивается над «Диско» — он стоит ещё больше на плечах гигантов, потому что, например, опирается на поисковый индекс «Яндекса». Сколько человек делает его? Много — и те, кто пишет краулер, и те, кто пишет индексатор. В общем, это очень сложная система.

Раз уж это сложная система, я вам предлагаю рассказать нашим читателям-гуманитариям, как она работает — на пальцах.

«Дзен» — это лента контента, подобранная индивидуально для каждого пользователя с просторов интернета. Очень важно, что лента формируется в соответствии с интересами пользователя.

«Дзен» опирается на глобальный веб-индекс «Яндекса», он у нас прямо очень большой. Речь идёт не только о рунете.

Дальше мы при помощи алгоритмов отбираем наиболее востребованный контент, анализируем его при помощи разных технологий искусственного интеллекта: мы используем много техник работы с естественным языком, компьютерное зрение для того, чтобы понять, о чём этот текст, отрубрицировать его, выделить из него объекты, понять, что на этой картинке нарисовано.

Информация, извлекаемая из документов, далее поступает в систему «Диско». А «Дзен», опираясь на известные «Диско» предпочтения пользователя, и формирует итоговый контент.

Как формируются предпочтения пользователя? Смотрим на то, куда человек кликает, что он делает на сайте паблишера: сразу вернулся или прочитал этот материал.

Подобные факторы используются для того, чтобы автоматически подстраивать ленту без необходимости со стороны пользователя как-то настраивать, управлять или какие-то колёсики крутить. Впрочем, если очень хочется, такую возможность «Дзен» предоставляет, и каждую карточку можно закрыть или убрать.

Выходит, я почти не могу влиять на выдачу сервиса, которая формируется лично для меня? Нет, например, категорий, которые я могу выбирать?

Категоризация есть глубоко внутри системы, и там прямо много маленьких категорий. Но для пользователя мы их не выводим. Может быть, когда-нибудь в дальнейшем будем выводить и давать возможность подстройки. Но мы, в целом, верим, что человеку проще сказать про конкретный материал, нравится он ему или не нравится, чем подписываться на какую-то конкретную категорию контента.

Поэтому мы старались максимально упростить настройку. Система сама начинает понимать, нравится ли эта тема или, может быть, не нравится формат материала. Какой-то нудный текст, а мне бы картиночек побольше. Это миллион факторов. Или, может быть, страница с рекламным баннером, и его очень сложно воспринимать. Это всё факторы, которые учитываются при построении итоговой выдачи.

Где я могу сейчас использовать «Дзен»?

Мобильный и настольный «Яндекс.Браузер», а также Yandex Launcher.

Вы не хотите отдельное приложение выпустить?

Всё-таки мы стараемся делать нативную реализацию. Вот что важно: рекомендации становятся хорошими тогда, когда ими пользуются. Про приложение нужно вспомнить, нужно его отдельно запустить — а мы встраиваем «Дзен» в те места, которыми человек и так пользуется каждый день. Чем он пользуется? Браузером и лончером. Браузер будущего обязан рекомендовать контент. Это будет неотъемлемое свойство браузера будущего.

В «Дзене» пользователи переходят на сайт паблишера, другими словами, вы не забираете себе контент. Это тоже осознанное решение?

Да. Мы не планируем что-нибудь вроде того, что делал когда-то Surfingbird, мы не планируем верстать у себя контент как Instant Articles, и вообще мы верим в открытый доступ. Паблишеры способны лучше монетизировать трафик, чем какие-то сторонние системы, через нативную рекламу, которую паблишер сделает максимально эффективно. Редакции всё больше и больше становятся креативными агентствами.

Да, это мы на своей шкуре ощущаем. Но хорошо, если у паблишера есть такая реклама, то что с неё вы получаете?

Ничего. Та реклама, которую паблишер разместил на своих страницах, — это деньги паблишера. Он сделал контент, затратил на это средства, душу, вот он и получает таким образом вознаграждение.

Наша добавочная ценность в том, что мы подобрали этот контент под пользователя, то есть, скомбинировали ленту из разных карточек, которые ему могут быть интересны. Мы монетизируем именно эту ленту, размещаем рекламу между карточками.

Это «Директ»?

Да. Могут быть разные рекламные сети, но в России «Директ» самый хороший, поэтому мы в России размещаем именно его.

Могут быть разные? То есть, Adwords тоже можете поставить?

В России Adwords мы ставить не хотим, потому что «Директ» лучше зарабатывает. А за пределами России, конечно, ставим Google Adwords.

За пределами России «Дзен» тоже работает? На каких языках?

Он доступен на 26 языках в 30 странах.

А как соотносится количество русскоязычных и иностранных пользователей?

В текущий момент количество пользователей на русском языке, конечно же, намного больше. Однако мы работаем над тем, чтобы в других странах «Дзен» стал так же велик. В странах, где наш бренд известен, мы самостоятельно распространяем наши продукты, такие как браузеры и лончеры. В других странах, где наш бренд неизвестен, мы партнёримся с самыми разными партнёрами — производителями телефонов, операторами — и делимся рекламой.

А сколько в России пользователей у «Дзена» самого?

Здесь очень тонкий вопрос в том, кого считать пользователями «Дзен», а кого не считать. Поэтому я бы сказал так: «Дзеном» пользуются десятки процентов от аудитории браузеров. Месячная аудитория настольного браузера — 29 миллионов человек, мобильного — 14,7 млн. За год количество минут, которые пользователи проводят в «Дзене», выросло в среднем в четыре раза. С 5 минут до 20.

А сколько людей просто заходит на домен zen.yandex.ru через другие браузеры?

Я затрудняюсь ответить, я на это никогда не смотрел, потому что у нас не было такой цели — раскрутить этот домен. Это очень неестественный сценарий использования. Сценарий использования «Дзена» внутри браузера намного приятнее, чем на отдельном домене, через «Сафари».

Получается, это не совсем отдельный продукт.

Именно. Это не отдельный сервис. Вы, зайдя на список сервисов «Яндекса», не увидите там ссылку на «Яндекс.Дзен». Можно найти этот домен через поиск, но это не тот сценарий использования, который мы пропагандируем.

Какие планы на «Дзен»? Какие-то, может быть, планируете в интерфейсе планируете большие изменения или в способе сбора и передачи контента, либо в монетизации?

Мы традиционно свои планы по развитию не раскрываем. Причина этому крайне незатейлива: мы проводим миллионы экспериментов, и что из этого мы решим воплотить, заранее не всегда понятно.

Миссия «Дзена» состоит в том, чтобы сделать потребление медиа для людей интереснее. И мы всё будем делать для этого. Мы будем улучшать наши алгоритмы. Если мы поймём, что какие-то пользователи готовы оставлять более регулярный фидбек, мы сделаем соответствующие инструменты. Мы будем улучшать представление контента. Это не значит, что там появится превью. Кстати, что тоже важно (что называется, для истории): в первых версиях «Дзена» был ещё дополнительный шаг с превью.

Да, я помню.

Мы его отпилили, потому что увидели, что так люди больше читают. Если суммировать то время, которое люди проводят непосредственно в сервисе, с тем временем, которое люди проводят на страницах, найденных в общей сетке, — оно увеличилось.

И после этого мы отпилили превью. Потому что на страницах паблишера контент представлен более органично, чем в превью. Мы очень заботимся о карточках, чтобы они были хорошие. Хочется, чтобы карточка в рамках этого формата максимально объективно и адекватно отражала содержимое материала, не разочаровывала пользователя.

Кого вы считаете основным конкурентом «Дзена» в России и в мире? Например, можно назвать тот же Surfingbird, а можно назвать Facebook, где я получаю информацию каждый день, потому что там друзья, которые делятся интересными ссылками, и я там провожу много времени и оттуда часто перехожу на сайты. Мне уже привычно оттуда получать информацию, и не факт, что мне понадобится ещё один сервис для того, чтобы что-то новое для себя находить.

Возвращаюсь к нашей мысли. Мы хотели бы сделать медиапотребление людей интересным, и мы боремся за сценарий пассивного употребления контента. Пассивного не в том смысле, что я сижу в кресле и пускаю пузыри, упершись взглядом в телевизор. А пассивное в том смысле, что я не ищу что-то конкретное — как в случае если я пишу диссертацию, и мне надо найти какую-то конкретную статью.

Имеется в виду такой «инфотейнмент» — потребление контента в соответствии с моими реальными интересами, не интересами моих друзей, как это часто бывает, а именно моими. Соответственно, наши конкуренты — это те, кто способен удовлетворять эти сценарии.

В первую очередь, это социальные сети. Во вторую очередь это рекомендательные сервисы типа Flipboard. А в третью очередь это браузеры, которые постепенно начинают интегрировать к себе какой-то медиаконтент.

Может ли ваша работа вылиться в создание какого-то интеллектуального помощника, вроде модных сейчас Google Now и Siri? Эта тема набирает обороты, но у «Яндекса» пока ничего подобного нет.

Шанс увидеть что-то подобное всегда есть. Я бы вот что сказал: безусловно, «Дзен» предоставляет очень много необходимого для такого помощника. Потому что, по-видимому, такой помощник, в том числе, должен организовывать инфотейнмент, и «Дзен» с этим неплохо справляется.

Однако помощник должен уметь ещё много чего такого, что для «Дзена» противоестественно, ну, например, «Дорогой помощник, напомни, пожалуйста, что мне надо не забыть купить молока и яиц» или «Дорогой помощник, когда у Кати день рождения?», «Дорогой помощник, а где тут ближайшая заправка». Для «Дзена» это очень нерелевантно.

Статьи по теме
Facebook откроет доступ к Instant Articles для всех СМИ17 февраля 2016, 22:09
«Яндекс» запустил тестовую версию рекомендательного сервиса для читателей СМИ09 июня 2015, 23:21
Surfingbird не будет делиться трафиком16 декабря 2013, 17:22
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

"С Яндекс браузером, эта страница откроется быстрее. Быстрее, я сказал!"

Браузер будущего обязан не давать замкнуться "пузырю фильтров". А рекомендации сами по себе - это всего лишь инструмент, его можно настроить и на расширение границ, и на максимальное их схлопывание.

Да,через различные рекомендации можно человеку внушить нужные мысли и фейсбук уже так делал.

вы слишком сильно оцениваете мощь еблокнижки

Если вам как в зомбоящике, подпихивать негативные политические новости, то спать вы будете хуже.

Если бы все эти рекомендаторы научились отличать разовый интерес к теме - от неразового, но только что возникшего....

А сейчас создается впечатление, что рекомендательная система считает пользователя дебилом (и не только яндексовая - любая), и как только он чем то интересуется - ему наваливают тонну контента с разных сторон.

Бесит так же, как попапы-слои "Ты уже с нами? Подпишись на нашу группу во фейстакте..."

Ну так не все соблюдают информационную гигиену. Очень частый сценарий, когда человек подписывается на любой источник информации, руководствуюясь принципом "С меня не убудет". А потом пропускает через себя килотонны всякого шлака.

Сначала будет рекомендовать, потом настоятельно рекомендовать, а после спрашивать, - "А ты чо такой дерзкий? По ссылке не ходишь. Здоровья много?"

У меня рекомендации про платья выпускниц и троллейбусы в Москве, новый самолёт, впечатление что просто с новостных сайтов собрали. Постепенно перетаскиваю всё в хром...

Дзен самообучается на сигналах. Через неделю или две лента совершенно другая.

Дзен отключается в настройках же

0

Да понятно, но к чему тогда писать длиннющие статьи про то какой у нас искусственный интеллект (habrahabr.ru/company/yandex/blog/302856/) если работает всё просто ужасно?

0

Опять же. Все сильно индивидуально. У меня ужасов нет, но я же не делаю из этого общие выводы. ИИ и машинное обучение не идеальны. В каких-то ситуациях им сложнее подстроиться, в других - легче.

0

Браузер будущего обязан корректно и быстро воспроизводить контент который требует от него пользователь. А не скармливать ему то что по его мнениею хочет пользователь. Однажды зашел на алиэкспресс теперь весь VC в нем. И гербест в придачу. Ну что за хня?

вы видимо не пользовались Google Now, рекомендация что почитать там работает очень хорошо. Я не ленюсь каждый день заходить в "отдельное приложение", т.к. там всегда есть релевантные рекомендации.

Это весьма симптоматично: Яндекс понимает, что если не пропихнуть свои сервисы "нативно", то отдельно заходить в них никто не будет. Так же как не будет скачивать из Плей Стора, если не предустановить их по умолчанию.

Google Now - не отдельное приложение. Это поисковый ассистент, в который среди прочего встроили ленту. Причем сам Now тоже встроили в ОС.

0

В лончере Гугл Старт от действительно установлен как самый левый экран.

Без Гугл Старта его можно поместить на рабочий стол отдельным виджетом.

0

Не только в лончере. По длинному нажатию на Home еще работает и без Лончера. В общем, его не зря интегрировали везде, где можно.

0

> Так же как не будет скачивать из Плей Стора, если не предустановить их по умолчанию.

Не соглашусь. Яндекс.Браузер обогнал по популярности Google Chrome на айфонах. www.liveinternet.ru/stat/ru/browsers.html?slice=iphone;date=2016-05-31;period=month Да и на Android он первый после предустановленных. Магия? С другими приложениями так же.

С другой стороны, без предустановки действительно сложнее. Многие просто используют то, что уже стоит на телефоне. И не ищут новое. Собственно, Google по этой же причине устанавливает на Android не только Google Play, но и полный комплект своих приложений.

0

Всё труднее находить нормальные сайты (тематические, без большого трафика, не SEO-оптимизированные, с древним дизайном, но отлично и полно отвечающие на вопрос) через поиск. Верхний круг - ротация популярных мыльных ресурсов по любой тематике. Общая тенденция - превращение поиска в телевизор с выбором жутких каналов с трешем и угаром.Некий imbecillusNET получается. Чем тут гордиться?

Все что-то рекомендуют... Стоимость директа будет продолжать расти...

О персонализации контента мечтали велики гиганты. Тысячи сотрудников Goolge, FB, MSFT на протяжении десятков лет трудились, чтобы разработать адекватные алгоритмы оптимизации, но однажде пришел Виктор Ламбурт из Яндекс и все быстренько сделал.

Рано или поздно и они догонят :)

Ну а если серьезно, то рекомендательные технологии развиваются десятилетиями. Netflix? Flipboard? Они опираются на науку, которая тоже не стоит на месте. В конце нулевых был очередной качественный скачок. А теперь можно заметить тенденцию на уход от отдельных сервисов в сторону интегрированных продуктов. В удивительное время живем.

0

Timur а как наука называется?

Это просто методология. При этом Netflix и Flipboard идут по ложному пути. Они пытаются на основе выбора пользователя создать его профайл - этот путь сам по себе ошибочный, т.к. основан на прошлых событиях.

0

Будущее еще никто не научился предсказывать. Но это не значит, что нужно замыкаться на событиях прошлого. Иначе пользователь окажется в заложниках своего изначального. Поэтому Дзен разбавляет ленту материалами из других групп интересов. И смотрит на реакцию.

0

Timur, чтобы таким методом понять, что же человеку понравилось, на каждую порцию контента надо накладывать, ну хотя бы таги. Многие проекты, которые уже закрылись, очень долго пытались анализировать текст, выбирать ключевые слова и делать автоматическое таргетирование. Направление анализа контента само по себе ошибочное - т.к. оно очень сложное. Возможно, через 100 лет, все же получиться разработать более менее эффективные алгоритмы семантического анализа. Но есть гораздо проще методики и намного более эффективны.

Скорее всего FB станет тем самым персонализатором новостей.

0

Сомневаюсь, что существуют успешные проекты с более эффективным способом автоматической персонализации. NLP+SVD+Machine learning еще никто не переплюнул.

0

Timur, это все общие термины, под которые можно подогнать все, что угодно.

0

Идея отличная - но у Яндекс.Дзена в текущей реализации есть один значительный изъян. Он не обращает внимания на то, читал ли пользователь какую-либо новость, или не читал, продолжая впихивать карточки об одной новости из разных источников. Странно, учитывая, что Яндекс.Новости, например, умеют распихивать новости с разных источников по темам. Спрашивается, кто мешает исключать повторение новостей в Дзене?

Fedor Ponomarev, согласен, проблем там действительно много. Например, персонализацию делают на основе уже состоявшихся событий, т.е. совершенно не учитывается само развитие пользователя. Кстати, эффективную технологию персонализации я как раз недавно разработал :-)

0

Да никто не мешает. Борьба со смысловыми дубликатами и учет уже прочитанного уже в Дзене.

По дубликатам. Тут же дикий веб с большим многообразием материалов, а не каталог RSS. Да и ссылаются тут сайты друг на друга не часто (что практикуется у СМИ). Поэтому борьба с дубликатами строится на natural language processing и прочих умных штуках. И если бы ее не было, то в ленте были бы одни дубликаты, потому что похожие сайты любят постить похожие материалы. Но иногда кому-то удается прорваться.

Про учет истории. Тут все упирается в знание истории. Если пользователь открыл материал на другом устройстве без синхронизации? Или отключил отправку статистики в браузере? Тогда возникают проблемы.

0

Даешь больше дзен-директа и бесполезного контента.
Поисковик мне нужен..для Поиска информации, а не для того, чтобы мне скармливали рекомендательный контент, отвлекаясь на который, я буду тратить время.

кстати, это особенность всех отечественных порталов, что Мэйла, что Яндекса.

На них заходишь как на восточный базар: слева предлагают гороскопы, справа новости, сверху пропихивают Яндекс.Браузер и еще какой-нибудь мигающий баннер зазывает кликнуть, чтобы купить виагру.

Отечественный портал Yahoo негодует.

0

Я, например, использую Яндекс.Браузер на ноуте, но при заходе в Дзен он мне рекомендует скачать Яндекс.Браузер и категорически отказывается формировать мне ленту :)

0

А вообще конечно вспоминаются Острова.

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Богдан Нечаев

Достаточно сомнительные попытки от Mail.ru закрепиться на рынке поисковых систем.

Mail.Ru Group запустила сервис по автоматическому поиску ошибок для SEO-оптимизации сайта SEOSan
0
Galiev Ildar

Я так понимаю, автор перешел из "Домкрата" в Комитет?

«Надеюсь, нам удалось вдарить рок в этой дыре»
0
Андрей Путра

Иван, все как обычно - смешно до слёз :)
Правда, концовка получилась грустная и сентиментальная.

«Надеюсь, нам удалось вдарить рок в этой дыре»
0
Варвара Маревская

Я могу пожелать вам только удачи. Хотя и не раделяю вашего оптимизма. Особенно в продажах франшиз.
Теперь ноу-хау понятно: продажа жителям регионов, где что-либо купить сложно; магазин работает как каталог по формуле "звоните, все посчитаем".

Когда я жила в Москве, я видела подобный магазины: люди стояли с большим числом фотографий мебели. Дежа-вю какое-то:)

Alfamart24 — интернет-магазин товаров для дома, дачи и офиса без складов и салонов продаж
0
Рустам Галиев
RC Group

А можно конкретнее, интересно стало.

ФРИИ официально запустил сервис для поиска сооснователей стартапов Cofoundit
0
Показать еще