«Яндекс» рассказал о проблемах «Яндекс.Новостей» в ответ на претензии к освещению митингов Статьи редакции
Представители «Яндекса» опубликовали официальный ответ на претензии пользователей в недостаточном освещении антикоррупционных митингов, которые прошли в нескольких городах России 26 марта 2017 года, «Яндекс.Новостями». В компании объяснили, что тему плохо освещали официально зарегистрированные СМИ, а у самого агрегатора есть проблемы с объединением материалов в один сюжет.
Обновлено в 17:27. В «Яндексе» подготовили графики, которые демонстрируют присутствие разных тем в топе «Новостей» 26 марта.
Митинги начались после призыва политика Алексея Навального, который предложил устроить «прогулки» из-за отсутствия реакции властей на расследование Фонда борьбы с коррупцией о премьер-министре Дмитрии Медведеве. В Москве шествие собрало, по разным оценкам, от 8 до 20-25 тысяч человек.
Тема широко обсуждалась в соцсетях, однако была практически не заметна в топ-5 «Яндекс.Новостей», из-за чего пользователи обвинили «Яндекс» в цензуре.
За Яндекс сегодня просто стыдно. Проституция как на первом канале. И хватит уже врать "это алгоритм".
«Ведомости» отмечали, что сюжет о задержании Навального к 15:40 включал в себя 58 сообщений, что превышало количество новостей как минимум в двух других сюжетах из топов, но на главную страницу «Яндекса» эта тема не вышла. После 16.30 сюжет вообще пропал с главной страницы «Яндекс.Новостей» и из тематических разделов.
Представители «Яндекса» в официальном ответе рассказали, что сюжеты о митингах собирались, но их вес был слишком мал для попадания в топ-5, так как о событии не писали крупнейшие информагентства. Они также отвергли обвинения в ручном вмешательстве в составление рейтингов.
Для большой темы о митингах, прошедших по всей России, было сформировано несколько сюжетов, которые касались самых разных аспектов — от оценки количества участников в Москве до задержаний во Владивостоке. Дальше автоматически оценивается вес каждого сюжета. Для этого используется много факторов — состав источников, плотность потока информации, время публикации сообщений, вес других сюжетов на ту же тему. Сюжеты ранжируются по весу, первые пять попадают на главную страницу «Яндекса». Топ обновляется и, соответственно, изменяется — вчера это происходило каждые три-четыре минуты.
В момент начала акции — она стартовала на Дальнем Востоке — событие освещали далеко не все СМИ. В результате в первой половине дня сюжеты формировались лишь из сообщений небольших источников, и некоторое время, примерно до 12:15 по Москве, их общего веса не хватало, чтобы вынести тему в топ-5.
В «Яндексе» заметили, что другие темы попадали в топ из-за того, что на них решили отреагировать почти все издания. Кроме того, к некоторым темам могла применяться особенная оптимизация наподобие поисковой.
Несколько раз в течение дня появлялись популярные сюжеты. Например, про Евровидение или помощника депутата, а в Москве — про весенний фестиваль. Их вес был больше, чем вес сюжетов про акции протеста. Более того, в некоторых случаях вес мог быть завышен — в «Яндекс.Новостях» существует оптимизация, аналогичная поисковой, и мы с ней боремся.
При этом, разумеется, сами новости о митинге никуда не исчезали — они оставались в «Яндекс.Новостях» и корректно находились поиском.
Одной из крупнейших проблем для выхода новостей о митингах в топ представители «Яндекса» назвали изменившийся состав источников: с 1 января 2017 года новостные агрегаторы обязаны транслировать только сообщения зарегистрированных СМИ, в остальных случаях компании придётся нести ответственность за перепечатанные материалы. Кроме того, «Яндекс.Новости» сработали «недостаточно оперативно» из-за проблем с объединением новостей из разных регионов в один сюжет, заметили в компании.
В связи с принятием закона о новостных агрегаторах Яндекс.Новости с января 2017 года могут показывать на главной странице, в сюжетах и в тематических рубриках только материалы СМИ, зарегистрированных в Роскомнадзоре. Поэтому количество источников по сравнению с прошлым годом сократилось — это также влияет на вес сюжетов. И если о гололёде в Москве вчера написали практически все городские источники, то о протестах только те, кто решил об этом писать. В таком случае у двух разных сюжетов оказываются неравные шансы на выход в топ.
Мы признаём, что вчера «Яндекс.Новости» отставали от картины дня. Скорее всего, дело в том, что алгоритм кластеризации, который склеивает новости в сюжеты, а сюжеты — в темы, не всегда мог объединять в одну тему, например, сообщения о задержаниях во Владивостоке и об аресте Навального в Москве.
Иными словами, временами агрегатор мог рассматривать одну большую, сложную и географически обширную тему про протесты как несколько разных тем, что, в свою очередь, могло повлиять на качество работы сервиса. Точно так же алгоритм срабатывает, когда есть много новостей про ДТП с разными людьми в разных городах. Он полагает, что это разные события, и не объединяет их в общий сюжет.
В компании пообещали изучить проблему кластеризации и исправить её, если она действительно будет выявлена.
Обновлено в 17:27. В «Яндексе» подготовили графики, которые демонстрируют присутствие разных тем в федеральном и московском топе «Новостей» 26 марта 2017 года.
Топ новостей обновляется каждые 3-4 минуты, в среднем 18 раз за час. Выбраны темы, которые чаще всего попадали в топ «Яндекс.Новостей» 26 марта 2017 года. Кроме топ-5, который выводится на главной странице Яндекса, показаны также следующие десять позиций. Для каждой темы отмечено место, которое она занимала в определённый момент времени.
Блин, какие претензии к Яндексу - АГРЕГАТОРУ? Он агрегирует то, что есть в СМИ - все забывают про это, крича "Яндекс, яндекс!". Где ваши претензии к закону, по которому Яндекс может показывать только(!) то, что в оф. СМИ? Где крики по поводу "даешь независимые СМИ!". Нету. А если у нас из 100 СМИ 98 - провластные и ничего не пишут про событие, то как с 2 получится вывод в топ?
Оппозиционным СМИ поставил меньше веса в формировании сюжетов. Какие претензии.
Оппозиционные сми просто не аккредитованы росчтототамнадзором. Это не к Яндексу вопрос.
Угу, а зачем яндекс мухлевал в воскресенье с поисковыми выдачами по Навальному в Новостях?
Бездоказательное обвинение диванного эксперта, опровергнутое графиками самого же Яндекса. В суде вы с такими заявлениями проиграете.
Да пошел ты нахуй. Я лично наблюдал все, что описали Ведомости.
Где пруфы, Билли?!
А я тебе что-то должен?
Не бросаться необоснованными обвинениями публично, да. Иначе чем ты лучше Пескова и ко?
Мои обвинения обоснованы, например, статьей в Ведомостях. Не хочет ли Яндекс подать на них в суд, если Ведомости не правы? А мой юридический статус позволяет иметь мне любое мнение. Я не СМИ.
Теперь идём и читаем внимательно Ведомости https://www.vedomosti.ru/politics/articles/2017/03/26/682745-syuzhet-ob-areste-navalnogo
«Новости о задержании Навального на митинге в агрегаторе «Яндекса» можно найти по запросу «Навального арестовали», но на сюжет такой запрос не выводит.
После 17.15 в топ-5 «Яндекс.Новостей» попал сюжет о задержаниях работников Фонда борьбы с коррупцией Навального, где есть упоминания о задержании самого Навального. Этот сюжет в течение последнего часа то пропадает, то снова появляется в топ-5 на главной странице.»
Так в чём претензии?
"После 16.30 сюжет об аресте Навального вообще исчез не только с главной страницы «Яндекс.Новостей», но и стал не виден в разделах «Политика», «Общество», «Происшествия», отметили «Ведомости». Поиск по ключевым словам «Навальный», «арест», «митинг» внутри «Яндекс.Новостей» также не выводит на сюжет, а выдает новости прошлых лет. Новости об аресте Навального на митинге в агрегаторе «Яндекса» можно найти по запросу «Навального арестовали», но на сюжет такой запрос не выводит."
Даже в приведённом цитате написано, что новости находятся. Ещё раз: если новости находятся, в чём претензия?
Там ясно все написано что находится и что не находится. Я заколебался эту цитату повторять. Никакими алгоритмами нельзя объяснить внезапную "поломку" поиска на связанные с Навальным ключевые слова и исчезновение сюжета из разделов.
То есть вам недостаточно, что „Новости об аресте Навального на митинге в агрегаторе «Яндекса» можно найти по запросу «Навального арестовали»“?
Тогда только шапочка из фольги спасёт.
Когда Яндекс начали кошмарить с топом блогов на главной, они хотя бы честно поступили - закрыли его, не сделали позорищем, вроде нынешних Новостей.