«Яндекс» представил большое обновление поиска «Вега»: экспертные ответы, новые алгоритмы и запуск сервиса «Яндекс.Кью» Статьи редакции
Рассказ руководителя «Поиска» Максима Загребина.
17 декабря «Яндекс» представил новую версию «Поиска» под названием «Вега». Её основными изменениями стали:
- Запуск экспертного поиска для сложных запросов.
- Усиление факторов ранжирования, которые определяют важные части запроса пользователя.
- Новая контент-система. Она хранит в два раза больше документов и ищет их по смыслу.
- Ускорение выдачи в мобильной версии с помощью пререндера и обновления «Турбо-страниц».
- Быстрая индексация обновлений статей и комментариев,
- Объединение сервисов TheQuestion и «Яндекс.Знатоки» в сервис «Яндекс.Кью».
- Добавление профилей организаций в «Яндекс.Коллекциях» и продвижение коллекций.
- Запуск сервиса «Район» по всей России.
- Интеграция в «Поиск» сервиса «Услуги».
Обозреватель vc.ru поговорил с руководителем «Яндекс.Поиска» Максимом Загребиным о том, что появилось за год после выхода «Андромеды», в каком направлении развивается сервис и как нововведения повлияют на пользователей.
По словам Загребина, в новой версии «Яндекс.Поиска» более 1500 улучшений. Основные можно сгруппировать в два направления: крупные технологические изменения алгоритмов и продуктовые изменения — обновление старых сервисов и запуск новых.
Запуск экспертного поиска
Первое направление, которое определяет развитие «Яндекс.Поиска», — запуск экспертного поиска.
Раньше алгоритмы ранжирования учитывали оценки асессоров — удалённых специалистов «Яндекса» и «толокеров». Теперь «Яндекс» для сложных запросов в узких тематиках подбирает асессоров-экспертов, которые могут давать квалифицированные ответы на запросы, говорит Загребин.
На декабрь 2019 года асессоры-эксперты обрабатывают около 15% запросов от всего потока.
По словам Загребина, оценки экспертов применяются не только в сложных запросах: обученную «экспертную» модель машинного обучения используют как образец для простых запросов и таким образом улучшают качество поисковой выдачи по всем запросам.
Усиление факторов ранжирования
На качество поиска влияет не только качество алгоритма и количество оценок, но и факторы ранжирования. Они «вытягивают» нужную пользователю информацию из поисковой базы — чем больше полезной информации он может вытянуть, тем больше его «сила».
В 2019 году факторы ранжирования «Яндекса» стали в три раза «сильнее», чем в алгоритме «Королёв». Один из таких факторов — переформулировки запроса пользователем, который понимает, какую часть текста нельзя проигнорировать.
Например, если пользователь ищет «Какая норма давления у людей в 50 лет», алгоритм не должен упустить «50 лет», так как нормы давления отличаются в разном возрасте. А в случае поиска расписания городов важен порядок их следования — расписание может изменяться в зависимости от направления движения.
Новая контент-система
В «Яндекс.Поиске» обновилась контент-система, в которой хранится вся база документов (ссылки на сайт или другой контент), разбитая на несколько частей (шардов).
Когда «Поиск» ищет релевантные документы, он параллельно ищет лучшие результаты в каждом шарде базы, а затем с помощью алгоритмов постепенно фильтрует их.
На последнем этапе список с «лучшими» документами пересортировывают «тяжёлые» алгоритмы с более чем 1000 факторов ранжирования. Они выбирают десятку «лучших» ссылок, которые видит пользователь.
По словам Загребина, чтобы база была актуальной, её нужно постоянно обновлять и дополнять документами, но чем их больше, тем дольше поиск.
Чтобы оптимизировать базу, разработчики «Яндекса» создали алгоритм, который сортирует документы по смыслу (семантической близости) и только после сортировки ищет в нужных по смыслу разделах. Это позволило сэкономить ресурсы серверов, а освободившиеся мощности использовать для хранения большего объёма документов: их база увеличилась в два раза.
Обновление быстрых ответов
Ещё одна часть «Яндекс.Поиска» — технологии для получения однозначных ответов на простые вопросы в результатах выдачи. Загребин говорит, что в «Веге» стало на несколько десятков процентов больше быстрых ответов, а скорость их выдачи ускорилась благодаря технологии пререндера и обновлению «Турбо-страниц».
Пререндер
По словам главы «Поиска», технология пререндер позволяет с высокой точностью угадать, какой запрос введёт пользователь, и заранее загрузить для него результаты на смартфон.
Сейчас пререндер мгновенно загружает выдачу по «миллионам запросов».
«Турбо-страницы»
Пререндер — только часть ускорения выдачи результатов. Так как большая часть ответов на запросы пользователей хранится на сторонних сайтах, их также нужно ускорить. Для этого «Яндекс» улучшил технологию «Турбо-страниц», Загребин заявляет, что она ускоряет загрузку любого сайта в среднем в 15 раз.
«Турбо» представляет собой конструктор оптимизированных элементов, из которых можно «собрать» страницу сайта. В некоторых случаях страница «Турбо» может быть сгенерирована с помощью машинного обучения и повторяет неоптимизированную страницу сайта.
Вебмастеру нужно зайти в настройки и согласиться с использованием «Турбо» при переходах с «Яндекса», алгоритм генерирует страницу выдачи автоматически.
По подсчётам «Яндекса» связка из технологии пререндера и «Турбо» с начала 2019 года суммарно сэкономила 1000 лет жизни пользователей, которые смотрели бы на то, как у них грузится сайт в браузере.
Комментарии
Ещё одно изменение контент-системы — быстрая индексация изменений на странице сайта, например, если на ней появляются новые комментарии.
«Яндекс.Кью»
С 2019 года у «Яндекса» существовало два сервиса, посвященных ответам на вопросы пользователя, — «Яндекс.Знатоки» и приобретенный в марте 2019 года TheQuestion Тони Самсоновой. По словам Загребина, TheQuestion купили, так как сервис был близок по духу к тому, что делает «Яндекс» — «заразительно и увлекательно отвечал на вопросы людей».
С момента присоединения TheQuestion к «Яндексу» количество запросов, на которые эксперты «Знатоков» и TheQuestion давали ответы в поисковой выдаче, выросло в четыре раза. Одновременно с запуском «Веги» компания объединяет «Яндекс.Знатоки» и TheQuestion в единый сервис «Яндекс.Кью».
В «Яндекс.Кью» будет перенесён весь контент «Яндекс.Знатоков» и TheQuestion, включая персональные рекомендации, сохранённое избранное, истории, управление контентом.
Одним из изменений «Яндекс.Кью» станет улучшение качества ответов. Эксперты в областях, где ответы могут повлиять на жизнь и здоровье людей, будут верифицироваться, а запросы в них выделяться плашкой «Обратите внимание», чтобы указать на возможную противоречивость информации.
Также «Яндекс» приглашает отвечать на вопросы пользователей «Яндекс.Кью» представителей бизнеса и некоммерческие организации и таким образом «демонстрировать свою экспертизу и получать новых клиентов».
«Яндекс.Кью» интегрирован в поисковую выдачу «Яндекса» похожим на «Яндекс.Знатоков» образом — с выдачей нескольких ответов на вопрос и кнопкой перехода на сервис.
«Яндекс.Коллекции»
«Яндекс.Коллекции» — сервис, в котором пользователи «Яндекса» собирают изображения, фильмы, места, сайты и другой контент. С анонсом «Веги» компания запустила функцию коллаборативных коллекций, которые могут собирать сразу несколько пользователей.
Также в «Яндекс.Коллекциях» функция создания коллекций появится у организаций (сейчас находится в закрытом тестировании). Если у компании есть профиль в «Яндекс.Справочнике» или «Яндекс.Картах», она сможет создавать контент в «Коллекциях» или «Знатоках».
Например, указывать в «Коллекциях» цену на товары, а в описании профиля, коллекции или карточки давать ссылку на сайт со страницей оформления заказа.
Пока нет функции оформления заказа или обратного звонка — по словам Загребина, это идеи для будущего развития сервиса.
Бизнес-коллекции можно продвигать через «Яндекс.Директ».
«Яндекс.Район»
С запуском «Веги» сервис «Яндекс.Район» вышел из бета-тестирования. Теперь «социальная сеть для соседей» работает во всех городах России. К официальному запуску появились новые функции, например голосования и лента «Найдётся всё» — для поиска пропавших вещей, людей и животных.
Для «Найдётся всё» компания заключила партнёрство с поисково-спасательным отрядом «Лиза Алерт» — организация публикует в «Районе» объявления о потере человека, на которое могут откликнуться жители.
По словам Загребина, «Яндекс.Район» важен для поиска, так как есть вопросы, на которые может ответить только очень узкая группа людей в микрорайоне.
Например, обычным поисковым запросом не найти общество бегунов в районе — они не создают контент, а пользуются закрытыми группами в соцсетях или чатами в мессенджерах.
«Район» позволяет решить проблему с охватом таких классов запросов. В дальнейшем сервис может быть интегрирован в другие проекты компании, заявляют представители «Яндекса».
«Яндекс.Услуги»
Ещё один интегрированный сервис в «Яндекс.Поиске». Он также усиливает гиперлокальность поисковика через поиск специфических услуг в районе пользователя.
Одной из особенностей сервиса Загребин называет поиск исполнителей по карте.
Для качественных ответов на поисковые запросы недостаточно только технологий, а по-настоящему сложные задачи можно решить только объединив людей и технологии, считает Загребин. К этому направлению относятся как введение экспертов-асессоров, так и взаимодействие пользователей «Яндекса» в новых локальных сервисах, где они создают сообщества или помогают друг другу.
Яндекс.район — локальные новости и всё такое. «Круто» — подумал я и пошёл смотреть ленту по своему району. Реальность не оправдала ожидания — вместо местных новостей там филиал ОК.
эта ЦА предвиделась)
более того сервис "яндекс район" включен в реестр ОРИ, а значит сливает все все данные спецслужбам в режиме реального времени :Dhttps://reestr.rublacklist.net/distributor/109408
"Последняя чеченская". Ох хоссспади....
Месяц назад просматривал, в целом нормальные обсуждения всякого по району.
И подобное тоже лезет. Чем больше обсуждения и бурления говн в заметке, чем чаще яндекс её рекламирует.
И вот дорогой яндекс зафильтрует всю выдачу, ссылаясь на неэкспертность контента, оставит там Дзен, знатоков, здоровье. Дзен да, там просто концентрация экспертности.
яндекс наверняка уже подпольно готовит как срамблер очередной иск по блокировке гугла в рф )
Из них 2 рекламные, 4 устаревшие, 2 страницы с набором слов для роботов, 1 лютый копирайтинг и строка видео не в тему :(
Если бы)) Сейчас там 4 объявление сверху, 4 объявления снизу + по каждому информационному запросу на первом месте знактоки (даже если нерелевантный контент) + на телефонах верхнее объявление «приклеивается» и скролллится вниз.
Это пиздец какой-то.
Может наконец то Яндекс начнет показывать в региональной выдаче реальные сайты локального бизнеса а не десятки агрегаторов и свои сервисы...
Вот уж точно! Сейчас спокойно можно увидеть в региональной выдаче сайт контор, по той или иной тематике предоставления услуг, которые не относятся к заданному региону + каталоги и справочники, а сайту местного бизнеса выкинуты за борт.
Яндекс Кю. Кажется, не очень удачное название)
Кю на вас)
Пиздесь можно сколько угодно о том, как все будет круто. Посмотрим, конечно. Но пока по качеству поиска яндекс отсасывает у гугла с причмокиваением.
Вера Гагарина, а вам обязательно было написать это именно так? Я про отсасывание с причмокиванием.
на западе возможно, но для рашки он показывает инфу в разы релевантнее
Удушение коммерческой выдачи с особым цинизмом. Общепит стонет, такси всё, на первой странице выдачи реклама, агрегаторы, колдунщики и сервисы яндекса, количество органики сократили до видимых 5 страниц.
Ну все для того, чтобы платили контекст, а не пёрли со своим сео.
Только и он уже не спасает((
Гугол, можно сказать, джентельмен
Причем, по ходу, не спроста все это перед НГ, когда пиковый сезонный спрос. Все, кто затарил товара из расчета трафика прошлых лет - мигом придется сливать в директе. Гандонизм какой-то.
Все эти люди которые там весело тусуются, не понимают, что на них тупо тренируют Алису :)
Если что-то для вас бесплатно, есть вероятность, что товар - это вы. Вроде давняя уже мысль.
Но это явление того же порядка, как слежка за мной АНБ и/или правительства Китая при использовании телефона на Android. Может быть она и есть - но что мне с того?
Яндекс.Всё.
«С момента присоединения TheQuestion к «Яндексу» количество запросов, на которые эксперты «Знатоков» и TheQuestion давали ответы в поисковой выдаче, выросло в четыре раза».
Ага. Очень круто выставлять читерство как достижение. Знатоки имеют расширенный сниппет и явно в приоритете в выдаче.
Наши статьи на 10к символов, которые регулярно обновляются и имеют рейтинг 4,7 на сайте (сами пользователи голосуют) стоят ниже ответов Знатока на 2 абзаца, которые были актуальны в 2017
Если вы хотите вспомнить или же сравнить с тем что было ранее в алгоритмах, то держите список всех алгоритмов Яндекса в хронологическом порядке, с описаниями и ссылками на источники.
Вопрос представителям поиска Яндекса, подскажите пожалуйста, как обрабатываются интеллект карты? И обрабатываются ли они ? Например такие карты, как ниже по ссылке
А почему они должны индексироваться?
Руки бы вашему дизайнеру оторвать за эти вырвиглазные тени на скриншоте. Не устану это повторять.
А главное поиск по Аскер-Заде наладили.
Подумал: вроде неплохое обновление. Яндекс - молодец, развивается!
Читаю комментарии: как обычно, комментаторы ищут негатив. Не находят, но всё равно срут. Надо же обосрать обязательно. Что-то в России сделали - обосрать не глядя.
Если то, что ты делаешь обосрали - значит ты всё сделал правильно.
Возможно, с сервера турбо-страницы и загружаются моментально, но на моём не самом старом mi9 эта турбо-страница дико тормозит при скролле. У меня уже рефлекс выработался искать и кликать ссылку на оригинальный сайт (чаще всего википедия).
Конечно прикольно, что они развивают поиск, но от компании претендующей на технологическое лидерство в "ИИ" на русском рынке хотелось бы увидеть применение трансформеров в поиске и прочего фарша для более глубокого понимания семантики, а не "ну мы стали аннотироваться по-другому"
https://prnt.sc/qfeng0 коротко о Вега)))
Как был яндекс поиск средней степени паршивости, так и остался. Очень часто вижу, что поисковый спам, 50% несоответствие запросу или клоны профилей вк с типа частными и приватными фото индексируются выше чем официальные сайты-первоисточники информации и галереи. Откуда собственно снимки и информация воруется. У яндекса приоритет выдачи - воровские ресурсы, а потом уже авторский контент. Часто убеждался, что примерно половина сайтов по запросу может не индексироваться вообще, хотя информации, которые они содержат, больше в поиске нет. И это не порнуха, не оскорбления, конструктивные статьи. Более того, хотите прикол, есть статьи на дзене с сотнями просмотров, так вот, яша лепит на них NOINDEX, в то время как гугл индексирует. Шиворот навыворот. И еще, форма жалобы на поисковый спам просто не работает. Результатов она не приносит, спам как был в запросе, так и остается. Яндекс не то что с ним не борется, а скорее сам ему способствует или его создает