«Яндекс» представил большое обновление поиска «Вега»: экспертные ответы, новые алгоритмы и запуск сервиса «Яндекс.Кью» Статьи редакции
Рассказ руководителя «Поиска» Максима Загребина.
17 декабря «Яндекс» представил новую версию «Поиска» под названием «Вега». Её основными изменениями стали:
- Запуск экспертного поиска для сложных запросов.
- Усиление факторов ранжирования, которые определяют важные части запроса пользователя.
- Новая контент-система. Она хранит в два раза больше документов и ищет их по смыслу.
- Ускорение выдачи в мобильной версии с помощью пререндера и обновления «Турбо-страниц».
- Быстрая индексация обновлений статей и комментариев,
- Объединение сервисов TheQuestion и «Яндекс.Знатоки» в сервис «Яндекс.Кью».
- Добавление профилей организаций в «Яндекс.Коллекциях» и продвижение коллекций.
- Запуск сервиса «Район» по всей России.
- Интеграция в «Поиск» сервиса «Услуги».
Обозреватель vc.ru поговорил с руководителем «Яндекс.Поиска» Максимом Загребиным о том, что появилось за год после выхода «Андромеды», в каком направлении развивается сервис и как нововведения повлияют на пользователей.
По словам Загребина, в новой версии «Яндекс.Поиска» более 1500 улучшений. Основные можно сгруппировать в два направления: крупные технологические изменения алгоритмов и продуктовые изменения — обновление старых сервисов и запуск новых.
Запуск экспертного поиска
Первое направление, которое определяет развитие «Яндекс.Поиска», — запуск экспертного поиска.
Раньше алгоритмы ранжирования учитывали оценки асессоров — удалённых специалистов «Яндекса» и «толокеров». Теперь «Яндекс» для сложных запросов в узких тематиках подбирает асессоров-экспертов, которые могут давать квалифицированные ответы на запросы, говорит Загребин.
На декабрь 2019 года асессоры-эксперты обрабатывают около 15% запросов от всего потока.
По словам Загребина, оценки экспертов применяются не только в сложных запросах: обученную «экспертную» модель машинного обучения используют как образец для простых запросов и таким образом улучшают качество поисковой выдачи по всем запросам.
Усиление факторов ранжирования
На качество поиска влияет не только качество алгоритма и количество оценок, но и факторы ранжирования. Они «вытягивают» нужную пользователю информацию из поисковой базы — чем больше полезной информации он может вытянуть, тем больше его «сила».
В 2019 году факторы ранжирования «Яндекса» стали в три раза «сильнее», чем в алгоритме «Королёв». Один из таких факторов — переформулировки запроса пользователем, который понимает, какую часть текста нельзя проигнорировать.
Например, если пользователь ищет «Какая норма давления у людей в 50 лет», алгоритм не должен упустить «50 лет», так как нормы давления отличаются в разном возрасте. А в случае поиска расписания городов важен порядок их следования — расписание может изменяться в зависимости от направления движения.
Новая контент-система
В «Яндекс.Поиске» обновилась контент-система, в которой хранится вся база документов (ссылки на сайт или другой контент), разбитая на несколько частей (шардов).
Когда «Поиск» ищет релевантные документы, он параллельно ищет лучшие результаты в каждом шарде базы, а затем с помощью алгоритмов постепенно фильтрует их.
На последнем этапе список с «лучшими» документами пересортировывают «тяжёлые» алгоритмы с более чем 1000 факторов ранжирования. Они выбирают десятку «лучших» ссылок, которые видит пользователь.
По словам Загребина, чтобы база была актуальной, её нужно постоянно обновлять и дополнять документами, но чем их больше, тем дольше поиск.
Чтобы оптимизировать базу, разработчики «Яндекса» создали алгоритм, который сортирует документы по смыслу (семантической близости) и только после сортировки ищет в нужных по смыслу разделах. Это позволило сэкономить ресурсы серверов, а освободившиеся мощности использовать для хранения большего объёма документов: их база увеличилась в два раза.
Обновление быстрых ответов
Ещё одна часть «Яндекс.Поиска» — технологии для получения однозначных ответов на простые вопросы в результатах выдачи. Загребин говорит, что в «Веге» стало на несколько десятков процентов больше быстрых ответов, а скорость их выдачи ускорилась благодаря технологии пререндера и обновлению «Турбо-страниц».
Пререндер
По словам главы «Поиска», технология пререндер позволяет с высокой точностью угадать, какой запрос введёт пользователь, и заранее загрузить для него результаты на смартфон.
Сейчас пререндер мгновенно загружает выдачу по «миллионам запросов».
«Турбо-страницы»
Пререндер — только часть ускорения выдачи результатов. Так как большая часть ответов на запросы пользователей хранится на сторонних сайтах, их также нужно ускорить. Для этого «Яндекс» улучшил технологию «Турбо-страниц», Загребин заявляет, что она ускоряет загрузку любого сайта в среднем в 15 раз.
«Турбо» представляет собой конструктор оптимизированных элементов, из которых можно «собрать» страницу сайта. В некоторых случаях страница «Турбо» может быть сгенерирована с помощью машинного обучения и повторяет неоптимизированную страницу сайта.
Вебмастеру нужно зайти в настройки и согласиться с использованием «Турбо» при переходах с «Яндекса», алгоритм генерирует страницу выдачи автоматически.
По подсчётам «Яндекса» связка из технологии пререндера и «Турбо» с начала 2019 года суммарно сэкономила 1000 лет жизни пользователей, которые смотрели бы на то, как у них грузится сайт в браузере.
Комментарии
Ещё одно изменение контент-системы — быстрая индексация изменений на странице сайта, например, если на ней появляются новые комментарии.
«Яндекс.Кью»
С 2019 года у «Яндекса» существовало два сервиса, посвященных ответам на вопросы пользователя, — «Яндекс.Знатоки» и приобретенный в марте 2019 года TheQuestion Тони Самсоновой. По словам Загребина, TheQuestion купили, так как сервис был близок по духу к тому, что делает «Яндекс» — «заразительно и увлекательно отвечал на вопросы людей».
С момента присоединения TheQuestion к «Яндексу» количество запросов, на которые эксперты «Знатоков» и TheQuestion давали ответы в поисковой выдаче, выросло в четыре раза. Одновременно с запуском «Веги» компания объединяет «Яндекс.Знатоки» и TheQuestion в единый сервис «Яндекс.Кью».
В «Яндекс.Кью» будет перенесён весь контент «Яндекс.Знатоков» и TheQuestion, включая персональные рекомендации, сохранённое избранное, истории, управление контентом.
Одним из изменений «Яндекс.Кью» станет улучшение качества ответов. Эксперты в областях, где ответы могут повлиять на жизнь и здоровье людей, будут верифицироваться, а запросы в них выделяться плашкой «Обратите внимание», чтобы указать на возможную противоречивость информации.
Также «Яндекс» приглашает отвечать на вопросы пользователей «Яндекс.Кью» представителей бизнеса и некоммерческие организации и таким образом «демонстрировать свою экспертизу и получать новых клиентов».
«Яндекс.Кью» интегрирован в поисковую выдачу «Яндекса» похожим на «Яндекс.Знатоков» образом — с выдачей нескольких ответов на вопрос и кнопкой перехода на сервис.
«Яндекс.Коллекции»
«Яндекс.Коллекции» — сервис, в котором пользователи «Яндекса» собирают изображения, фильмы, места, сайты и другой контент. С анонсом «Веги» компания запустила функцию коллаборативных коллекций, которые могут собирать сразу несколько пользователей.
Также в «Яндекс.Коллекциях» функция создания коллекций появится у организаций (сейчас находится в закрытом тестировании). Если у компании есть профиль в «Яндекс.Справочнике» или «Яндекс.Картах», она сможет создавать контент в «Коллекциях» или «Знатоках».
Например, указывать в «Коллекциях» цену на товары, а в описании профиля, коллекции или карточки давать ссылку на сайт со страницей оформления заказа.
Пока нет функции оформления заказа или обратного звонка — по словам Загребина, это идеи для будущего развития сервиса.
Бизнес-коллекции можно продвигать через «Яндекс.Директ».
«Яндекс.Район»
С запуском «Веги» сервис «Яндекс.Район» вышел из бета-тестирования. Теперь «социальная сеть для соседей» работает во всех городах России. К официальному запуску появились новые функции, например голосования и лента «Найдётся всё» — для поиска пропавших вещей, людей и животных.
Для «Найдётся всё» компания заключила партнёрство с поисково-спасательным отрядом «Лиза Алерт» — организация публикует в «Районе» объявления о потере человека, на которое могут откликнуться жители.
По словам Загребина, «Яндекс.Район» важен для поиска, так как есть вопросы, на которые может ответить только очень узкая группа людей в микрорайоне.
Например, обычным поисковым запросом не найти общество бегунов в районе — они не создают контент, а пользуются закрытыми группами в соцсетях или чатами в мессенджерах.
«Район» позволяет решить проблему с охватом таких классов запросов. В дальнейшем сервис может быть интегрирован в другие проекты компании, заявляют представители «Яндекса».
«Яндекс.Услуги»
Ещё один интегрированный сервис в «Яндекс.Поиске». Он также усиливает гиперлокальность поисковика через поиск специфических услуг в районе пользователя.
Одной из особенностей сервиса Загребин называет поиск исполнителей по карте.
Для качественных ответов на поисковые запросы недостаточно только технологий, а по-настоящему сложные задачи можно решить только объединив людей и технологии, считает Загребин. К этому направлению относятся как введение экспертов-асессоров, так и взаимодействие пользователей «Яндекса» в новых локальных сервисах, где они создают сообщества или помогают друг другу.
Яндекс.район — локальные новости и всё такое. «Круто» — подумал я и пошёл смотреть ленту по своему району. Реальность не оправдала ожидания — вместо местных новостей там филиал ОК.
"Последняя чеченская". Ох хоссспади....