«Яндекс» представил большое обновление поиска «Вега»: экспертные ответы, новые алгоритмы и запуск сервиса «Яндекс.Кью» Статьи редакции
Рассказ руководителя «Поиска» Максима Загребина.
17 декабря «Яндекс» представил новую версию «Поиска» под названием «Вега». Её основными изменениями стали:
- Запуск экспертного поиска для сложных запросов.
- Усиление факторов ранжирования, которые определяют важные части запроса пользователя.
- Новая контент-система. Она хранит в два раза больше документов и ищет их по смыслу.
- Ускорение выдачи в мобильной версии с помощью пререндера и обновления «Турбо-страниц».
- Быстрая индексация обновлений статей и комментариев,
- Объединение сервисов TheQuestion и «Яндекс.Знатоки» в сервис «Яндекс.Кью».
- Добавление профилей организаций в «Яндекс.Коллекциях» и продвижение коллекций.
- Запуск сервиса «Район» по всей России.
- Интеграция в «Поиск» сервиса «Услуги».
Обозреватель vc.ru поговорил с руководителем «Яндекс.Поиска» Максимом Загребиным о том, что появилось за год после выхода «Андромеды», в каком направлении развивается сервис и как нововведения повлияют на пользователей.
По словам Загребина, в новой версии «Яндекс.Поиска» более 1500 улучшений. Основные можно сгруппировать в два направления: крупные технологические изменения алгоритмов и продуктовые изменения — обновление старых сервисов и запуск новых.
Запуск экспертного поиска
Первое направление, которое определяет развитие «Яндекс.Поиска», — запуск экспертного поиска.
Раньше алгоритмы ранжирования учитывали оценки асессоров — удалённых специалистов «Яндекса» и «толокеров». Теперь «Яндекс» для сложных запросов в узких тематиках подбирает асессоров-экспертов, которые могут давать квалифицированные ответы на запросы, говорит Загребин.
Некоторые из асессоров — практикующие врачи, юристы, у кого-то богатый опыт в ИТ и так далее. Они покрывают практически все тематики интересов пользователей.
Мы построили систему при помощи опросов и анализа других факторах об асессорах и научились понимать, является ли асессор специалистом в какой-то области и насколько глубока его экспертиза. У каждого асессора появился профиль его специализации.
На декабрь 2019 года асессоры-эксперты обрабатывают около 15% запросов от всего потока.
По словам Загребина, оценки экспертов применяются не только в сложных запросах: обученную «экспертную» модель машинного обучения используют как образец для простых запросов и таким образом улучшают качество поисковой выдачи по всем запросам.
Усиление факторов ранжирования
На качество поиска влияет не только качество алгоритма и количество оценок, но и факторы ранжирования. Они «вытягивают» нужную пользователю информацию из поисковой базы — чем больше полезной информации он может вытянуть, тем больше его «сила».
В 2019 году факторы ранжирования «Яндекса» стали в три раза «сильнее», чем в алгоритме «Королёв». Один из таких факторов — переформулировки запроса пользователем, который понимает, какую часть текста нельзя проигнорировать.
Например, если пользователь ищет «Какая норма давления у людей в 50 лет», алгоритм не должен упустить «50 лет», так как нормы давления отличаются в разном возрасте. А в случае поиска расписания городов важен порядок их следования — расписание может изменяться в зависимости от направления движения.
Новая контент-система
В «Яндекс.Поиске» обновилась контент-система, в которой хранится вся база документов (ссылки на сайт или другой контент), разбитая на несколько частей (шардов).
Когда «Поиск» ищет релевантные документы, он параллельно ищет лучшие результаты в каждом шарде базы, а затем с помощью алгоритмов постепенно фильтрует их.
На последнем этапе список с «лучшими» документами пересортировывают «тяжёлые» алгоритмы с более чем 1000 факторов ранжирования. Они выбирают десятку «лучших» ссылок, которые видит пользователь.
По словам Загребина, чтобы база была актуальной, её нужно постоянно обновлять и дополнять документами, но чем их больше, тем дольше поиск.
Чтобы оптимизировать базу, разработчики «Яндекса» создали алгоритм, который сортирует документы по смыслу (семантической близости) и только после сортировки ищет в нужных по смыслу разделах. Это позволило сэкономить ресурсы серверов, а освободившиеся мощности использовать для хранения большего объёма документов: их база увеличилась в два раза.
Мы ещё со времен «Королёва» развивали модели, понимающие смысл, а не только содержание слов — научились кластеризовать документы, понимать, к каким кластерам документов относится запрос и после этого искать только в этих кластерах.
Если раньше любой запрос искал по всем документам, сейчас мы можем его отправлять только в те кластера, в которых с высокой вероятностью может содержаться релевантный ответ.
Мы стали лучше понимать на самых ранних стадиях, какие документы «хорошие», и отправлять меньше документов на более поздние, «тяжелые», стадии ранжирования.
Кажется, никто кроме нас так не умеет. Это радикально новый подход, который привёл к заметному улучшению качества поиска.
На бытовом уровне мы можем позволить себе хранить документы, которые будут нужны один раз в год одному человеку из всей нашей аудитории. Например, какой-то редкий документ на китайском языке, который может понадобиться жителю Дальнего Востока по какому-то запросу.
Обновление быстрых ответов
Ещё одна часть «Яндекс.Поиска» — технологии для получения однозначных ответов на простые вопросы в результатах выдачи. Загребин говорит, что в «Веге» стало на несколько десятков процентов больше быстрых ответов, а скорость их выдачи ускорилась благодаря технологии пререндера и обновлению «Турбо-страниц».
Главная цель «Поиска» — решать задачу пользователя. Человек, который идёт к метро, может искать какую-то статью, чтобы загрузить её и читать в офлайне. У нас целый пласт технологий направлен на сокращение времени на получение ответа.
Пререндер
По словам главы «Поиска», технология пререндер позволяет с высокой точностью угадать, какой запрос введёт пользователь, и заранее загрузить для него результаты на смартфон.
Сейчас пререндер мгновенно загружает выдачу по «миллионам запросов».
Когда пользователь пишет запрос, «Поиск» выдаёт наиболее частотные подсказки по нему, с учётом персональности, истории, свежих запросов.
Обычно первую подсказку используют чаще всего. Мы могли бы её брать и всегда загружать, но если пользователь вводит длинный запрос из нескольких слов, первая подсказка меняется.
Если бы мы каждый раз загружали результаты этой подсказки, нагрузка на сервера возросла бы в несколько раз, и мы бы потратили всё сэкономленное после внедрения новой контент-системы.
«Турбо-страницы»
Пререндер — только часть ускорения выдачи результатов. Так как большая часть ответов на запросы пользователей хранится на сторонних сайтах, их также нужно ускорить. Для этого «Яндекс» улучшил технологию «Турбо-страниц», Загребин заявляет, что она ускоряет загрузку любого сайта в среднем в 15 раз.
«Турбо» представляет собой конструктор оптимизированных элементов, из которых можно «собрать» страницу сайта. В некоторых случаях страница «Турбо» может быть сгенерирована с помощью машинного обучения и повторяет неоптимизированную страницу сайта.
Вебмастеру нужно зайти в настройки и согласиться с использованием «Турбо» при переходах с «Яндекса», алгоритм генерирует страницу выдачи автоматически.
Это не новая технология, но в ней появляется всё больше элементов. Сейчас активно увеличиваем количество типов сайтов, которые могут использовать «Турбо-страницы».
Если в СМИ и издательских сайтах это де-факто стандарт, то, например, интернет-магазины только сейчас начали подключать «Турбо». Они заметили, что технология увеличивает конверсию в покупки — по нашим данным, примерно на 20%.
И «Турбо» за 2019 год очень сильно развилась по функциональности и скорости ответа. Каждый его элемент заточен под скорость, как тюнингованное авто, они хранятся на CDN «Яндекса» для минимальной скорости загрузки.
Также мы оптимизируем страницу, начинаем предзагрузку и так далее, чтобы на каждом устройстве показать раньше самое важное.
По подсчётам «Яндекса» связка из технологии пререндера и «Турбо» с начала 2019 года суммарно сэкономила 1000 лет жизни пользователей, которые смотрели бы на то, как у них грузится сайт в браузере.
Комментарии
Ещё одно изменение контент-системы — быстрая индексация изменений на странице сайта, например, если на ней появляются новые комментарии.
Если какая-то информация появилась в комментариях на сайте, мы должны это быстро определить, скачать документ, проиндексировать его и положить в базу, чтобы «Поиск» мог искать и по комментариям. По нашим оценкам, около 30% обновлений страниц появляются в «Поиске» уже через несколько секунд.
«Яндекс.Кью»
С 2019 года у «Яндекса» существовало два сервиса, посвященных ответам на вопросы пользователя, — «Яндекс.Знатоки» и приобретенный в марте 2019 года TheQuestion Тони Самсоновой. По словам Загребина, TheQuestion купили, так как сервис был близок по духу к тому, что делает «Яндекс» — «заразительно и увлекательно отвечал на вопросы людей».
С момента присоединения TheQuestion к «Яндексу» количество запросов, на которые эксперты «Знатоков» и TheQuestion давали ответы в поисковой выдаче, выросло в четыре раза. Одновременно с запуском «Веги» компания объединяет «Яндекс.Знатоки» и TheQuestion в единый сервис «Яндекс.Кью».
В «Яндекс.Кью» будет перенесён весь контент «Яндекс.Знатоков» и TheQuestion, включая персональные рекомендации, сохранённое избранное, истории, управление контентом.
Год назад мы купили компанию Znanie и объединили команды сервиса «Знатоки» и TheQuestion. С момента покупки команда научилась брать лучшее из двух сервисов — и сейчас мы запускаем сервис «Кью», на котором с одной стороны будет сообщество людей и дух TheQuestion, развивающий любознательность, взаимоуважение, а с другой — технологии «Яндекса».
Большинство экспертов сервисов получили доступ в «Кью» и начали им пользоваться до публичного запуска, который состоялся сегодня.
Одним из изменений «Яндекс.Кью» станет улучшение качества ответов. Эксперты в областях, где ответы могут повлиять на жизнь и здоровье людей, будут верифицироваться, а запросы в них выделяться плашкой «Обратите внимание», чтобы указать на возможную противоречивость информации.
Например, стоит ли ставить детям прививки — хайповая тема, решение по которой должен принять сам человек, но перед принятием решения, он должен получить достоверную информацию, которая поможет ему сделать выбор.
Кто писал на форумах информацию или статьи, непонятно, но сообщество «Кью» — это проверенные эксперты, которых мы верифицируем в таких сложных тематиках.
В категориях сложных запросов, касающихся жизни и здоровья людей, мы сотрудничаем с фондами — они дают проверенных специалистов и верифицируют ответы.
Также «Яндекс» приглашает отвечать на вопросы пользователей «Яндекс.Кью» представителей бизнеса и некоммерческие организации и таким образом «демонстрировать свою экспертизу и получать новых клиентов».
«Яндекс.Кью» интегрирован в поисковую выдачу «Яндекса» похожим на «Яндекс.Знатоков» образом — с выдачей нескольких ответов на вопрос и кнопкой перехода на сервис.
У нас есть общий механизм, через который сервисы «Яндекса» показываются в «Поиске» — это «колдунщики».
Они показываются тогда и на тех позициях, когда полезны пользователям, так как мы считаем, что на этом месте сервис даст пользователю больше пользы, и он быстрее решит свою задачу, чем если бы мы на это место поставили результат органической выдачи.
«Яндекс.Коллекции»
«Яндекс.Коллекции» — сервис, в котором пользователи «Яндекса» собирают изображения, фильмы, места, сайты и другой контент. С анонсом «Веги» компания запустила функцию коллаборативных коллекций, которые могут собирать сразу несколько пользователей.
Также в «Яндекс.Коллекциях» функция создания коллекций появится у организаций (сейчас находится в закрытом тестировании). Если у компании есть профиль в «Яндекс.Справочнике» или «Яндекс.Картах», она сможет создавать контент в «Коллекциях» или «Знатоках».
Например, указывать в «Коллекциях» цену на товары, а в описании профиля, коллекции или карточки давать ссылку на сайт со страницей оформления заказа.
Пока нет функции оформления заказа или обратного звонка — по словам Загребина, это идеи для будущего развития сервиса.
Бизнес-коллекции можно продвигать через «Яндекс.Директ».
Если «Кью» больше для бизнеса, который хочет делиться экспертизой и писать ответы на вопросы, то «Коллекции» подойдёт как платформа для продвижения бизнеса, где люди покупают продукты и товары, и решение о покупке принимается на визуальном уровне. Например, хендмейд, услуги визажиста, изготовление тортов, магазины и бренды одежды.
«Яндекс.Район»
С запуском «Веги» сервис «Яндекс.Район» вышел из бета-тестирования. Теперь «социальная сеть для соседей» работает во всех городах России. К официальному запуску появились новые функции, например голосования и лента «Найдётся всё» — для поиска пропавших вещей, людей и животных.
Для «Найдётся всё» компания заключила партнёрство с поисково-спасательным отрядом «Лиза Алерт» — организация публикует в «Районе» объявления о потере человека, на которое могут откликнуться жители.
У «Лизы Алерт» есть сложность не с раздачей ориентировок, а волонтёрами, которые будут принимать участие в поисках. И «Яндекс.Район» — дополнительный канал для организации, где люди могут откликнуться и начать адресно помогать. Уже есть случай, когда пользователи сервиса помогли найти пропавшего человека.
По словам Загребина, «Яндекс.Район» важен для поиска, так как есть вопросы, на которые может ответить только очень узкая группа людей в микрорайоне.
Например, обычным поисковым запросом не найти общество бегунов в районе — они не создают контент, а пользуются закрытыми группами в соцсетях или чатами в мессенджерах.
«Район» позволяет решить проблему с охватом таких классов запросов. В дальнейшем сервис может быть интегрирован в другие проекты компании, заявляют представители «Яндекса».
«Яндекс.Услуги»
Ещё один интегрированный сервис в «Яндекс.Поиске». Он также усиливает гиперлокальность поисковика через поиск специфических услуг в районе пользователя.
У людей часто есть практическая задача. Важно найти не как её сделать, а конкретного исполнителя. Для распространённых услуг есть различные сайты с множеством объявлений. Но есть и специфические услуги.
Например, один из наших сотрудников захотел найти тренера по пинг-понгу, чтобы у него были отзывы и рейтинги, но у более редких услуг единого места нет. И «Яндекс.Услуги», наверное, уникальный сервис, который позволяет найти исполнителя практически на любую задачу.
Одной из особенностей сервиса Загребин называет поиск исполнителей по карте.
Иногда важно, чтобы исполнитель жил рядом. Например, я ищу няню, которая могла бы подменить меня на несколько часов. Важно, чтобы она жила рядом и не ехала через весь город. Функция поиска исполнителя на карте позволяет найти, кто в районе пользователя предоставляет такую услугу.
Для качественных ответов на поисковые запросы недостаточно только технологий, а по-настоящему сложные задачи можно решить только объединив людей и технологии, считает Загребин. К этому направлению относятся как введение экспертов-асессоров, так и взаимодействие пользователей «Яндекса» в новых локальных сервисах, где они создают сообщества или помогают друг другу.
Яндекс.район — локальные новости и всё такое. «Круто» — подумал я и пошёл смотреть ленту по своему району. Реальность не оправдала ожидания — вместо местных новостей там филиал ОК.
более того сервис "яндекс район" включен в реестр ОРИ, а значит сливает все все данные спецслужбам в режиме реального времени :Dhttps://reestr.rublacklist.net/distributor/109408
Как и весь Яндекс и все соцсети
ну так-то не все данные, а только по запросу и решению суда (как и все другие компании в России, живущие по нашему гнилому законодательству)
нет. почитайте технические условия ОРИ подключения. все и реалтайм)