[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "create", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-158433683", "adfox_url": "//ads.adfox.ru/228129/getCode?p1=bxbwd&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid21=&puid22=&puid31=&fmt=1&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } } ]
{ "author_name": "Albert Khabibrakhimov", "author_type": "self", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u044c","\u044f\u043d\u0434\u0435\u043a\u0441","\u043f\u043e\u0438\u0441\u043a","\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435_\u0441\u0435\u0442\u0438"], "comments": 28, "likes": 14, "favorites": 9, "is_advertisement": false, "section_name": "default", "id": "19673", "is_wide": "1" }
Albert Khabibrakhimov
5 744

«Яндекс» запустил новый поисковый алгоритм для обработки редких запросов на основе нейронных сетей

«Яндекс» запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Он позволит поисковику «лучше понимать» запросы пользователей не только по ключевым словам, но и по смыслу, рассказали vc.ru в компании.

Новый алгоритм на нейронных сетях позволяет поиску «Яндекса» устанавливать соответствия между поисковым запросом и заголовками веб-страниц даже в том случае, если у них нет общих ключевых слов. Речь идёт о редких и уникальных (низкочастотных) запросах, которые «встречаются чрезвычайно редко, но вместе составляют существенную часть поискового потока», объяснили в «Яндексе». По словам представителей компании, ежедневно поисковик получает около 100 млн таких запросов — это почти треть всех запросов «Яндекса».

В компании представляют график частотного распределения запросов поиска в виде птицы, а низкочастотные запросы — в виде «длинного хвоста». «Такой хвост есть у сказочной Жар-птицы, которая часто появляется на палехской миниатюре. Поэтому мы дали алгоритму название "Палех"», — объяснили в «Яндексе».

Запросы из «длинного хвоста» очень разнообразны, но среди них можно выделить несколько групп. Например, одна из них — запросы от детей, которые пока не освоили язык общения с поиском и часто обращаются к нему как к живому собеседнику: [дорогой яндекс посоветуй пожалуйста новые интересные игры про фей для плантика]. Ещё одна группа — запросы от людей, которые хотят узнать название фильма или книги по запомнившемуся эпизоду: [фильм где человек сажал картошку на другой планете] («Марсианин») или [фильм где физики рассказывали даме про дейтерий] («Девять дней одного года»).

— «Яндекс»

Нейронные сети в поиске «Яндекса» задействованы приблизительно по той же схеме, которая используется при работе с изображениями. Разработчики компании обучили систему, показывая ей конкретные примеры запросов и выдаваемых заголовков, которые они подобрали с помощью накопленной статистики.

Компьютеру проще работать с числами, чем с буквами, и поиск соответствий между запросами и веб-страницами сводится к сравнению чисел. Мы научили нейронную сеть переводить миллиарды известных «Яндексу» заголовков веб-страниц из текста в числа — а точнее, в большие группы чисел. В результате все документы из базы данных «Яндекса» получили координаты в многомерном пространстве.

Вообразить такую систему координат человеку довольно трудно. Давайте упростим задачу и представим, что каждой веб-странице соответствует группа из двух чисел — и мы имеем дело не с многомерным, а всего лишь с двумерным пространством. Тогда получится, что каждое число — это определённая координата по одной из двух осей, а каждая веб-страница просто соответствует точке на двумерной координатной плоскости.

Точно так же в набор чисел можно перевести и текст поискового запроса. Другими словами, мы можем разместить запрос в том же пространстве координат, что и веб-страницу. Замечательное свойство такого представления состоит в том, что чем ближе они будут расположены друг к другу, тем лучше страница отвечает на запрос.

— «Яндекс»

Такой способ обработки запроса и его сопоставления с вероятными ответами в «Яндексе» назвали семантическим вектором.

«Этот подход хорошо работает в тех случаях, когда запрос относится к области "длинного хвоста". Семантические векторы позволяют нам лучше находить ответы на сложные низкочастотные запросы, по которым имеется слишком мало пользовательской статистики», — объяснили в компании.

«Яндекс» использует способ семантического вектора и в других своих сервисах — например, в «Картинках». В будущем компания планирует использовать этот метод для сопоставления запросов и полноценных текстовых документов, а также для обработки профилей пользователей в интернете, учитывая их интересы, предыдущие запросы и переходы по ссылкам.

#новость #яндекс #поиск #нейронные_сети

{ "is_needs_advanced_access": false }

Комментарии Комм.

Популярные

По порядку

0

Прямой эфир

Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления