Яндекс

Погода в «Яндексе»: от виджета до собственной технологии

Руководитель группы метеопрогнозирования «Яндекса» Александр Ганьшин рассказывает, как сервис стал самым популярным в России.

«Яндекс.Погода» появилась в далёком 2000 году, это был один из первых сервисов компании. В начале пути он представлял собой погодный виджет от внешнего сервиса «Метео-ТВ». Позже в команде появились выделенные менеджер и разработчик, которые наладили показ на сайте «Яндекса» метеопрогноза финской компании Foreca для ограниченного списка городов. С тех пор многое изменилось.

Как «Яндекс» сам научился погоду предсказывать

Версия прогноза погоды, которую вы видите сейчас на сайте, начала развиваться, когда, казалось бы, сервис уже состоялся — ему было 14 лет. В 2015 году мы запустили первую версию технологии Meteum. С этого момента «Яндекс.Погода» перестала быть ретранслятором чужих прогнозов. Сначала сервис работал в пилотном режиме: прогнозы по технологии Meteum были доступны только в Центральном и Уральском федеральных округах, так как основные силы разработки базировались в Москве и Екатеринбурге. Команда буквально на себе проверяла собственные прогнозы, что позволяло быстрее исправлять промахи.

В основе нашего Meteum была модель машинного обучения, которая искала и исправляла неточности в прогнозах Foreca, американского метеоцентра и своего собственного. Собственный прогноз мы рассчитывали на кластере из сотни вычислительных машин с помощью мезомасштабной модели Weather Research and Forecasting Model (WRF) и метода машинного обучения Матрикснет, который разработали внутри «Яндекса» и использовали на тот момент в поиске.

Прогноз, который меняется вместе с погодой

Погода может меняться так же стремительно и непредсказуемо, как настроение без чашки кофе. Особенно изменчива она бывает летом, когда солнце может внезапно смениться ливнем. Традиционные прогнозы погоды не всегда успевают за такими событиями, поэтому и говорят «местами дожди».

Чтобы наши пользователи могли планировать свой день, мы сделали в Погоде интерактивную карту осадков: в её основе — измерения с метеорадаров и машинное обучение. Сперва мы подключили 20 приборов, затем — ещё десять. Это позволило увеличить покрытие и, как следствие, количество пользователей.

Метеорологические радары делают замеры в радиусе 250 км от места установки, но сейчас мы используем только измерения, полученные в радиусе 170 км: на границе видимости уже могут быть неточности. Радары дают нам информацию о силе осадков (непосредственно дождь возле поверхности Земли) и об отражаемости или, другими словами, об ослаблении или рассеивании сигнала от радара на каплях воды в атмосфере до высоты 10 км — она позволяет улучшить прогноз возникновения и исчезновения осадков.

На интерактивной карте можно с точностью до 10 минут посмотреть прогноз на ближайшие два часа и узнать об осадках в разных районах города, чтобы спланировать свой маршрут и не попасть под дождь.

Метеорадар не может, нейросеть поможет

Хотя количество метеорадаров увеличивалось, их не всегда хватало для точного прогноза, а кроме того, они охватывают не все населенные пункты. Поэтому в регионах без радарной сети мы начали анализировать снимки со спутников с помощью нейронной сети.

Работает это так: сначала нейронные сети находят на спутниковых снимках места, где прямо сейчас идет дождь. После этого в дело снова вступают нейросети: на базе полученной информации о передвижении областей с дождями они строят прогноз, как будет меняться погода в ближайшие два часа.

Метеостанция в каждом смартфоне

Сейчас мы задействовали и коллективную силу пользователей «Яндекса». Чтобы оценивать качество наших прогнозов и делать их еще точнее, мы предложили людям сообщать нам об осадках через приложение. Сообщения пользователей отображаются на карте осадков в виде зонтиков.

Если говорить о традиционных способах наблюдения за погодой, то с метеостанций на территории России можно получить около 8 тысяч сообщений о дожде в сутки. Наши пользователи оставляют нам больше миллиона сообщений в день, а в особо дождливые дни — до трёх миллионов. Не все из них достоверны, но объем поступающей информации позволяет обеспечить высокую точность за счёт агрегации и сравнения сообщений, которые приходят из одного района.

Также профессиональные приборы не всегда быстро реагируют на внезапные дожди, зато люди сигнализируют об этом мгновенно: по нашим расчётам, благодаря их сообщениям нам удалось уменьшить количество ошибок на 20%. Также пользователи могут написать развернутое сообщение через форму обратной связи. Мы отслеживаем количество жалоб на неправильный прогноз и перепроверяем модели, чтобы выявить возможные неполадки.

Встречайте: Meteum 2.0

Использование сообщений пользователей позволило нам построить принципиально новую систему прогноза осадков. Для уменьшения ошибок мы используем свои данные о состоянии атмосферы и информацию от четырёх метеокомпаний: американской, европейской, японской и канадской. Данные радаров и спутников обрабатываются нейросетью и комбинируются с использованием алгоритма машинного обучения CatBoost. Модель машинного обучения ищет закономерности и учится воспроизводить сообщения от наших пользователей. Таким образом мы получаем информацию о дожде на основе всех объективных факторов.

Если первый Meteum базировался на гидродинамических моделях и машинном обучении, то во втором к ним добавились сообщения людей. Это позволило увеличить точность прогноза осадков на 5-15% в зависимости от погоды и региона. Такой подход позволяет делать прогноз и там, где мало наблюдений или активных пользователей: алгоритмы Meteum 2.0 могут опираться на данные районов, для которых достаточно информации.

Дизайн, который говорит

Чтобы нашим пользователям было удобнее сообщать о погоде, мы изменили дизайн сервиса. На передний план мы вывели карту осадков, чтобы о ней узнало как можно больше людей.

Опросы и UX-тесты показали, что люди охотнее участвуют в чём-либо, если видят свой вклад в общее дело и получают обратную связь. Поэтому мы решили добавлять на карту осадков зонтики. Как только пользователь оставляет сообщение об осадках, на карте у него и у других пользователей появляется зонтик.

До Meteum 2.0 сбор сообщений о погоде был немного запутанным. У нас было много вопросов про облачность, ветер, температуру — и люди не хотели тратить на них время. А о том, что можно ответить только на один вопрос, знали не все. Тогда мы сделали одну кнопку «Это так?» под иконкой с погодой, а на карте осадков — простой интерфейс, где надо выбрать, идёт дождь или нет. Это позволило нам увеличить поток сообщений в десятки раз. В итоге мы смогли разработать новую технологию прогноза, участвовать в котором теперь может каждый.

{ "author_name": "Яндекс", "author_type": "editor", "tags": [], "comments": 35, "likes": 18, "favorites": 11, "is_advertisement": false, "subsite_label": "yandex", "id": 302991, "is_wide": true, "is_ugc": false, "date": "Thu, 14 Oct 2021 10:48:12 +0300", "is_special": false }
0
35 комментариев
Популярные
По порядку
Написать комментарий...

как сервис стал самым популярным в России

Да очень просто - пропихиваешь свой бар с любым софтом, проплачиваешь установку на новые устройства, делов-то.

17

Примерно как и все игроки на рынке. К примеру гугл)

0

побеждает тот, у кого больше денег

0

Люблю яндексовскую погоду, она по наблюдениям более точна, особенно карта осадков.
Вообще, был удивлён, что это их собственный прогноз и что там даже ИИ каким-то образом участвует, до этого был полон уверенности, что это просто сбор инфы и выдача какого-то усредненного показателя

9

Очередное промо метиума)
Сам пользуюсь Яндекс погодой, без негатива, но метиум хоть 2.0, хоть 3.0 - обычный сборщик информации о погоде от пользователей и профессиональных поставщиков метеоданных) А пафоса в 2015 году то было...

4

Один из немногих сервисов Яндекса, который не опорочен негативом. Видимо, команда Погоды работает как-то обособленно от остальных, а руководству все равно — реклама крутится и ладно.

3

До сих пор пользуюсь на iOS отдельным приложением Я.Погоды, хоть его и не обновляют уже пару лет. Запускать каждый раз суперапп, искать в нём иконку перехода к погоде, ждать пока загрузится веб-вью — увольте...

–3

Ну дизайн там старый, фичи новые не добавляются, виджеты тоже только старые для iOS 14 — я об этом

–2

Сразу и надо было так писать, зачем минусовать-то теперь?)

2

Виджет они умудрились сломать буквально недавно: требовал геолокацию и отказывался работать. Помогло удаление, перезагрузка аппарата и установка заново.

0

Вам говорят о том, что Погода есть как в составе супер апа, так и как отдельное приложение. От того что вы его обновите одно другим ее станет.

–1

Держите, можете еще тут минус поставить)) ред.

–1

Дарагой, ты не абыжайся, я щаз очэнь умную весч скажу

https://yandex.ru/pogoda/maps/nowcast

Вот прямо в телефоне можна сматреть!

–1

Толко ты не абыжайса

1

Он таки абыделся! Хех :(

2

Сервис хороший, но не всегда прогноз осадков работает. Показывает, что через 15 минут будет ливень/смерч/ураган, но по факту только порыв ветра небольшой. Стараюсь репортить такие сбои, но что это даёт?

1
Запасной танк88

Жизненный цикл грозовых ячеек скоротечен: они быстро образовываются, быстро разряжаются и так же быстро исчезают. Предсказывать их появление и поведение очень сложно.
Зная это можно держать в уме, что если в середине июля прогноз говорит что сегодня дождя не будет — ваще не факт. А если в конце ноября говорит что после полудня пойдёт дождь и будет накрапывать до вечера, то скорее всего так и будет.

1

Там временной лаг между началом дождя и отображением его на карте минут пять, не меньше, если вообще отобразится. Бывает жмёшь "идёт дождь", а сервис забивает болт. Постоянно пишу в обратную связь, что отображение осадков запаздывает.

Вообще со всеми продуктами Яндекса в последнее время какая-то хуйня в плане обработки информации от пользователей. В Справочнике им похуй на то, что магазин не работает уже две недели, им, видите ли, из XML фида инфу другую дают, а на фото закрытых дверей и табличку о закрытии филиала им похуй.

1

Когда-то занимался плотно погодными данными, купил учебники, сделал сайт, карты погоды. Подключил несколько источников, стала выдаваться своя погода. Потом стал изучать почему у меня и у других сайтов разная погода, хотя источник один и какая точность погоды по моим алгоритмам в сравнении с другими сайтами. Все данные делятся на два потока - текущая погода и прогноз на ближайшие (до 10, дальше полный бред, а точнее чистые фантазии) дни. По текущей у разных источников по разным городам разная точность и запоздание. А с прогнозом у всех плохо - точность хорошо если 50%. Но изучая сырые данные понял, что разные сайты их интерпретируют совсем по-разному и от этого точность прогноза существенно падает или повышается. Выработал свою систему интерпретации при которой прогноз стал значительно лучше чем у других. А потом вышло так что сайт еще не успел выйти на самоокупаемость, а источники нормальные стоят не малых денег и еще повысили тогда тарифы сильно, поэтому оставил только один хилый источник и забросил сайт.

1

А зачем это Яндексу - так и не ответили)

0

Сначала было для как источник трафика на главную. Потом как источник трафика в сервис.
Затем как средство таргетировагия рекламы.
Теперь как средство для определения повышенного спроса.

Большой трафик заходит на главную Яндекса только для того, чтобы увидеть:
1. Заголовки новостей
2. Пробки
3. Погоду
4. Курс валют

1

Есть карта, где отмечены метеорадары?

0

Осталось научится погоду нормально предсказывать. В 2021г позорище, когда нет дождя рисовать 3 капли.

0

Да, предсказание осадков на ближайшие час-два - это круто, и это реально работает, и прогноз оперативно корректируется по ходу дела.

0

Мне нравится, смотрю всегда по их приложению. Всегда достаточно точный прогноз

0

Из последнего. Сегодня пишу им: У вас в приложении Дзен и web-версии один и тот же канал даёт разные данные. Описал всё подробно по пунктам.

«Кнопка «Подписаться». В приложении кнопка активна, словно я не подписан на канал. В браузере кнопка «Подписаться» отображается верно, так как я подписан на канал»

Мне из поддержки отвечают: Дело в том, что в браузере, когда вы просматриваете дзен-каналы, то кнопки подписаться нет, так как через браузер вы заходите как не идентифицированный пользователь

Блять, может я реально непонятно пишу? Или скриншоты не прикрепил. Да нет, прикрепил и даже скринкаст сделал.

0

Все метеопрогнозы составляются по массивам метеоданных со спутников. Раньше была еще и сеть метеостанций по стране, сейчас они позакрывались почти все.

Чем больше входных данных, тем точнее прогноз, никаких "новых технологий" там нет.

0

Пару лет назад можно было доверять прогнозу на день, когда смотришь утром. Сейчас даже на 3-4 часа не доверяю. Мажут особенно летом

0

Уберите уже наконец рекламу оттуда!

0
Читать все 35 комментариев
Как дайгоу может помочь наладить систему сбыта в Китай

Во время пандемии дайгоу стал важным каналом дистрибуции товаров в Китай. Дайгоу компенсирует утраченный спрос граждан Китая на зарубежных рынках и представляет собой новую возможность для российского бизнеса.

Кикшеринг станет ещё доступнее, но для крупных игроков места больше нет: интервью с инвесторами кикшеринга «Юрент» Статьи редакции

Андрей Азаров и Михаил Гейшерик рассказали, зачем «Юрент» купил сервис аренды обычных велосипедов, продолжится ли бурный рост кикшеринга и что этому может помешать.

Михаил Гейшерик и Андрей Азаров
Blue Origin Джеффа Безоса запланировала создать собственную космическую станцию «Орбитальный риф» Статьи редакции

Она начнёт работать во второй половине 2020-х годов.

Улыбнитесь, вас снимают: как биометрия меняет жизнь банковских клиентов

Что такое биометрия, как ее используют банки и что нас ждет в будущем с единой биометрической системой, мы узнали у Дарьи Скачковой, управляющего директора в Газпромбанке

Предсказать и оптимизировать: плавим сталь с помощью Data Science

Как создавали программу, которая помогает металлургам экономить 3-5 млн долларов в год

МТС дополнила экосистему B2B-продуктов решениями МТТ

ПАО «МТС», ведущая российская компания по предоставлению цифровых, медийных и телекоммуникационных сервисов, дополнила экосистему продуктов для бизнеса новым решением – виртуальной АТС от своей 100% дочерней компании АО «Межрегиональный ТранзитТелеком» (МТТ), федерального провайдера интеллектуальных телеком- и ИТ-решений для бизнеса. Теперь…

У альфа-банка стоит ограничение на отображение баланса в пуше, его не видно полностью

Скорее всего, Альфа-банк провел свой аналог "Игры в Кальмара", где разыграл суперприз. Их версия отличается от корейской тем, что там не надо никого убивать и проходить испытания. Вы, как обычно, пользуетесь картой и получаете шанс выиграть супер приз! Когда мне пришел этот пуш, я сразу понял, что не зря был вашим клиентом столько лет! Вы…

Apple выпустила macOS Monterey и анонсировала запуск сервиса Fitness+ в России Статьи редакции

Он станет доступен 3 ноября.

Час в неделю — на помощь детям: как 303 учителя со всей России стали онлайн-волонтёрами для школьников

Движение «Педагоги-волонтеры России» учит ребят из детских домов и малоимущих семей. Их репетиторы уже помогли 1 350 детям наверстать знания по школьным предметам. Сейчас платформа ищет новых учителей по всей России. Особенно — математиков и программистов

Авито Доставка - покупатель забрал товар, а деньги мне не перевели

Решила продать xBox, после нескольких дней бесплодных попыток в своем городе соблазнилась Авито Доставкой, которую предложил покупатель. До этого отправляла через доставку небольшой товар, все прошло идеально. У покупателя долгая история покупок и отличные отзывы. Что может пойти не так? - подумала я и решительно потащила коробку в пункт приема в…

Продуктовые метрики: какие они бывают и как ими пользоваться?

Я работаю CPO в компании с десятками тысяч заказов в день. Недавно стал плотно вовлекать коллег в продуктовые процессы. Оказалось, что не все знают, что такое GMV или конверсия, не говоря уже о более узких метриках, например, session duration или page depth. Расскажу поподробнее в этой статье про метрики и комплексы метрик.

null