Погода в «Яндексе»: от виджета до собственной технологии
Руководитель группы метеопрогнозирования «Яндекса» Александр Ганьшин рассказывает, как сервис стал самым популярным в России.
«Яндекс.Погода» появилась в далёком 2000 году, это был один из первых сервисов компании. В начале пути он представлял собой погодный виджет от внешнего сервиса «Метео-ТВ». Позже в команде появились выделенные менеджер и разработчик, которые наладили показ на сайте «Яндекса» метеопрогноза финской компании Foreca для ограниченного списка городов. С тех пор многое изменилось.
Как «Яндекс» сам научился погоду предсказывать
Версия прогноза погоды, которую вы видите сейчас на сайте, начала развиваться, когда, казалось бы, сервис уже состоялся — ему было 14 лет. В 2015 году мы запустили первую версию технологии Meteum. С этого момента «Яндекс.Погода» перестала быть ретранслятором чужих прогнозов. Сначала сервис работал в пилотном режиме: прогнозы по технологии Meteum были доступны только в Центральном и Уральском федеральных округах, так как основные силы разработки базировались в Москве и Екатеринбурге. Команда буквально на себе проверяла собственные прогнозы, что позволяло быстрее исправлять промахи.
В основе нашего Meteum была модель машинного обучения, которая искала и исправляла неточности в прогнозах Foreca, американского метеоцентра и своего собственного. Собственный прогноз мы рассчитывали на кластере из сотни вычислительных машин с помощью мезомасштабной модели Weather Research and Forecasting Model (WRF) и метода машинного обучения Матрикснет, который разработали внутри «Яндекса» и использовали на тот момент в поиске.
Прогноз, который меняется вместе с погодой
Погода может меняться так же стремительно и непредсказуемо, как настроение без чашки кофе. Особенно изменчива она бывает летом, когда солнце может внезапно смениться ливнем. Традиционные прогнозы погоды не всегда успевают за такими событиями, поэтому и говорят «местами дожди».
Чтобы наши пользователи могли планировать свой день, мы сделали в Погоде интерактивную карту осадков: в её основе — измерения с метеорадаров и машинное обучение. Сперва мы подключили 20 приборов, затем — ещё десять. Это позволило увеличить покрытие и, как следствие, количество пользователей.
Метеорологические радары делают замеры в радиусе 250 км от места установки, но сейчас мы используем только измерения, полученные в радиусе 170 км: на границе видимости уже могут быть неточности. Радары дают нам информацию о силе осадков (непосредственно дождь возле поверхности Земли) и об отражаемости или, другими словами, об ослаблении или рассеивании сигнала от радара на каплях воды в атмосфере до высоты 10 км — она позволяет улучшить прогноз возникновения и исчезновения осадков.
На интерактивной карте можно с точностью до 10 минут посмотреть прогноз на ближайшие два часа и узнать об осадках в разных районах города, чтобы спланировать свой маршрут и не попасть под дождь.
Метеорадар не может, нейросеть поможет
Хотя количество метеорадаров увеличивалось, их не всегда хватало для точного прогноза, а кроме того, они охватывают не все населенные пункты. Поэтому в регионах без радарной сети мы начали анализировать снимки со спутников с помощью нейронной сети.
Работает это так: сначала нейронные сети находят на спутниковых снимках места, где прямо сейчас идет дождь. После этого в дело снова вступают нейросети: на базе полученной информации о передвижении областей с дождями они строят прогноз, как будет меняться погода в ближайшие два часа.
Метеостанция в каждом смартфоне
Сейчас мы задействовали и коллективную силу пользователей «Яндекса». Чтобы оценивать качество наших прогнозов и делать их еще точнее, мы предложили людям сообщать нам об осадках через приложение. Сообщения пользователей отображаются на карте осадков в виде зонтиков.
Если говорить о традиционных способах наблюдения за погодой, то с метеостанций на территории России можно получить около 8 тысяч сообщений о дожде в сутки. Наши пользователи оставляют нам больше миллиона сообщений в день, а в особо дождливые дни — до трёх миллионов. Не все из них достоверны, но объем поступающей информации позволяет обеспечить высокую точность за счёт агрегации и сравнения сообщений, которые приходят из одного района.
Также профессиональные приборы не всегда быстро реагируют на внезапные дожди, зато люди сигнализируют об этом мгновенно: по нашим расчётам, благодаря их сообщениям нам удалось уменьшить количество ошибок на 20%. Также пользователи могут написать развернутое сообщение через форму обратной связи. Мы отслеживаем количество жалоб на неправильный прогноз и перепроверяем модели, чтобы выявить возможные неполадки.
Встречайте: Meteum 2.0
Использование сообщений пользователей позволило нам построить принципиально новую систему прогноза осадков. Для уменьшения ошибок мы используем свои данные о состоянии атмосферы и информацию от четырёх метеокомпаний: американской, европейской, японской и канадской. Данные радаров и спутников обрабатываются нейросетью и комбинируются с использованием алгоритма машинного обучения CatBoost. Модель машинного обучения ищет закономерности и учится воспроизводить сообщения от наших пользователей. Таким образом мы получаем информацию о дожде на основе всех объективных факторов.
Если первый Meteum базировался на гидродинамических моделях и машинном обучении, то во втором к ним добавились сообщения людей. Это позволило увеличить точность прогноза осадков на 5-15% в зависимости от погоды и региона. Такой подход позволяет делать прогноз и там, где мало наблюдений или активных пользователей: алгоритмы Meteum 2.0 могут опираться на данные районов, для которых достаточно информации.
Дизайн, который говорит
Чтобы нашим пользователям было удобнее сообщать о погоде, мы изменили дизайн сервиса. На передний план мы вывели карту осадков, чтобы о ней узнало как можно больше людей.
Опросы и UX-тесты показали, что люди охотнее участвуют в чём-либо, если видят свой вклад в общее дело и получают обратную связь. Поэтому мы решили добавлять на карту осадков зонтики. Как только пользователь оставляет сообщение об осадках, на карте у него и у других пользователей появляется зонтик.
До Meteum 2.0 сбор сообщений о погоде был немного запутанным. У нас было много вопросов про облачность, ветер, температуру — и люди не хотели тратить на них время. А о том, что можно ответить только на один вопрос, знали не все. Тогда мы сделали одну кнопку «Это так?» под иконкой с погодой, а на карте осадков — простой интерфейс, где надо выбрать, идёт дождь или нет. Это позволило нам увеличить поток сообщений в десятки раз. В итоге мы смогли разработать новую технологию прогноза, участвовать в котором теперь может каждый.
Да очень просто - пропихиваешь свой бар с любым софтом, проплачиваешь установку на новые устройства, делов-то.
Примерно как и все игроки на рынке. К примеру гугл)
побеждает тот, у кого больше денег
Люблю яндексовскую погоду, она по наблюдениям более точна, особенно карта осадков.
Вообще, был удивлён, что это их собственный прогноз и что там даже ИИ каким-то образом участвует, до этого был полон уверенности, что это просто сбор инфы и выдача какого-то усредненного показателя
Очередное промо метиума)
Сам пользуюсь Яндекс погодой, без негатива, но метиум хоть 2.0, хоть 3.0 - обычный сборщик информации о погоде от пользователей и профессиональных поставщиков метеоданных) А пафоса в 2015 году то было...
Комментарий недоступен
Отвечу сам себе:
https://meteoinfo.ru/radanim
До сих пор пользуюсь на iOS отдельным приложением Я.Погоды, хоть его и не обновляют уже пару лет. Запускать каждый раз суперапп, искать в нём иконку перехода к погоде, ждать пока загрузится веб-вью — увольте...
Ну дизайн там старый, фичи новые не добавляются, виджеты тоже только старые для iOS 14 — я об этом
Сразу и надо было так писать, зачем минусовать-то теперь?)
Виджет они умудрились сломать буквально недавно: требовал геолокацию и отказывался работать. Помогло удаление, перезагрузка аппарата и установка заново.
Вам говорят о том, что Погода есть как в составе супер апа, так и как отдельное приложение. От того что вы его обновите одно другим ее станет.
Держите, можете еще тут минус поставить))
Дарагой, ты не абыжайся, я щаз очэнь умную весч скажу
https://yandex.ru/pogoda/maps/nowcast
Вот прямо в телефоне можна сматреть!
Толко ты не абыжайса
Он таки абыделся! Хех :(
Сервис хороший, но не всегда прогноз осадков работает. Показывает, что через 15 минут будет ливень/смерч/ураган, но по факту только порыв ветра небольшой. Стараюсь репортить такие сбои, но что это даёт?
Комментарий недоступен
Комментарий недоступен
Когда-то занимался плотно погодными данными, купил учебники, сделал сайт, карты погоды. Подключил несколько источников, стала выдаваться своя погода. Потом стал изучать почему у меня и у других сайтов разная погода, хотя источник один и какая точность погоды по моим алгоритмам в сравнении с другими сайтами. Все данные делятся на два потока - текущая погода и прогноз на ближайшие (до 10, дальше полный бред, а точнее чистые фантазии) дни. По текущей у разных источников по разным городам разная точность и запоздание. А с прогнозом у всех плохо - точность хорошо если 50%. Но изучая сырые данные понял, что разные сайты их интерпретируют совсем по-разному и от этого точность прогноза существенно падает или повышается. Выработал свою систему интерпретации при которой прогноз стал значительно лучше чем у других. А потом вышло так что сайт еще не успел выйти на самоокупаемость, а источники нормальные стоят не малых денег и еще повысили тогда тарифы сильно, поэтому оставил только один хилый источник и забросил сайт.
А зачем это Яндексу - так и не ответили)
Сначала было для как источник трафика на главную. Потом как источник трафика в сервис.
Затем как средство таргетировагия рекламы.
Теперь как средство для определения повышенного спроса.
Большой трафик заходит на главную Яндекса только для того, чтобы увидеть:
1. Заголовки новостей
2. Пробки
3. Погоду
4. Курс валют
Есть карта, где отмечены метеорадары?
В япогоде есть
Не нашел там
Комментарий недоступен
Да, предсказание осадков на ближайшие час-два - это круто, и это реально работает, и прогноз оперативно корректируется по ходу дела.
Мне нравится, смотрю всегда по их приложению. Всегда достаточно точный прогноз
Комментарий недоступен
Все метеопрогнозы составляются по массивам метеоданных со спутников. Раньше была еще и сеть метеостанций по стране, сейчас они позакрывались почти все.
Чем больше входных данных, тем точнее прогноз, никаких "новых технологий" там нет.
https://www.windy.com/ru/
Пару лет назад можно было доверять прогнозу на день, когда смотришь утром. Сейчас даже на 3-4 часа не доверяю. Мажут особенно летом
Уберите уже наконец рекламу оттуда!