Сделали для себя — оказалось, нужно рынку: как появилась платформа Data Tracker
Как в Сбере сделали свою платформу макроэкономических данных после ухода зарубежных сервисов
В 2022 году российские компании столкнулись с проблемой: часть сервисов, через которые бизнес получал макроэкономические данные и прогнозы, исчезли с рынка. А именно на таких данных строятся бизнес-планы, стратегии и стресс-тесты.
В Сбере решили не искать временные обходные решения и разработали собственную систему. Сначала она создавалась для внутренних задач банка, но постепенно превратилась в полноценный продукт — платформу Data Tracker, которая теперь выходит на внешний рынок.
Это платформа для работы с макроэкономическими данными и прогнозами. В ней собрано более 400 индикаторов — от инфляции и ключевой ставки до отраслевых показателей. Система позволяет не только получать данные, но и анализировать их, строить сценарии и использовать для бизнес-планирования и стресс-тестирования.
Мы поговорили с исполнительным директором Центра координации привлечения с рынков капитала и лидером продукта Юрием Перевезенцевым о том, как устроена система, почему в ней более 400 макроэкономических индикаторов и зачем в платформе появится ИИ-аналитик.
Больше чем импортозамещение
Юрий сразу уточняет: говорить о полной уникальности продукта было бы неправильно, так как в мире подобные решения существуют. Но в российском контуре ситуация изменилась радикально.
Зарубежные поставщики данных ушли, и у компаний просто не осталось инструментов, которыми они пользовались раньше. В этом смысле продукт действительно оказался уникальным: он закрывает конкретную нишу, которая фактически освободилась.
При этом команда изначально ставила перед собой более широкую задачу, чем просто заменить ушедшие сервисы.
— Мы решили не ограничиваться ролью поставщика данных. Нам было важно дать пользователю полноценную среду для работы: интерфейс, инструменты анализа, регулярные прогнозы для бизнес-планирования и стресс-тестирования.
Речь идёт не просто о наборе статистики. В системе используются структурные макроэкономические модели и модели машинного обучения, которые формируют согласованные прогнозы более чем по 400 экономическим индикаторам — от курса рубля и инфляции до отраслевых показателей.
Интересно, что изначально не планировали выводить проект на рынок. Продукт делали исключительно для внутренних целей Сбера. Банку точно так же нужны данные, прогнозы, аналитика: на них строится вся бизнес-модель.
Но со временем команда поняла, что решение может быть востребовано и за пределами банка. Идею вывода продукта на рынок Юрий обсуждал на менторской сессии с Германом Оскаровичем Грефом. Её поддержали, в частности, внутри финансового блока. После этого команда начала развивать продукт уже не только как внутренний инструмент, но и как решение для внешних клиентов.
Прогнозы не как среднее по рынку, а как единая модель
Одна из ключевых особенностей платформы Data Tracker — собственный макроэкономический прогноз.
Большинство аналогичных сервисов используют так называемые консенсус-оценки: собирают прогнозы разных аналитиков и выводят среднее значение. Но у такого подхода есть проблема: показатели могут быть плохо согласованы друг с другом.
— В консенсус-прогнозе может получиться курс рубля из одного сценария, а траектория ВВП — из другого. Они просто усредняются и оказываются рядом, хотя между ними нет экономической связи.
В системе Data Tracker используется другой подход: согласованный. Например, если меняется курс, автоматически меняется траектория ВВП, инфляции, ключевой ставки. Все показатели взаимосвязаны. В прогнозе больше 400 индикаторов, и они строятся на структурных моделях и моделях машинного обучения.
Но модели только часть процесса.
Более 50 экспертов пересматривают прогноз каждый месяц
Над прогнозом работает большая команда специалистов из разных подразделений. В процессе участвуют представители Центра макроэкономических исследований, блока финансов, департамента стратегии, маркетинга и других направлений. Всего больше 50 экспертов.
Сначала модель строит базовую траекторию показателей. Затем начинается экспертная работа.
— Мы собираемся, обсуждаем результаты, проверяем, насколько они согласованы. Если нужно, добавляем экспертные суждения, корректируем траектории. После этого цикл может повторяться несколько раз.
В итоге получается прогноз, который проходит фактически 360-градусную проверку. При этом команда не просто один раз в год строит модель и публикует прогноз — она обновляет его регулярно. Базовые обновления происходят ежемесячно, плюс отдельно считаются стресс-сценарии — например, при изменении мировой экономической ситуации, торговых ограничений, санкций или других факторов.
Три главные сложности проекта и как их решили
Команде пришлось решать сразу несколько задач: на уровне хранения данных, интерфейса и пользовательского опыта.
Первая проблема — скорость работы с данными. В системе хранятся миллионы временных рядов, и пользователь должен получать нужный показатель практически мгновенно. При этом стандартные базы данных для таких задач подходят плохо: при больших массивах временных рядов обычный запрос может обрабатываться несколько минут.
На мировом рынке эту задачу решают специализированные базы для работы с временными рядами. Такие используют крупные аналитические платформы вроде Bloomberg. Но многие подобные решения являются зарубежными и в текущей ситуации недоступны. Поэтому команде пришлось разработать собственную архитектуру хранения и выдачи данных, которая обеспечивает быстрый отклик системы.
Вторая сложность возникла на уровне внешнего вида системы. Команда изначально хотела создать не просто хранилище показателей, а полноценную рабочую среду для аналитики.
— Пользователь должен иметь возможность быстро находить нужные индикаторы, работать с их описанием, строить графики и анализировать данные в табличном формате. Для этого значительную часть инфраструктуры и библиотек пришлось разрабатывать с нуля.
В результате система полностью построена на российской кодовой базе и вошла в реестр отечественного программного обеспечения.
Третья задача связана уже не с технологиями, а с тем, как пользователь взаимодействует с таким объёмом данных. Даже если система работает быстро, большое количество индикаторов может быть сложным для навигации, особенно для тех, кто не занимается макроэкономической аналитикой профессионально.
Поэтому следующим шагом в развитии платформы станет ИИ-помощник. Он позволит работать с системой через диалог: пользователь сможет задать вопрос про нужные данные или показатели, а система сама найдёт релевантные индикаторы и объяснит результаты.
ИИ-аналитик в Data Tracker
Следующий этап развития продукта — интеграция ИИ-помощника на базе GigaChat.
По словам Юрия, задача здесь не в том, чтобы просто добавить чат-интерфейс. Команда хочет демократизировать работу с аналитикой: сделать инструмент, который может стать «аналитическим отделом по цене одного аналитика» для компаний, у которых нет собственных макроэкономических команд.
— Допустим, пользователь хочет найти показатель инфляции. Но в базе он называется «индекс потребительских цен». Человек может этого не знать. Чат-бот поймёт, что речь идёт об инфляции, и предложит соответствующие индикаторы.
Второй сценарий — аналитические вопросы. Можно спросить, какая была ключевая ставка на определённую дату и почему она изменилась. Система сможет дать ответ и объяснить взаимосвязи.
Третий — работа с данными.
— Сейчас для анализа нужно загрузить данные, открыть Python или другую систему обработки, написать код. Мы хотим, чтобы пользователь мог просто написать словами, какое преобразование ему нужно сделать.
В этом случае модель сама обращается к базе данных, выполняет трансформацию и возвращает результат.
Что дальше
На ближайший год у команды две основные задачи.
Первая — расширить использование системы внутри банка.
— Мы хотим, чтобы любой сотрудник, которому нужны макроданные, мог зайти в систему и получить их там, а не искать информацию в разных источниках.
Вторая — довести ИИ-аналитика до полноценного рабочего состояния. Чтобы он: а) сильно упрощал работу профессиональных аналитиков; б) помогал компаниям, у которых таких специалистов нет.
Кроме того, продукт уже начинает получать интерес со стороны внешних организаций. Приходят запросы на тестирование, интеграцию, совместные проекты. Это направление команда тоже планирует активно развивать.
Такие проекты требуют команд на стыке разных дисциплин. Над развитием системы работают специалисты по генеративному ИИ, инженеры по машинному обучению, макроэкономисты-аналитики, архитекторы данных, разработчики серверной и клиентской частей, а также продуктовые и коммерческие команды.
И по мере роста продукта команда продолжает расширяться.
Вам интересно работать с большими массивами данных, макроэкономическими моделями и ИИ-инструментами для аналитики? В Сбере регулярно открываются вакансии для таких специалистов.