«Яндекс» выложил в открытый доступ YTsaurus Flow — технологию для непрерывной обработки больших потоков данных
В «Яндекс Маркете» её используют, например, для сбора статистики.
- YTsaurus Flow обрабатывает клики, лайки и другие события в интернете по мере их появления, рассказали в «Яндексе». Благодаря этому алгоритмы быстрее замечают, как изменились интересы пользователей и что происходит в интернете.
- Это позволяет быстрее распознавать действия мошенников, точнее рекомендовать товары, книги, фильмы и так далее. Обычно подобные данные накапливают и обрабатывают с задержкой до нескольких часов.
- Технология доступна под лицензией Apache 2.0, её исходный код компания выложила на GitHub.
- С помощью этого решения можно готовить данные для обучения ML-моделей, обновлять информацию для сайтов и приложений, считать просмотры, клики и заказы. Технология рассчитана на высокую нагрузку и обрабатывает каждое событие ровно один раз, не теряя и не дублируя данные.
- Решение работает в рамках открытой платформы YTsaurus для хранения и обработки больших данных. Его уже используют в «Яндексе»: «Маркету» технология помогает быстрее собирать статистику, антифроду — выявлять злоумышленников, «Рекламе» — подбирать интересные предложения.