«Яндекс» опубликовал в открытом доступе исходный код YTsaurus — платформы для работы с большими данными Статьи редакции

Её используют большинство сервисов компании.

  • «Яндекс» выложил на GitHub код YTsaurus. Он предоставляется по открытой лицензии Apache 2.0.
  • Платформа подходит для разных задач — аналитики, обучения моделей с миллиардами параметров и других. Например, «Поиск» использует YTsaurus для поискового индекса, а беспилотные автомобили — чтобы обрабатывать данные о поездках. YTsaurus также распределяет нагрузку между суперкомпьютерами «Яндекса».

«Яндекс» ведёт разработку YTsaurus с 2010 года. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры компании. Над платформой работают десятки разработчиков, и её возможности постоянно расширяются.

Максим Бабенко, глава отдела технологий распределённых вычислений «Яндекса»

  • В «Яндексе» с YTsaurus работает каждый второй сотрудник. Наибольшую пользу платформа может принести «крупным компаниям, которые обрабатывают гигантские объёмы данных на тысячах серверов в условиях постоянно возрастающей нагрузки», поделился руководитель Yandex Cloud Алексей Башкеев.
  • Компания также публиковала в открытом доступе код системы управления базами данных YDB, инструмент для разработки приложений с микросервисной архитектурой Userver, для ускорения разработки мобильных приложений DivKit, для быстрой сборки Android-приложений Yatagan и исходный код счётчика «Метрики».
0
71 комментарий
Написать комментарий...
Илья Самойлов

а еще яндекс опубликовал в открытом доступе мои заказы из доставки и теперь все вокруг знают, что у меня один заказ за все время да и тот на др.

К тому же теперь все знают когда др, ох уж этот яндекс

Ответить
Развернуть ветку
умный человек
К тому же теперь все знают когда др, ох уж этот яндекс

а как можно узнать по контексту, по какому случаю заказ? типа попросил в каменте, чтобы курьер поздравил с др?

Ответить
Развернуть ветку
6 комментариев
Хозяин

Заказ из "Пидрильный клуб любителей пощекотать очко"?

Ответить
Развернуть ветку
1 комментарий
умный человек

ага, не иначе как с подачи Воложа опубликовали

Ответить
Развернуть ветку
3 комментария
Pedal Horse Mashineries Inc

Опять топовный нытик

Ответить
Развернуть ветку
2 комментария
Роман Славутин

как буд то всем не все равно какие у вас там заказы

Ответить
Развернуть ветку
Sergey Ilyin

Ну кто вас еще с днем рождения поздравит-то? )) может, они из благих побуждений?

Ответить
Развернуть ветку
Roman Rodin

Оупенсорс на максималках

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Бинарный Ёж

Ура, Ыть! Для тех кто не в теме — это самая важная инфраструктурная часть Поиска, аналог Hadoop.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Алексей Драль

Для тех, кто не в теме решил дополнить для контекста https://vc.ru/opinions/640768-pochemu-mir-big-data-zapomnit-20-03-2023

Ответить
Развернуть ветку
ASh Chile

Да, и даже реально более стабильный. Но может это и субъективно!

Ответить
Развернуть ветку
Невероятный Блондин

Обычно Яша выпускает две новости в один день, когда где-то накосячит, чтобы перебить инфоповод.
Что-то я пропустил где они накосячили в этот раз?
Чьи данные попали в открытый доступ?

Ответить
Развернуть ветку
Alexander Golubev

Им надо вынести свои продукты на внешний рынок. Все продукты завязаны на YT. YT работает только в ДЦ Яндекса внутри РФ. Переводить на альтернативы крайне дорого. Что же делать? Вот бы был опенсорсный продукт с такими же характеристиками...

Ответить
Развернуть ветку
Неприемлемый разговор

Сколько можно везде искать подвох и набрасывать на любую новость? Если так будет продолжаться, вряд ли это будет мотивировать яндекс и другие команды делать что-то годное для сообщества разрабов и других юзеров

Ответить
Развернуть ветку
2 комментария
Д Хб

Исходников не напасёшься.

Ответить
Развернуть ветку
1 комментарий
Eli

Видимо пиздец полный раз такую крутую штуку выкатили))

Ответить
Развернуть ветку
Апрель Обормотов

Так, теперь рассказывайте, почему это плохо и причём тут Путин

Ответить
Развернуть ветку
Anti Anti

Пусть это станет для вас сюрпризом!

Ответить
Развернуть ветку
Jeff Trump

ну Путина везде надо по классике приплести

Ответить
Развернуть ветку
Водяной

Он вообще не знает что такое поисковая система! Вы видели ему показали денди, а он радовался как ребенок

Ответить
Развернуть ветку
Виталий Ермаков

не будем

Ответить
Развернуть ветку
Невкусно и грустно

Яндекс "изобрел" Хадуп

Ответить
Развернуть ветку
Ivan Braun

Вот здесь они объясняют, почему не выбрали Хадуп и в чем отличия https://habr.com/ru/company/yandex/blog/721526/

Ответить
Развернуть ветку
4 комментария
Вадим Д.

Яндекс.Изобретения!

Ответить
Развернуть ветку
Дмитрий Кузнецов
Ответить
Развернуть ветку
Алексей Драль

Действительно может показаться так, здесь дополнил информации для контекста: https://vc.ru/opinions/640768-pochemu-mir-big-data-zapomnit-20-03-2023

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Невероятный Блондин

Слить что уже слито

Ответить
Развернуть ветку
1 комментарий
Anton Efimov

Я в ИТ не спец, но вот у меня несколько вопросов:
- Зачем они это сделали?
- Яндекс продолжит развивать этот проект на ГитХабе?
- Это не утечка ключевых технологий за границу?
- Есть ли в исходниках ссылки на закрытые библиотеки?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Eozvarit

Адекватные причины:
- внедрить свой подход в массы
- получить большее количество разработчиков, умеющих с ним работать
-> упростить найм, продать массам свое облако и услуги по внедению и сопровождению
Неадекватные причины:
- израильскому Воложандексу больше не нужно платить конские лицензионные отчисления русскому Яндексу
- разрабатывать YT продолжит для Воложандекса русский Яндекс: бесплатно, без смс и регистрации
- Русский Яндекс будет продвигать решение в мир и у Воложандекса тоже упростится найм

Ответить
Развернуть ветку
Апрель Обормотов

- потому что могут и им не жалко
- конечно
- нет
- так открывайте гитхаб и читайте на здоровье -)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Phung

что ни день,то яндекс что-то выпустил,открыл и запустил

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Вадим Д.

Big data всем и каждому! И-ха!!!

«Счастье для всех, даром, и пусть никто не уйдет обиженным!» © А. и Б. Стругацкие - Пикник на обочине

Ответить
Развернуть ветку
Артур Кожевников
Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям.

У имевшихся решений было слишком мало дыр, что не удовлетворило Яндекс?

Ответить
Развернуть ветку
Гриша Колесников

Ни дня без новостей от яндекса

Ответить
Развернуть ветку
Ян Мухин

Да уже даже как то поднадоело ,везде этот яндекс

Ответить
Развернуть ветку
Руслан Сурков

опубликуй в свободном доступе, чтоб не украли и не слили код

Ответить
Развернуть ветку
Внешний хот-дог

Вайтизавр - я подумал, что это ребрендинг Яндекс Практикума

Ответить
Развернуть ветку
Сергей Елисеев

Яндекс-щедрая душа
и кода делится и данными пользователей

Ответить
Развернуть ветку
Konstantin T.

Этой стране нужен просто месяц новостей без Яндекса. Или хотя бы неделя.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
shencrypto

У нас есть всё остальное... если вы понимаете о чем я )))

Ответить
Развернуть ветку
PriceLoom.com

Что то после январского гигантского слива кода, Яндекс начал сам активно выкладывать исходники. Наверно, чтобы если снова слив произойдет, они могли сказать:"А вот и не украли! Мы сами его вложили!"

Ответить
Развернуть ветку
Артём Березин 2

Вы просто не представляете объем продукта. Подготовить за два-три месяца для выкладки в опенсорс такой объем кода (оторвать его от всего внутреннего, задокументировать и т.п.) — просто невозможно.

Ответить
Развернуть ветку
ASh Chile

Продукт - зверь, как и кликхаус. Мало кто их пользует, но как OLAP для больших объёмов редкоизменяемых данных крайне удобные штуки! Жаль сейчас международка для яндекса отчасти блокирована, но все пройдёт и попрёт потом еще круче.
Кстати кликхаус идеален для сублимации спионеренных за 2022 год утечек ))) парадокс, но базы, уведенные у яндекса просто супер бегают на кликхаусе )) и упражнятся приятно.

Ответить
Развернуть ветку
68 комментариев
Раскрывать всегда