Лого vc.ru

Письмо в редакцию: Как я проходил стажировку в ЦЕРН и работал над системой обработки данных для адронного коллайдера

Письмо в редакцию: Как я проходил стажировку в ЦЕРН и работал над системой обработки данных для адронного коллайдера

В редакцию vc.ru пришло письмо от студента второго курса магистратуры Университета Иннополиса Ильдара Нургалиева. Автор рассказал о том, как проходил летнюю стажировку по направлению Data Science в крупнейшей в мире лаборатории физики высоких энергий — Европейской организации по ядерным исследованиям (ЦЕРН). Нургалиев также поделился деталями жизни в Швейцарии и информацией о том, как можно попасть на такую стажировку.

Поделиться

Меня зовут Ильдар, мне 23 года, я учусь на последнем курсе магистратуры Университета Иннополиса по направлению Data Science. Студенты нашего вуза на лето выбирают место для обязательной стажировки. Для своей практики я рассматривал только крупные международные компании, где бы я смог освоить новые знания, а также применить знание французского и английского языков и свой интерес к Data Science.

Так я обратил внимание на ЦЕРН, «Яндекс» и Facebook. Информацию о стажировке в ЦЕРН я нашёл в интернете. Главному центру по изучению физики элементарных частиц в Европе необходимо обрабатывать огромные объёмы информации: в результате одного эксперимента учёные получают десятки петабайт информации. Меня это поразило.

Отправить заявку туда оказалось непросто. Пришлось предоставить данные об успеваемости, опыте работы, диплом бакалавра, сканы языковых сертификатов и сертификатов о пройденных курсах повышения квалификации, описание всех проектов, в которых я был вовлечён, с подробной информацией о технологиях и математических аппаратах. Ещё оттуда они напрямую запросили три рекомендательных письма — от компании ICL-Services, где я стажировался до этого, будучи студентом третьего курса КФУ, и от преподавателей нашего вуза.

Через два месяца мне позвонили из комитета по отбору и провели собеседование на английском и французском языках. Через две недели я получил письмо о зачислении на стажировку. Вместе со мной приглашение получили по одному представителю из 40 стран мира. Исключением стала только Индия – оттуда пригласили аж пятерых специалистов.

На девять недель я уехал в Европу — работал в Швейцарии, жил во Франции. Жизнь в Швейцарии дороже, поэтому мне показалось самым выгодным вариантом поселиться во Франции рядом со швейцарской границей.

После подтверждения стажировки нам выслали список прошедших отбор людей, я связался с двумя коллегами из Америки и Индии, и мы сняли нормальный номер на троих за €24 в сутки с каждого в 500 метрах от границы в городке Сен-Жени-Пуйи. ЦЕРН также находится на границе Франции со Швейцарией, поэтому каждое утро на арендованных велосипедах мы за 20 минут добирались до работы.

На стажировке меня закрепили за отделом мониторинга центра хранения данных и экспериментов. В 1991 году в ИТ-департаменте ЦЕРН реализовали проект WWW (World-Wide Web), но организация пошла дальше — сейчас там разрабатывают сеть Worldwide LHC Computing GRID, которая сохранит и оперативно обработает огромный поток данных, появляющихся после запуска большого адронного коллайдера.

Это интеллектуальная система мощнейших кластеров по всему миру, распределенная по 170 компьютерным центрам в 42 странах — Швейцария, США, Япония, Россия и другие. Она помогает физикам-теоретикам вычислять ёмкие задачи для обработки данных экспериментов. После этого алгоритм приступает к исполнению на свободных мощностях на другом конце планеты, если на локальных кластерах не хватает мощностей.

Система GRID располагает очень мощным инструментом мониторинга и логирования, она показывает, кто и какую задачу запустил на определённом кластере, сколько ошибок возникло, выявляет проблемы, показывает в реальном времени передачу данных из одной страны в другую, имеет огромный список разных визуальных фильтров. Система мониторинга очень упрощает и стирает всю сложность, спрятанную под колпаком системы для администраторов и пользователей.

Я переносил решения мониторинга и логирования GRID, написанные самим ЦЕРН, на существующие Open-Source-системы и проводил их сравнение, ускорял процесс автоматизации отчётности для отдела принятия решений — на основе этих отчётов принимается решение об уменьшении обязательных копий некоторых наборов данных, собранных с экспериментов, что приведет к более продуктивному использованию места в центрах хранения данных ATLAS.

На первых порах мне было тяжело справляться с работой, так как я не был знаком с технологиями, которые там применяют. Пришлось очень тщательно планировать своё время, чтобы в короткие сроки осилить ElasticSearch, Kibana 4, Grafana, Hadoop/YARN, Apache PIG, Apache Spark, Apache Zeppelin и Puppet для выполнения поставленных задач по проекту. Благодаря теоретическим знаниям, полученным в Университете Иннополиса, я всё равно чувствовал себя уверенно и освоил необходимые технологии.

Кстати, во время стажировки выяснилось, что международные коллеги мало слышали о нашем ИТ-вузе, поэтому попросили провести презентацию, которая вызвала у них живой интерес.

Мои соседи занимались другой работой. Американец Тим Шафер реализовывал систему регистров (кэша) для суперкомпьютера, а индиец Шубхам Губта создавал триггеры под Oracle для сохранения метаданных.

Мы работали, как и остальные, по будням с 9 утра до 6 вечера. По дороге домой заезжали в магазин за продуктами, чтобы приготовить ужин и завтрак, обедали в ЦЕРН. Рацион был разнообразный, попробовали местный сыр и колбасу с плесенью.

В свободное время мы путешествовали. Добраться от границы до Женевы на общественном транспорте оказалось проще простого. На каждые выходные мы составляли себе план путешествий: удалось посетить Милан, Барселону, Лион, Цюрих и Лозанну. В этих городах мы даже умудрились посмотреть некоторые университеты и ИТ-компании. Поездка вышла дорогая, учитывая все путешествия и расходы на еду, но у нас были специальные стажёрские выплаты от организации, которые покрывали все затраты.

За девять недель я успел соскучиться по дому, по сестренке, по Иннополису. Но я не успевал много об этом думать, так как у меня был большой объём работы.

Приятно, что я побывал там, где делают невероятные вещи. Инженеры ЦЕРН сейчас увеличивают магнитную мощность адронного коллайдера для сохранения орбиты движения протона при его ускорениях, в идеале, до скорости света.

В окрестностях ЦЕРН я наткнулся на завод антиматерий, где уже проводятся эксперименты по созданию и сдерживанию антиматерий на доли миллисекунд. В том же здании проводятся эксперименты для медицинских целей: по прожиганию внутренних опухолей сквозь кожу пучком протонов, выпускаемых с коллайдера. Их дальнейшие планы — стабилизировать этот процесс и в будущем прожигать уже антиматериями, так как при их взаимодействии с материей воспроизводится значительно больше энергии и требуется меньше выстрелов.

Главное, во время стажировки я познакомился с невероятными людьми. Эдвард Каравакис — мой наставник, работает в ЦЕРН уже восемь лет, он ведущий разработчик отдела мониторинга экспериментов и GRID. Он сделал первый график, на котором обнаружили Бозон Хиггса.

Побывав на практике в ЦЕРН, я увидел, что разработчики там замотивированы больше, чем в России. Процессы работы в компаниях в нашей стране похожи на процессы работы в ЦЕРН, но там у каждого есть магистерское образование или ученая степень, и они понимают, что работают над сложными и важными проектами. Думаю, уровень ИТ в России можно поднять подобными по масштабу проектами, и считаю, что Big Data будет основным направлением, так как проблема обработки огромных объемов информации обостряется.

Пишите нам на secret@vc.ru, если с вами произошла интересная история или появилось мнение на актуальную для рынка тему. Не стесняйтесь — мы любим письма читателей.

Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

А машину в лизинг там дорого брать?

Не ясно кому доверять. На днях прочел как чехи съездили в париж и были в шоке от мигрантов, не встретили ни одного европейца. Знаю, что швейцы огородились, но францы нет.

так окраина франции, рядом со Швейцарией, там мигрантов намного меньше, думаю
Хотя, ихмо, с таким уровнем знаний и стремлений для него весь мир это просто фон

Никому не верьте - езжайте сами и узрите все своими глазами)

Банальная статистика опровергает этих самых чехов. Многое, впрочем, зависит от района, в котором они жили.

1

Пиздят ваши чехи с первого канала )) Париж - один из крупнейших городов Европы. Понятно, что там куча национальностей и есть что-то похожее на классическмх мигрантов, но не так, как рисуют чехи. На окраинах может и есть, но эти мигранты как наше быдло на окраинах той же Москвы. От самих французрв ни разу не слышал, что мигрантов стало куча. И еще, пересечь границу Франции и Швейцарии при желании проще простого - останавливают или досматривают крайне редко. И никто тут не огораживается, граница такая же как и во всей шенгенской зоне.

Друг, я бы обнял тебя. Я всегда восхищаюсь людьми, которые подходят с таким интересом к своей учебе, профессии. Мололец и светлого тебе будущего.

Поправьте фамилию: Нургалиев

0

Я стал чуть меньше презирать дрищей с подкатами.

> для сохранения орбиты движения протона при его ускорениях, в идеале, до скорости света

До скоростей, близких к скоростям света. Ваш физик-теоретик-зануда.

>До скоростей, близких к скоростям света.

А, что у света несколько скоростей?

И у меня для Вас плохие новости:
1) на ноль делить можно
2) ограничение по скорости света - это исключительно заморочки СТО. Поинтересуйтесь "сверхсветовым движением", отревзяет.

0

Скрытая реклама университета Иннополиса )))

А вообще, всегда с интересом читаю такие истории.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Игорь Арнаков

Хорошая статья(нет).В том смысле хорошая, что хорошо демонстрирует логику стандартного работодателя.Суть тонны текста в ней легко свести к одной фразе:сложно найти нормального спеца на нашу смешную зарплату-мир несправедливо устроен,хнык-хнык. Причем отсутствует понимание элементарной вещи (которую даже школьник в состоянии понять)-хороший специалист и низкая зарплата-понятия в принципе несовместимые.

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Ефим Дутый

Скорее нет, чем да.
Правильно вокруг пишут, на нынешнем рынке труда быть "просто дезигнером" - дыра. Либо вы "круты", что в области дизайна означает в первую очередь громкие имена студий/заказчиков (потому что оценить сам дизайн в портфолио не может чуть менее чем никто, а тут - верификейшен). И стучите всем этим "аж кушать не можем как хотим гениального дизайнера на 700 баксов в месяц" по губам. Либо вы не круты, и идете по десять штук рубль, шо те старушки.

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Ефим Дутый

Ааааабажаю такие "статьи".

1. Мы предлагаем уг "вычесть из опыта" проекты и смешные зарплаты. Так что все приличные дизайнеры уехали от нас в Москву или за границу. Бида бида!
2. Здорово бы найти гения из оставшихся. Чтоб чудо-работал и чудо-терпел. По слухам, они есть в фейсбуке.
3. Такие ребята нарасхват, но все равно хорошо было бы, чтоб они написали нам МОТИВАЦИОННОЕ ПИСЬМО! (Всегда лучший ПОВОРОТ подобных кулстори)
4. Десять пунктов мало описать, какие придурки и неумехи шлют нам мотивационные письма.

Число пи, простите, здец.

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Andy Avramenko
Trendy NYC

Проглядел начало, сорри. Можете поделиться статистикой - сколько офис cisco набирает ежегодно людей в русский офис на стажировку? Сколько из них через год переводится по L1 в США?
У меня просто есть такая статистика по IBM - 0. Именно столько интернов/градюэйтов перевелось из российского офиса в офисы США, поэтому очень любопытно увидеть где это сильно отличается

10 актуальных стажировок для ИТ-специалистов за рубежом
0
Matvey Kukuy

Все реальный опыт, я сейчас прохожу стажировку на которую дал ссылку. Какие именно подробности интересуют?

10 актуальных стажировок для ИТ-специалистов за рубежом
0
Показать еще