Суперкомпьютеры. От технологического прорыва до сложившейся отрасли и профессии

Только что за треволнениями наших дней буднично и без особого внимания СМИ прошла примечательная новость. Самый быстродействующий в мире суперкомпьютер El Capitan, созданный компанией Cray Computing для Ливерморской лаборатории США, вышел на проектную мощность. Он был рассчитан на пиковую производительность в 1.5°Эфпс (эксафлопс), то есть на полтора квинтиллиона вычислений в секунду, а фактически выдал более 1.7 Эфпс. В гонке высокопроизводительных вычислительных систем взят очередной рубеж. Сама эта область утвердилась в позиции сформировавшегося раздела высоких технологий. В топ 500 самых быстрых суперкомпьютеров мира входят машины 40 стран.

Важно и то, что индустрия высокопроизводительных вычислений вовлекает в свою орбиту новые поколения IT- специалистов, соответствующей квалификации. Вполне ожидаемо, что высшие учебные заведения должны успевать готовить их в нужном количестве.

Суперкомпьютерами считаются вычислительные машины, значительно превосходящие по производительности абсолютное большинство остальных компьютеров. По мере создания новых поколений техники это высокое звание переходит от одних к другим, а вчерашние лидеры становятся заурядными системами.

Такие «заводы по переработке информации» служат основой центров обработки данных разной принадлежности и назначения. По масштабам и сложности их нельзя сравнить не только с привычными персональными компьютерами, но и с мощными серверными системами различных организаций.

Сейчас суперкомпьютеры - это, как правило, многопроцессорные системы. Они образованы большим числом вычислительных модулей, работающих параллельно, которые обеспечивают тем самым высокую суммарную производительность. У лидеров гонки она намного превысила 1000 петафлопс (1°Пфс это 10 в 15-й степени фпс, то есть операций с плавающей запятой в секунду, 1°Пфпс равен 1000Тфпс или 1000000 Гфпс). Кстати сказать, центральный процессор типичного современного ноутбука обеспечивает «всего» около 100°Гфпс, чего вполне достаточно для большинства наших потребностей.

На фоне триумфа современной техники не будем недооценивать возможности и заслуги суперкомпьютеров прошлого. Они, каждый в своё время, продвинули прогресс в целых отраслях науки и техники - от технической физики до проектирования машин и различной аппаратуры, от физики элементарных частиц до астрофизики и ракетостроения с космонавтикой.

Порою, сравнивают суперкомпьютеры старых времён с современными смартфонами, мощности процессоров которых по некоторым оценкам достигли 11°Тфпс или даже 17°Тфпс. При этом делают вывод, что современный смартфон в пять, а то и в девять тысяч раз мощнее, чем даже легендарный суперкомпьютер Cray°2 (1985г.) с его восемью процессорами и быстродействием 1,9°Гфпс. Однако, для корректного сравнения мощностей смартфона с суперкомпьютером надо бы оценивать их на тех же задачах, которые успешно решал Cray°2. А вот смартфон на это не способен, поскольку предназначен совсем для другой работы. К тому же скорости вроде 17°Тфпс характерны лишь для отдельных специализированных модулей, предназначенных для узкого класса конкретных вычислений, а система смартфона в целом работает с более скромной производительностью.

Но, как ни измеряй, как ни ищи подвоха и методические погрешности в таких оценках, всё же, бесспорно, современные смартфоны превосходят по вычислительной мощности «большие компьютеры» прошлого. «Под капотом» современных смартфонов и планшетов кроются микроминиатюрные мощные вычислительные устройства, которые не стыдно поставить в один ряд с «настоящими» компьютерами. Однако в минувшие годы суперкомпьютеры прогрессировали и их современные параметры не сравнимы.

Суперкомпьютеры, по их месту в современных технологиях, - это уникальные системы, предназначенные для коллективного использования организациями. Они имеют особую архитектуру, которая отличается от «обычных» компьютеров. Такая архитектура рассчитана на максимально достижимую производительность и на обработку предельно больших объёмов данных. Суперкомпьютеры используются для решения действительно сложных и важных научных, а также практических проблем, где без сверхмощных вычислительных систем не обойтись. Среди наиболее характерных областей их применения - фундаментальная и прикладная наука, высокотехнологичные разработки и проектирование, обработка Больших Данных, обучение систем искусственного интеллекта и другие.

Сверхмощные вычислительные системы применяются в квантовой химии, генетике, медицине, в изучении и прогнозе климата, в математическом моделировании и автоматизированном проектировании сложных и важных технических систем (машин, механизмов, приборов), в фундаментальной физике, астрофизике, в физике высоких энергий, в нанотехнологии и микроэлектронике, в геофизике и геологоразведке, и даже - в разработке объективов для фотоаппаратов и в системах управления «умным городом». Многие из числа самых мощных суперкомпьютеров в той или иной степени задействованы в интересах военной промышленности, обороны и информационной безопасности. Используются они и в мультимедийных проектах.

Так, часть эпизодов фильма «Время первых» (Россия, 2017г.) «сняты» с применением суперкомпьютеров МГУ «Ломоносов» и «Ломоносов-2».

Высокопроизводительные вычислительные системы стали отраслью высоких технологий и индустрии, которой нужны специалисты от создания и эксплуатации высокопроизводительных вычислительных комплексов до разработки и эксплуатации их системного и прикладного программного обеспечения. Им, прежде всего, необходима подготовка в традиционных сферах математики, информатики, электроники и телекоммуникаций. Однако имеется существенная специфика. Этим специалистам предстоит иметь дело с уникальными, предельно производительными, сложными и дорогими вычислительными комплексами, отличающимися устройством, особенностями эксплуатации и использования. Необходимы специфические компетенции в проектировании, в разработке общей архитектуры и основных технических модулей, в эксплуатации, а также в практическом их применении для решения задач самых разных областей науки, техники, экономики и бизнеса.

Важно отметить, что для высокопроизводительных вычислений, кроме суперкомпьютеров, применяются также и другие высокопроизводительные вычислительные системы параллельной архитектуры. Не претендуя на строгость терминологии, только для полноты обзора, упомяну некоторые из них:

* компактные специализированные многопроцессорные системы, собранные из множества микропроцессоров или параллельно включённых «графических ускорителей», работающих как единое вычислительное устройство; в отличие от суперкомпьютеров они, как правило, специализированны для вычислительных задач одного узкого класса (криптологии, майнинга криптовалют и др.);

* компактно расположенные кластеры серверов - группы совместно и согласованно работающих в параллельном режиме самостоятельных «полноценных» машин, связанных быстрой локальной компьютерной сетью;

* «облачные» системы, предоставляющие услуги по высокопроизводительным облачным распределённым вычислениям, их технические средства могут быть распределены географически; впрочем, через такое Интернет- «облако» пользователь может получать доступ к такому же суперкомпьютеру, работающему в составе облака;

* компьютерные «гриды», то есть группы территориально распределённых вычислительные ресурсов (серверов, хранилищ данных), связанных через Интернет, работающих совместно и скоординированно; они могут различаться по мощности, архитектуре и типам, принадлежать различным организациям и даже располагаться в разных странах.

Гриды могут превосходить облачные системы по численности вычислительных узлов. Они обычно коллективно используются владельцами вычислительных ресурсов, подключённых к гриду.

Например, замечательный, во многих отношениях, GRID проекта SETI используется для поиска внеземного разума. С 1999г. множество персональных компьютеров, предоставленных их владельцами, ищут сигналы внеземных цивилизаций в периоды, когда компьютеры простаивают во включённом состоянии. Средствами этого самодеятельного любительского грида непрерывно, чтобы не пропустить возможные кратковременные сигналы, просеивается невероятный по объёму поток информации от радиотелескопов, который они генерируют попутно с основной работой. Возможно, это самый масштабный из всех коллективных компьютерных проектов в истории. К нему присоединились более 5 млн. пользователей из более чем 200 стран. На электричество этими пользователями суммарно потрачено уже более миллиарда долларов. При этом интересно, что каждому из них в отдельности такое участие обходится недорого.

Говоря о гридах, можно также назвать:

- GRID обработки, хранения и анализа данных экспериментов на Большом адронном коллайдере, к которому подключено множество узлов и вычислительных центров по всему миру;

- GRID, образованный несколькими суперкомпьютерными центрами США для обеспечения академических исследований.

Такие технологии, параллельно с суперкомпьютерными вычислениями, тоже используются для решения запредельно сложных научных и иных задач, требующих значительных вычислительных мощностей. По сути, каждый такой грид или облачная вычислительная системы работает подобно единому «виртуальному суперкомпьютеру».

В отрасли высокопроизводительных вычислений востребованы специалисты многих профессий, задействованные в процессах от создания до эксплуатации и практического использования параллельных высокопроизводительных вычислительных систем. Их подготовка начинается в вузах, но потом требуется периодическое послевузовское повышение квалификации. Как, впрочем, везде в IT. Можно гарантировать, что при погружении в тему, в реальную практическую работу в сфере высокопроизводительных вычислений скучно не будет. В обозримом будущем невостребованными хорошие специалисты не останутся. Их место - на острие высоких технологий, хорошей практики, прикладной и фундаментальной науки.

Вообще-то, для использования суперкомпьютеров в учебном процессе и для изучения соответствующих разделов IT вузам не обязательно иметь каждому «свой» собственный суперкомпьютер. Высокопроизводительные системы могут использоваться коллективно в порядке удалённого доступа. Услуги собственных суперкомпьютеров через созданные ими облака предоставляют Сбербанк, Яндекс и другие. Однако наличие суперкомпьютера в вузе представляется некоторым показателем его уровня: вуз профинансирован, располагает современной технической базой и даёт необходимые практические навыки. Можно ожидать, что студенты имеют возможности для профессионального общения с высококлассными специалистами, обеспечивающими функционирование и применяющими такой суперкомпьютер для решения реальных задач. Логично предположить, что студенты таких вузов имеют возможность «из первых рук» приобщиться к необходимым профессиональным компетенциям и специфическим ноу-хау.

Использованы материалы публикаций:

1. https://hightech.plus/2024/11/19/el-capitan-stal-samim-moshnim-superkompyuterom-v-mire, Екатерина Смирнова19.11.2024.

2. https://www.ixbt.com/live/offtopic/novyy-superkompyuter-mgu-eto-gibridnoe-chudovische-kotoroe-rabotaet-na-400-petaflops-vot-chto-on-mozhet-sdelat-dlya-nauki-i-obschestva.html со ссылкой на Пресс-службу МГУ / С. Шехтман и портал «Научная Россия» (https://scientificrussia.ru/).

3. https://3dnews.ru/167125?ysclid=m3zlh8movv901649080.

4. https://www.cnews.ru/news/top/2017-04-11_grafiku_dlya_filma_vpervye_proschitali_na_­lomonosove?ysclid=m3zm634k1d183680518

5. https://habr.com/ru/articles/775/

6.https://www.cnews.ru/news/line/v_ugatu_zapushchen_samyj_moshchnyj_v_rossii?ysclid=m3swwo6t1647670965

7. https://ru.wikipedia.org/wiki/Cray-2

8. https://www.phoronix.com/news/MTE4NjU

9. https://scientificrussia.ru/

10. https://t.me/visualny/629. «Визуальный DIGITAL», Telegram, 24.09.2024

11. https://setiathome.berkeley.edu/

12. https://www.eu-egee.org/

13. https://wlcg.web.cern.ch/

14. https://en.wikipedia.org/wiki/National_Science_Foundation